Перед тем, как ваш сайт появится в общих результатах поисковой системы, сайт обязательно должен быть проиндексирован поисковыми роботами. Индексация сайта может означать, что робот поисковой системы посетил ваш ресурс, "просканировал" его и после чего уже заносит информацию в единую базу с данными поисковиков Рунета.

Если какая либо страница вашего ресурса внесена в поисковый индекс, то она скорее всего будет преподнесена вам в поисковых результатах. Если же страница сайта в индексе не присутствует, то поисковая система не знает ничего о странице, а, следовательно, ни в коем случае не может задействовать информацию с данной страницы.

Большая часть сайтов небольшого размера (т.е. содержащих разное количество страниц) зачастую никак не испытывают каких-либо проблем с правильностью индексации роботами-поисковиками. Но, есть небольшой ряд моментов, которые стоит взять во-внимание при работе над данным ресурсом.

Узнать о недавно созданном сайте поисковая система может двумя способами:

 - добавить сайт в ручную через определенную форму поисковой системы. В данной ситуации вы сами даете знать поисковой системе о новом web-ресурсе и данный адрес сайта попадает в очередь на индексацию поисковыми роботами. Также стоит заметить, что добавляется в данном случае только главная страница вашего вэб-проекта, остальные же страницы вашего ресурса находятся поисковым роботом по соответствующим ссылкам;

- предоставить поисковому роботу самостоятельно найти ваш сайт.Если на вашем открывшемся сайте есть хоть одна внешняя ссылка со сторонних ресурсов, которые уже проиндексировались поисковой системой, то робот поисковой системы в кратчайшие сроки сам посетит и проиндексирует ваш ресурс. В большом ряде случаев желательно использовать именно данный вариант, т.е. заполучить несколько внешних ссылок на ваш ресурс и просто дожидаться прихода поискового робота. Добавление сайта в ручную скорее всего может удлинить время ожидания прихода поискового робота. Время, которое требуется для индексации вашего ресурса составляет, примерно, от 2-3х дней до 2х недель, все зависит от поисковой системы. Поисковая система Google занимает первое место по скорости индексации ресурсов.

Старайтесь сделать ваш ресурс более дружественным для поисковых роботов Рунета. Для этого постарайтесь учитывать следующие факторы:

- желательно, чтобы разные страницы вашего ресурса были доступными по сцылкам с головной страницы вэб-сайта не превышающей чем три перехода. Если же структура вашего ресурса не допускает данных действий, то попробуйте сделать так называемую карту сайта, он же sitemap.xml, которая позволит вам выполнять указанное правило;

- не нужно повторять очень распространенных ошибок. Идентификаторы сессий затрудняют индексацию. Если вы пользуетесь навигацией через различные скрипты, то всенепременно повторяйте ссылочки обыкновенным способом – прочитать скрипты поисковые системы не умеют;

- и запомните, поисковые системы могут индексировать не более 100-200 кб текста на вэб-странице. У страниц, превышающих этот объем, будет "просканировано" ТОЛЬКО "верхушка" вэб-страницы в объеме 100-200 кб(первые 100-200 кб.). Из данного примера видно, что не нужно использовать страницы, размер которых более 100 кб, если желаете, чтобы ох проиндексировали роботы полностью. Контролировать, управлять поисковыми роботами очень легко с помощью  корневого файла robots.txt, в данном текстовике можете разрешать или запрещать для индексации какие либо страницы. Также придуман специальный тег «NOINDEX», который закрывает для индексации определенные кусочки вэб-страницы, НО данный тег поддерживается только Российскими ПС. У поисковых систем базы данных регулярно обновляются, тем самым в базе данных записи подвергаются изменениям, они то появляются, то исчезают вновь, поэтому периодически у вашего сайта будет меняться число проиндексированных страниц.

Самой распространенной причиной "пропажи" ваших страницы из индекса является временная недоступность сервера, т.е. робот поисковой системы при попытке проиндексировать ваш ресурс не смог получить доступ к нему(зашел, постучался, никто не открывает - развернулся и ушел)). Когда работоспособность сервера восстановлена, сайт обязан появиться в индексе, обычно через некоторое время. Также прошу заметить, что чем больше всяких внешних ссылок имеет ваш вэб-сайт, тем быстрее происходит его переиндексация. Контролировать данный процесс индексации ресурса можно анализируя лог-файлы сервера, в которые заносятся все посещения роботов поисковиков.