Для начала следует описать то, о чем будет идти речь. Бот является частью программного обеспечения любой поисковой системы. Поисковый бот должен обойти каждую страницу вашего сайта, классифицировать его, и поместить в базу данных поисковой системы.
Google имеет три хорошо известных бота: AdsenseBot, Freshbot и DeepCrawl.
Поисковый бот Adsense, как вы уже могли догадаться, используется для обхода сайтов, работающих с рекламными объявлениями системы Google Adsense. Как только будут созданы новые страницы, и на них добавят код Adsense, скрипт на JavaScript в пределах этого Adsense отправит сообщение боту Adsense. Страницы с кодом Adsense будут проиндексированы в течение 15 минут. Такая скорость индексации нужна для того, чтобы на странице были наиболее релевантные объявления.
Поисковый бот Freshbot сканирует наиболее популярные страницы на сайте. Неважно, одна это страница или тысячи. Такие сайты, как Amazon.com и CNN.com имеют страницы, которые сканируются каждые десять минут, так как Google известно, что они очень часто изменяются. Типичный сайт должен рассчитывать на посещение Freshbot с периодичностью от 1 до 14 дней, в зависимости от того, насколько популярны его страницы.
Когда ваш сайт посещает Freshbot, он находит все более глубокие ссылки на вашем сайте. Он помещает эти ссылки в базу данных, и когда бот DeepCrawl приходит на сайт, он уже получает эти ссылки.
Один раз в месяц поисковый бот DeepCrawl посещает ваш сайт и обходит все ссылки, найденные ботом Freshbot. Это и является причиной того, что индексация всего сайта в поисковой системе Google может занять до одного месяца, даже с добавлением XML карты сайта — Google Sitemap.
Будьте терпеливы, продолжайте добавлять материалы на сайт, и работайте над получением весомых обратных ссылок — Google вас за это отблагодарит.