Как Google индексирует ваш сайт?

Давайте для начала определимся с основными понятиями, и о том, что мы будем рассматривать в этой статье?

Бот (англ. bot) является частью программного обеспечения поисковой системы, цель которого – найти и пройти по каждой странице вашего сайта, классифицировать ее по определенным признакам, и поместить в MySQL базу Google.

На данный момент Google имеет следующих хорошо известных вам ботов:
1) Adsense Bot
2) Freshbot
3) DeepCrawl

Adsense Bot, как вы могли, наверное, догадаться, используется для вебмастеров, которые имеют рекламные блоки Adsense на своих сайтах. Как только новая страница появляется на вашем сайте, нужный скрипт в пределах кода Adsense посылает сообщение боту -Adsense Bot, и в течение 10-20 минут, он начнет индексировать страницу сайта, для того чтобы показывать наиболее релевантные объявления.

Если вас не интересует Adsense Bot, переходим к следующим, наиболее важным ботам - DeepCrawl и Freshbot.

Freshbot выполняет задачу сканирования наиболее популярных страниц на вашем сайте. Не имеет значение, одна это страница или несколько тысяч. Такие крупные сайты, как DIGG. com и YouTube. com имеют несколько сотен тысяч страниц, которые сканируются каждые пять минут, и все потому, что Google отслеживает сайты с высокой степенью изменений контента. Известно, что эти страницы имеют большое количество частых изменений. Будь Google медлительнее, страницы утратили бы свою актуальность. Обычный сайт с более-менее обновляемым контентом, может рассчитывать на то, что Freshbot посетит его до 14-ти дней, в зависимости от того, как популярны эти страницы.

Что происходит с вашим сайтом, когда его посещает Freshbot?

Он сканирует страницы, начиная с главной и проходит все глубже в ваш сайт. Затем он помещает найденные ссылки в MySQL базу (базу данных). Так что, когда DeepCrawl наведывает ваш сайт, он знает какие ссылки есть на нем.

Примерно раз в месяц, DeepCrawl посещает ваш сайт и переходит по всем ссылкам, которые были найдены Freshbot. Это и есть та причина, почему индексация вашего сайта в Google может занять до одного месяца. Не спасает, даже добавление карты сайта.

В подведении итогов, хочу сказать, что будьте терпеливы и продолжайте пополнять свой сайт интересной и нужной информацией. Работайте на получение ценных и качественных ссылок с уважаемых порталов и Google, непременно, воздаст вам за это!
Статья предоставлена сервисом по анализу сайта и рекомендуется к прочтению вебмастерам и оптимизаторам.
15:26 14.12.2016



Отзывы и комментарии
Ваше имя (псевдоним):
Проверка на спам:

Введите символы с картинки:



Арендаторы группы риска: у кого меньше всего шансов снять квартиру?

Арендаторы группы риска: у кого меньше всего шансов ...

Каждый арендодатель, сдавая жилье, в любом случае рискует. Как бы подробно ни были прописаны все возможные риски в договоре аренды, шанс получить свою «бывшую в употреблении» квартиру...
Готовим ребенка к школе

Готовим ребенка к школе

Вы помните свой самый первый день в школе? Знакомство с первой учительницей, яркие осенние букеты, слезы в глазах мамы…А теперь это предстоит вашему ребенку. Беззаботное детство закончится с первым в ...
Роман М. Булгакова «Мастер и Маргарита»: слишком тонкая полемика?

Роман М. Булгакова «Мастер и Маргарита»: слишком тон...

Знакомая ученица рассказала об откровениях своей учительницы по литературе: «Я начала и бросила — неинтересно. А потом узнала, что „Мастер и Маргарита“ — книга ...
Вкусные рецепты: Глазированный лосось, БЛИНЫ ОТ НАТАХИ, Рыба «Мечта»

Вкусные рецепты: Глазированный лосось, БЛИНЫ ОТ НАТА...

Глазированный лососьРыбу очистить,удалить все косточки и разрезать на порционные куски(200-250гр.) кажддый. Смешать все компоненты маринада,кроме кужутных семечек. Мариновать куски рыбы 2 часа(постави...
Кто правил народами Британии? Альба. Часть 2

Кто правил народами Британии? Альба. Часть 2

Как можно было заметить по первой части статьи, редко кому из Макальпинов удавалось умереть от старости. В Данкельдской династии дела обстояли получше. Но ненамного. Точку в правлении Данкельдов поста...
Ватикан, или Как выглядит самый крупный город-музей?

Ватикан, или Как выглядит самый крупный город-музей?

А точнее — государство-музей… Самый крупный город-музей в мире находится в самом маленьком государстве мира. О Ватикане пишут большие разнообразные тома — роль его в исто...
Популярное

Краткосрочная аренда. Приятное жилище для всех.

Одним из самых привлекательных услуг как для визитеров столицы, так и для жителей Москвы, становится...

Вкусные рецепты: Желе из шампанского с кремом &quo

Желе из шампанского с кремом "Силлабаб"Если вы хотите чего то действительно потрясающего делайте дес...

Вкусные рецепты: Салака запеченая в томатном соке

Салака запеченая в томатном соке по-шведскиРыбу разделать на чистое филе с кожей без костей. Разогре...

Как готовиться к экзаменам?

Все мы знаем, что такое летние и зимние сессии. Для каждого студента период экзаменов является очень...

Могла ли выжить в России экономика на честном слов

В дни больших церковных праздников у стен Рогожского кладбища в Москве собирается ярмарка. На развал...

Самый быстрый Интернет в мире

75-летняя шведская пенсионерка Сигбритт Лотберг вписала себя в историю Всемирной паутины. У нее дома...

Не кури 1.3 - Полный курc

При работе с программой Не кури - ОЧЕНЬ ВАЖНО!1. Придерживаться инструкции. Запрещается перескакиват...

Как работают американские страховые компании? Част

Продолжим знакомство с действиями американских страховых компаний, когда ее клиенты попадают в какую...

Инспектор по кредитованию - наиболее распространен

Ни для кого не секрет, что время непрерывно бежит, все меняется во всех областях нашей жизни. Погово...

Как правильно выбрать душевую кабину?

Все россияне прекрасно знают, что в домах советской постройки ванные комнаты далеки от мировых станд...



О портале:

Наш интернет-портал является ресурсом, который включает в себя полный каталог полезных и отличных статей. Каждый посетитель найдет для себя что-нибудь полезное. Адаптированный дизайн позволяет вам максимально быстро находить необходимую информацию. Самые разнообразные тематические статьи дают возможность вам совершенствоваться в той или иной сфере. Быть более начитанным и грамотным. Современный дизайн сайта позволяет просматривать статьи на всех электронных устройствах. Теперь отыскать подходящую информацию стало просто.

Мы собрали для вас полезные и увлекательные статьи. На нашем портале вы найдете ответы на интересующие вас вопросы. Стандартная система поиска позволяет вам стремительно отыскать нужную информацию. Адаптированный дизайн позволяет вам просматривать информацию на абсолютно любых гаджетах. Отныне, поиск необходимой информации будет занимать у вас секунды.