Каждая поисковая система работает на основе уникального алгоритма.
Разработчики алгоритма постоянно стремятся его усовершенствовать. В основе алгоритма работы поисковой системы лежит сбор и анализ полученной информации. Информацией собирается, прежде всего, с сайтов, которые были предложены их владельцами поисковой системе для индексации.
Общий смысл индексации сайтов заключается в анализе и распознавании, прежде всего, текстовой информации сайтов.
Графическая информация (фотографии, рисунки, схемы и т.д.) штатно не анализируется и не распознаётся. Задача анализа и распознавания графической информации намного сложнее распознавания текста. Основа успеха сайта - грамотный подбор и расположение на сайте текста.
Поисковая система стремится "понять" содержание как сайта в целом, так и его отдельных страниц. Некоторые поисковики за один раз индексируют не все страницы сайта, а только часть.
Если текста на страницах сайта мало, его релевантность может быть недооценена поисковой системой. Когда текста слишком много поисковая система может обработать только его часть, а остальное проигнорирует.
Оптимальное количество текста на одной странице сайта - две-три страницы формата А-4.
Сайты непрерывно развиваются. Появляется много новых сайтов. Некоторые сайты удаляются. Содержание сайтов изменяется и дополняется
Чтобы "быть в курсе дела", поисковая система периодически просматривает содержимое сайтов и упорядочивает уже имеющуюся у неё информацию.
Этот процесс непрерывный и цикличный. Средний цикл равен двум-четырём неделям.
Для сайтов разных тематик (информационные сайты, новостные сайты и и.д.) цикл может быть различным. Новостные и информационные сайты индексируются, как правило, чаще остальных. Например, новостные сайты (их отдельные страницы) могут индексироваться несколько раз в час.
В процессе просмотра сайтов может случиться какой-либо непредвиденный сбой и содержимое части сайта или сайт в целом могут оказаться не просмотренными поисковой системой.
В результате поисковая система может неверно распознать как содержимое и значимость сайта, так и посчитать сайт несуществующим. Разработчики поисковой системы стараются предусмотреть и исключить сбой и ошибки в работе поисковой системы. Достигаться это может разными способами. Один из них - повторный просмотр сайта.
Часто бывает, что веб-дизайнеры изменяют структуру сайта и название файлов.
Пример
Страницы сайта, на которых были размещены фотографии, обозначались как: foto-1.html, foto-2.html, foto-3.html, foto-4.html, foto-5.html.
После реконструкции сайта страницы стали обозначаться: foto1.html, foto2.html, foto3.html, foto4.html, foto5.html. При этом содержимое самих страниц осталось без изменения.
В базе данных поисковой системы были запомнены старые названия страниц.
Посетители, сделавшие запрос в поисковой системе, будут получать ссылки на несуществующие, с точки зрения поисковой системы, страницы.
Чтобы исключить выдачу подобных ошибочных результатов, поисковой системе необходимо повторно просмотреть сайт и проиндексировать его содержимое.
Несуществующие страницы будут исключены из базы данных, а новые добавлены. При этом посетители в результате отображения запросов поисковой системой будут получать работающие ссылки.
Но может быть ситуация, когда по каким-либо причинам веб- дизайнер временно, например, на один день, исключил из него несколько страниц. В это самое время программа сбора информации (поисковый паук) просмотрела сайт. Она не смогла найти на сайте несколько страниц. До этого страницы были многократно просмотрены и проиндексированы. В базе данных поисковой системы страницы присутствовали несколько лет.
Как в этом случае поступить поисковой системе? Возможно несколько основных вариантов действий:
1. Сразу исключить из базы данных те страницы, которые не были найдены в результате просмотра сайта.
2.Осуществить повторный просмотр сайта спустя некоторое время. Например, через несколько дней.
3.Пока оставить в базе данных несуществующие страницы, но исключить их, если при повторной индексации сайта они снова не будут обнаружены.
Каждый из указанных вариантов имеет преимущества и недостатки.
Рейтинг сайтов выстраивается сразу после индексации.
Посетитель получает в результате запроса только работающие гиперссылки.
Если отдельные страницы сайта не были просмотрены поисковой системой из-за какой-либо технической ошибки, посетители могут недополучить нужную им информацию. Будет нарушена полнота и точность выдачи результатов.

Рейтинг строится после повторной индексации сайта через несколько часов или дней, когда по "мнению" поисковой системы в сайте существуют, но не просмотрены какие-либо страницы.


Посетитель получает наиболее достоверные результаты.


Усложнение алгоритма работы поисковой системы: необходимо применять интерполяцию и аппроксимацию полученных результатов, методы математического анализа, теории вероятности, статистики и т.д. Удорожание получения результатов для поисковой системы.

Рейтинг строится после повторной индексации сайта в соответствии со штатным циклом работы. Несуществующие ссылки исключаются только после следующей индексации сайта.

В случае, когда страницы не были просмотрены поисковой системой из-за какой-либо технической ошибки, но в действительности существуют, посетители имеют возможность их просмотреть.
Если страницы сайты были действительно удалены или переименованы, посетители будут получать неработающие ссылки вплоть до следующей индексации.


Алгоритм работы поисковых систем непрерывно развивается и изменяется. Невозможно заранее точно знать, как будут проиндексированы сайт и его отдельные страницы.

Рекомендация:

1.Предоставляйте веб-дизайнеру контент сайта сразу, а не по частям.
2.Не просите веб-дизайнера создать сайт, отдельные страницы которого будут заведомо незакончены и находиться на так называемой "реконструкции". Подобная "реконструкция" часто оказывается вечным долгостроем. Самостоятельное наполнение и наполнение сайта информацией часто для заказчика - непосильная задача.
3.Изначально определитесь с тем, что должно быть размещено на сайте и какие задачи сайт должен решать. Все изменения в структуре сайта и в названиях его отдельных страниц отрицательно сказываются на индексации сайта поисковыми системами.
*Часто в процессе редизайна сайта решается задача уменьшения глубины сайта и оптимизации системы навигации сайта. После этого суммарный рейтинг сайта может на некоторое время, например, в течение месяца, несколько снизиться. Однако, в дальнейшем рейтинг не только восстанавливается, но и превосходит существовавший до этого.
*Если заказчик сам не может определиться, какой сайт ему нужен, что на сайте должно быть размещено и какие сайт должен решать задачи, то нельзя того же требовать от поисковой системы.
4.Прислушайтесь к мнению веб-дизайнера. Любой профессиональный веб-дизайнер заинтересован в том, чтобы созданный им сайт занял высокие позиции по рейтингу. Стремление заказчика во что бы то ни стало получить именно тот сайт, который хочется, не взирая на советы и предостережения веб-дизайнеров, часто приводит к тому, что сайт не приносит желаемой прибыли.

Резюме
*Индексация сайта поисковыми системами происходит по сложному алгоритму.
*При создании сайта или редизайне сайта предоставьте веб-дизайнеру весь контент сайта.
*Особое внимание следует обратить на подготовку текста сайта.
*Для занятия сайтом высоких позиций по рейтингу в результатах, выданными поисковыми машинами по запросам, прислушайтесь к мнению опытных веб-дизайнеров.( $$$ для web-мастеров)