Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой. Индексация означает, что поисковый робот посетил сайт, проанализировал его и занес информацию в свою поисковую базу данных.
Если некоторая страница занесена в индекс поисковика, то она может быть показана в результатах поиска. Если страница в индексе отсутствует, то поисковая система ничего не знает о ней, и, следовательно, никак не может использовать информацию с этой страницы.
При этом, хотел бы отметить момент, который стоит учитывать — поисковая система (Google, Yandex и т.пр.) может узнать о вновь созданном сайте двумя путями:
1. Путём ручного добавления адреса сайта через соответствующую форму поисковой системы. В этом случае вы сами сообщаете поисковой системе о новом сайте и его адрес попадает в очередь на индексацию. Добавляется лишь главная страница сайта, остальные будут найдены поисковым роботом по ссылкам.
Тут сразу хотелось бы отметить, что обычно при таком варианте, после первого прохода ботом будет проиндексирована только первая страница сайта. Бот, грубо говоря, присматривается (к примеру главную страницу этого блога google и yandex проиндексировали практически сразу, примерно через 1,5-2 часа). А вот остальные страницы (тем более если они динамические и формируются на основе запросов из базы данных, а не статичны) будут проиндексированы уже со второго прохода, через неопределенный промежуток времени.
Время необходимое для индексации сайта составляет, как правило, от 2-3 дней до 2 недель, в зависимости от поисковой системы и домена и может достигать 2 месяцев. Быстрее всех индексирует сайты поисковая система Google.
2. Есть и второй путь добавления сайта в индексы поисковых систем — предоставить поисковому роботу самостоятельно найти ваш сайт.
Если на ваш новый ресурс есть хотя бы одна внешняя ссылка с других ресурсов, уже проиндексированных поисковой системой, то поисковый робот в короткие сроки сам посетит и проиндексирует ваш сайт.
В большинстве случаев рекомендуется использовать именно этот вариант, то есть получить несколько внешних ссылок на сайт и просто дождаться прихода робота.
Есть информация о том, что ручное добавление сайта может даже удлинить время ожидания робота.
Общие рекомендации по оптимизации
— реализовать навигацию так, чтоб любые страницы вашего сайта были доступны по ссылкам с главной страницы не более чем за 3 перехода. Не помешает и так называемая карта сайта, которая позволяет выполнять указанное правило;
— избегать идентификаторов сессий, которые затрудняют индексацию;
— дублировать ссылки в скриптах, т.к. поисковые боты не умеют их читать;
— не использовать большие страницы — поисковые системы индексируют не более 100-200 кб текста;
Есть также возможность управлять поисковыми роботами с помощью robots.txt, в нём возможно только явно разрешить или запретить для индексации те или иные страницы. К примеру это полезно проделать для админки или папки с рисунками.
Синтаксис примерно следующий:
User-Agent: * Disallow: /cgi-bin Disallow: /forum Disallow: /images
Для вех (*) ботов запретить индексацию перечисленных каталогов в папке сайта.
Существует также специальный тег «NOINDEX», позволяющий закрыть для индексации отдельные части страницы, но этот тег поддерживается только российскими поисковыми системами.
<noindex> Текст который нет необходимости индексировать </noindex>
Робот сканируя страницу должен пройти по всем ссылкам (если в мета-теге robots специально не указано nofollow) , потом вернуться и сканить дальше. Чем больше ссылок тем хуже роботу. Для счетчиков или внешних ссылок по которым нежелательный переход существует возможность указать rel=’nofollow’ (в теге ссылки). Это дает команду не учитывать ссылку как исходящую при подсчете ПР.
Базы данных поисковых систем постоянно обновляются, записи в базе могут подвергаться изменениям, исчезать и появляться снова, поэтому число проиндексированных страниц сайта может периодически меняться.
Следить за изменениями можно в специальных панелях инструментов для веб-мастеров.
Для google это: https://www.google.com/webmasters/tools/
Для yandex: http://webmaster.yandex.ru/
Для rambler: http://robot.rambler.ru/cgi-bin/addsite.cgi
Следует также заметить, что чем больше внешних ссылок имеет на себя сайт, тем быстрее происходит его переиндексация.
Отследить процесс индексации сайта можно с помощью анализа лог-файлов сервера, в которых записываются все визиты поисковых роботов.
Хотелось бы также поделиться рекомендациями относительно того, как проиндексировать сайт менее чем за 24 часа. Эти рекомендации я нашёл на одном из блогов и пока проверить их достоверность не удалось (почему, ниже).
Как известно у каждой странички есть свой так называемый Page Rank. Грубо говоря это числовая величина, мера “важности” страницы в поисковой системе Google. Зависит от числа внешних ссылок на данную страницу и от их веса (важности). Провериться можно тут www.pageranktool.net/.
У Yandex есть почти аналогичный показатель ТИЦ, который характеризует количество и «вес» внешних ссылок на сайт (узнать показатель можно например на этом сайте http://www.pr-cy.ru/).
Так вот, если постараться и каким либо образом обеспечить, чтоб на вашу страницу поставили ссылки сайты с высоким Page Rank (желательно с PR от 4 до 7). То теоретически скорость индексации страницы может возрасти в разы (например, если Вы добьетесь ссылки с сайта PR которого равен 6, сайт будет проиндексирован менее чем за 3 дня, а если Вы сможете получить ссылку с сайта, Page Rank которого равен 7, то сайт будет проиндексирован в базе Google менее чем за 24 часа).
Как заставить владельца сайта с PR равным 7 разместить ссылку на ваш сайт, это уже другой вопрос (если учесть, что ссылка с морды сайта с PR 4 может приносить около 500 у.е. в год). Но думается мне методика рабочая.
Вообще, поисковая оптимизация перерастает в отдельную область науки =), и давно уже стала «оплачиваемой услугой». Если есть спрос, будут и предложения, мне кажется.
Удачной оптимизации :)Related: mobile, alabama refinery, bat out of hell musical bootleg, how did the wealthy maintain their wealth during the great depression, toronto fc academy u15, cascade country club membership cost, what symbiote would you bond with quiz, 1062 mann rd, plentywood, mt 59254, 14 day europe trip itinerary, what is aggravated burglary in tn, kevin churko drum samples, how much is a lucario v worth 2021, where is the 173rd airborne located, afternoon tea delivery trowbridge, , northern ostrobothnia sami,