Индексация сайта - это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.
Сайт должен быть проиндексирован чтобы отображаться в поиске
Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.
Важно понимать:
- Если страницы нет в поисковом индексе - ее невозможно найти в поисковой системе.
- Индексация нужна чтобы участвовать в поиске.
- У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
- Поисковой бот от Google называется Googlebot.
- Настройка индексации сайта, это базовый уровень работ по SEO.
Как проверить индексацию страницы?
Самый быстрый способ - написать в строку поиска команду site:[адрес страницы] . Такой все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.
Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.
Как проверить индексацию всего сайта
Для проверки индексации сайта нужно выполнить 2 простых шага:
Проверяем не закрыта ли отдельная страница от индексации
Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент «Проверка URL на ресурсе».
В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.
Как добавить новый сайт в индекс поисковиков?
Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex . Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.
Узнайте больше о работе поисковой системы
Что делать, если сайт плохо индексируется?
Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:
- Создайте карту сайта и загрузите в инструменты для вебмастеров.
- Обновите старые страницы.
- Удалите пустые страницы.
- Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.
Как происходит индексация сайта
Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:
- Сканирование страниц.
- Обработка страниц.
Этап 1: Сканирование
Сканирование или “обход” страниц - это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:
- Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
- Перечень ссылок, которые находятся на странице.
Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список - “очередь сканирования”, для дальнейшей обработки.
Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта - увеличить количество ссылок на нужные страницы.
Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию - создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта — самый простой способ отправить на индексацию все страницы в рамках нашего домена.
Есть несколько способов создать карту сайта:
- Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com .
- Программа для сканирования сайта, с возможностью создания sitemap - xenu links .
- Библиотека приложений для создания sitemap.
- Самый популярный плагин для создания карты сайта для WordPress .
Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt
Добавление карты сайта в Search Console:
- Зайдите в https://search.google.com/search-console/
- Добавьте свой сайт или выберите из списка.
- Перейдите в раздел Сканирование — Файлы Sitemap.
- Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.
Добавление sitemap в robots.txt:
- Зайдите в корневой каталог сайта через ftp.
- Откройте файл robots.txt
- Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.
Третий способ ускорить индексацию - сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.
Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.
Здравствуйте, уважаемые читатели сайта сайт. Сегодня мы поговорим о базовых принципах работы поисковой системы. Почему мы начинаем с базовых принципов? Потому, что мы собираемся работать со сложной системой - с поисковым алгоритмом, с поисковой системой. И для того, чтобы как-то на этот алгоритм влиять нам необходимо хотя бы базово понимать, как он устроен, как устроена вся система.
Как происходит процесс поиска информации
Первое, что мы должны узнать - поисковая система ищет не совсем в интернете. Поисковая система ищет по своей базе данных .
Когда мы вбиваем какой-то запрос в google или яндекс поисковик не начинает бегать по всему интернету и искать для нас страничку. Он обращается к уже собранной и обработанной базе данных, в которой хранятся миллионы и миллиарды разнообразных страниц.
- Как поисковики пополняют свои базы данных
Откуда они берутся в этой базе данных? Их собирает программа под названием поисковый бот . Этого поискового бота легко представить в виде паучка, который бегает по интернету и сканирует содержание.
Первая часть (планировщик) ищет в этом содержании важные ей элементы (такие как, например, цитируемость или частота обновления документов), выделяет ссылки и направляет работу основной части поискового бота (паук или краулер), выстраивает его маршрут. Главная часть поискового бота занимается регулярным сканированием самого содержания, какого-то текста, картинок, видеофайлов.
То есть поисковый бот зашел на какую-то страничку, просканировал ее содержание (картинки, видео, текст), дальше он видит какую-то ссылку и переходит по ней дальше. Сканирует эту страницу, видит следующую ссылку и таким образом движется в интернете по ссылкам. То есть, поисковый бот движется по ссылкам
. Это как бы слепок интернета, который хранится на серверах поисковиков и обновляется при каждом новом обходе пауком.
После того, как поисковый бот просканировал нашу страницу, на выходе он формирует два файла.
- Отсканированое содержание.
- Набор ссылок-связей между страницами.
И эта информация уже передается в базу данных. Но перед тем, как сохранить эту информацию в базе данных происходит первичная обработка . Зачем нужна такая обработка? На самом деле поисковой системе, как любому математическому алгоритму, как любой программе, очень тяжело работать с так называемым естественным языком.
То есть, с тем текстовым содержанием, которое создают обычные люди. Даже несмотря на то, что все вебмастера специально оптимизируют свой текстовый контент для поисковых систем (), мы должны принять, что поисковая система это математический алгоритм и поэтому поисковику удобнее структурировать эту информацию в набор каких-то меток, по которым можно будет потом быстро произвести поиск.
- Зачем поисковикам частотные таблицы
Базово можно представить себе, что поисковая система использует такой алгоритм, как составление частотных табличек . То есть поисковая система перед тем как сохранить в базу данных информацию, сканирует страницу и смотрит, какие слова встречались на этой странице и как часто они упоминались на этой странице. И составляет таблицу, в которой выделены все слова и количество их упоминаний. Давайте посмотрим как приблизительно выглядит такая частотная табличка.
Я воспользуюсь инструментом, который называется http://simple-seo-tools.com. Этот инструмент позволяет анализировать страницы и в том числе анализировать частотную таблицу. Страницы он сканирует похожим образом как это делает поисковая система и раскладывает ее содержание на слова.
Возьмем какую-нибудь страницу, например, страницу википедии про поискового бота и проведем анализ. Вот мы видим частотную таблицу, то есть каждое слово выписано и написано какое количество было упоминаний этого слова в тексте и процент плотности .
Что такое процент плотности? То есть как часто это слово встречалась. Количество упоминаний деленное на количество слов в тексте таким образом рассчитывается процент плотности.
Зачем поисковой системе вот эта частотная таблица. На самом деле частотная таблица просто позволяет значительно быстрее проводить поиск той информации, которую ищет пользователь.
К примеру, человек заходит в google и вбивает запрос, например, "поисковый бот" или "купить ноутбук". Поисковой системе уже не приходится проверять все страницы, которые есть в базе данных на наличие этих слов. Поисковая система просто просматривает частотные таблицы соответствующих страничек и смотрит - так, здесь встречалось слово "поисковый" и встречалось слово "бот". И встречались они достаточно часто. Возможно, эта страница про поискового бота. Если же в частотной таблице эти слова встречались на странице достаточно редко, либо не встречались вообще, то эта страница точно не про поискового бота.
- Что такое поисковый индекс и индексация
Таким образом, поисковой системе не приходится заново вычитывать содержание страницы. На основании вот этой частотной таблички поисковая система может быстро сделать выборку потенциально подходящих страниц, которые ищет пользователь.
Приблизительно так мы можем себе представить эту первичную обработку. И уже в базу данных сохраняется 3 файла.
- Файл первичного отсканированного содержания;
- Набор ссылок;
- Набор маркеров, который был сформирован перед сохранением в базу.
Вот эту первичную обработку производит программа, которая называется индексер . А база данных, в которой хранится вся эта информация, называется поисковый индекс.
Процесс сканирования и попадания в эту базу данных называется индексация . Просто такие термины. Seo-шники любят очень страшные слова (мы ещё об этом поговорим) и вот первых два страшных слова это поисковый индекс и индексация. В этих я полностью раскрыл настройку индексирования нового сайта, можете почитать.
Что мы должны из этого всего выделить для себя, какие практические моменты. Первый практический момент. Поисковая система на самом деле ищет не в интернете, а по базе данных, по поисковому индексу. Если нашего сайта нет в этом самом поисковым индексе, то, естественно, его не будет и в результатах поиска. А значит первичная задача любого seo-шника сделать так, чтобы все страницы нашего сайта были проиндексированы.
Как заставить поисковики проиндексировать ваш сайт
Как это сделать мы уже можем понять если немножко задумаемся. Мы знаем, что поисковый бот движется по ссылкам в интернете. А значит если у нас есть новая страница, о которой поисковая система еще ничего не знает, нам достаточно создать ссылку на эту страницу с уже известной для поисковой системы страницы.
Поисковая система перепроверяет все странички, которые есть у нее в базе данных. Если мы говорим о google, то в данный момент google перепроверяет в среднем каждую страничку раз в неделю. Какие-то чаще, какие-то может перепроверять раз в несколько минут. Какие-то реже, может и 1 раз в месяц перепроверять.
И, перепроверяя страничку, он увидит здесь эту ссылку, перейдет по ней и увидит наш новый сайт. Если же мы и с главной страницы у нас есть ссылки на все остальные внутренние страницы нашего сайта, то поисковая система просканирует весь наш сайт.
- Расставляем в интернете ссылки на наш сайт
Очень важно, если вы хотите присутствовать в результатах поиска, первое что вы должны сделать это проверить проиндексирован ли ваш сайт . Если еще нет и вы хотите, чтобы он был проиндексирован во-первых, проверьте свой сайт на , а затем создайте ссылку, с какого-то уже большого известного сайта на свой сайт.
Например, с социальной сети или с какого-то сайта (), доски объявлений или с какого-то крупного каталога. Это достаточно легко - зарегистрироваться и оставить ссылку. Если мы задумаемся, то поймем, что чем больше ссылок с больших известных поисковой системе ресурсов мы создадим на свой сайт, тем больше вероятность, что поисковый бот придет к нам и проиндексирует наш сайт.
Отдельно можно сообщить поисковой системе о том, что мы открыли новый сайт и пригласить поискового бота. Но об этом мы поговорим позже. Самый же простой способ это создать просто ссылки-пути для поискового бота, которые позволят ему прийти и начать сканирование вашего сайта. Можете почитать, .
- Проверяем индексацию сайта
Как проверить наш сайт, он уже просканирован поисковой системой или еще нет? Для этого существует специальная команда, которую используют seo-шники - эта команда "site:" . Нужно ввести команду и после: указать доменное имя того сайта, который вы хотите проверить проиндексирован он или нет. Давайте посмотрим, как это выглядит и какие данные мы получаем.
К примеру, сайт ru.wikipedia.org. Давайте посмотрим проиндексирована ли русская википедия и как много страниц на этом сайте знает google. Для этого вводим сайт: и домен как я говорил. Больше всего нас интересует вот эта строчка: результатов примерно 2,38 млн.
Это значит, что в индексе поисковой системы google в этой базе данных присутствует 2,38 млн. страничек, которые были просканированы поисковым ботом гугла.
Нужно понимать, что у каждой поисковой системы свой поисковый индекс и своя база данных. То есть, если у нас в гугле у википедии 2 миллиона страничек, то в яндексе может быть совершенно другая цифра, потому что в яндексе, к примеру, поисковый бот мог просканировать большее или меньшее количество страниц. Естественно, в любой другой поисковой системе та же цифра будет отличаться.
- Что важнее в индексации: качество или количество?
Как относиться к этой цифре. Вот мы видим на википедии есть 2,38 млн. страниц в индексе. А мы, допустим, вводим свой сайт и видим, что там всего 1000 страниц или может быть даже 20 или 10 страниц. Не надо переживать . Не стоит думать, что чем больше страниц в индексе, тем лучше сайт.
Конечно, большое количество хороших страниц, качественных страниц на сайте это хорошо, но на самом деле, когда мы анализируем количество проиндексированных страниц надо просто понимать сколько их должно быть в яндексе и сколько их в яндексе по факту.
К примеру, если у нас есть интернет магазин и в этом интернет магазине есть 5000 товаров, 100 категории 10 информационных страниц (всего 5110). А в индексе у нас ну, допустим, всего 1000 страниц. То мы должны задать себе вопрос: где еще 4110 страниц? Ведь все товары, все категории и все информационные страницы должны были быть проиндексированы?
Либо напротив ситуация у нас в индексе, предположим, 10 тысяч страниц. Тогда мы должны задать себе вопрос: откуда взялись еще вот эти 4890 страниц, ведь у нас всего 5110, а проиндексировано 10000. Так тоже бывает. То есть мы должны просто сравнить данные, сколько страниц проиндексировано в поисковой системе и сколько страниц приблизительно у нас на сайте есть важных, которые должны были быть проиндексированы.
И если они не все проиндексированы - это проблема . Если их проиндексировано очень много (больше чем должно быть) это тоже может быть проблема и мы должны попытаться разобраться откуда взялись эти страницы. Может у вас и в индекс попали служебные страницы (файлы движка или cms), а может ваша .
Анализ индексации сайта операторами
Базово, даже не зная каких-то технических моментов, вы можете проанализировать свой индекс, то есть те страницы, которые проиндексированы на вашем сайте просто визуально. Особенно если их немного. В результатах поиска с оператором "site:" вы просто пролистаете вниз где идут все эти страницы, которые проиндексированы на этом домене. То есть, мы можем сейчас взять и визуально просмотреть вот эти два миллиона страниц. Это конечно займет очень очень много времени. При анализе обращайте внимание, чтобы в индексе не были служебные страницы, страницы с кракозябрами и кодами. В общем, смотрите, чтобы в индексе было только, что необходимо и это необходимое отражалось красиво и лаконично.
Также мы можем посмотреть отдельно на каждую страницу, как она сохранена в результатах поиска в базе данных. Для этого в результатах поиска нам достаточно нажать вот на это небольшое выпадающее меню и нажать на кнопку "сохраненная копия".
Если мы нажмём "сохраненная копия" мы увидим ту версию страницы, как она сохранена в базе данных поисковой системы. В данном случае в гугле. И вот здесь сверху мы видим такую приписку "эта версия страницы из кэша google. Она представляет собой снимок страницы по состоянию на 14 января 2018 года" и время. Время и дата это как раз время последней индексации.
То есть, когда-то исковой бот пришел на эту страницу, просканировал, обработал и сохранил в базу данных. Вот эта страница последний раз была просканирована 14 января 2018 года. Так мы можем проверить любую страницу. То есть просто в результатах поиска нажав на выпадающее менюшку и нажав "сохраненная копия".
Также мы можем использовать оператор "cache:" . Специальный оператор, который позволяет просмотреть сохраненную копию любой странички просто по ее адресу. Для этого в google вбиваем "cache:" и адрес той страницы, которую мы хотим просмотреть, как она сохранена в базе данных поисковой системы.
Либо же через оператор "site:" и сохраненную копию. Эти две базовые команды как раз позволят нам проанализировать информацию об индексации нашего сайта. Сколько страниц было просканировано и в каком виде они хранятся вот в этой самой базе данных.
Что такое поисковая машина?
Но, база данных и поисковый индекс это далеко не вся поисковая система. В поисковой системе существуют еще две очень важных части. Это поисковая машина и веб-сервер . Начнем с более простого с веб-сервера.
Веб-сервер это та часть поисковой системы, в которой мы вводим запрос и получаем ответ. Ну, к примеру, google.com. То есть мы там ввели запрос получили ответ и больше нам, в принципе, как конкретно работает веб-сервер знать не нужно. Нам достаточно понимать: мы ввели запрос - получили ответ, нам этого достаточно.
Что же такое поисковая машина? Поисковая машина сложными словами - это программно-аппаратный комплекс, который занимается сортировкой и анализом результатов поиска. То есть, именно этот узел поисковой системы решает, какая страница будет на первом месте, а какая страница будет на последнем месте.
Если мы возьмем термин seo и расшифруем его: search engine optimization , то мы поймем, что мы занимаемся как раз .
Для того, чтобы разобраться как же работает поисковая машина, надо разобраться в двух понятиях.
- Релевантность.
- Что такое релевантность
Ближайший синоним к слову релевантность - это слово адекватность или от английского соответствие. Поисковая система ищет для нас соответствующие или адекватные релевантные результаты поиска. Почему? Потому, что мы часто задаем поисковой системе неадекватные и непонятные вопросы.
Пример релевантности по запросу "гольф"
К примеру, мы можем зайти в поисковую систему и вбить такой запрос как "гольф". При этом, что мы подразумеваем под этим запросом поисковой машине мы не объясняем. "Гольф" это может быть вид спорта, это может быть volkswagen golf автомобиль, это может быть торговая марка одежды. Но мы хотим получить ровно тот ответ, который подразумеваем мы, который держим у себя в голове.
И если поисковая система ответит нам как-то не так как мы хотим, мы будем считать, что поисковая система не справилась. Будем считать такую поисковую систему плохой. Так вот, google, учитывая более 200 разнообразных факторов, пытается дополнить наш вопрос и понять, что мы хотели увидеть и дать нам конкретную адекватную информацию относительно нашего запроса.
Давайте проверим, что же гугл нам выдаст по запросу "гольф". И мы видим, что он нам дает информацию в основном о виде спорта и фольксвагене.
Почему? Потому что google понимает: носки и кофты ищут немножко другими словами и словосочетаниями, а под этим термином люди чаще всего понимают либо вид спорта, либо volkswagen. Если мы вобьем этот запрос в какой-то другой стране, результаты поиска будут отличаться, потому что предпочтение пользователей в другой стране могут отличаться. И там будет больше информации про вид спорта гольф меньше информации про volkswagen.
Таким образом, мы можем понять, что поисковая система не просто ищет для нас странички, где упоминается какое-то слово. Поисковик пытается понять, что конкретно мы искали и предоставить нам вот ту самую релевантную страницу результатов поиска.
Поисковик не просто ищет страницы с упоминанием слов, он пытается ответить на вопрос , который мы ввели. Дать нам какую-то полезную информацию.
Пример релевантности по запросу "Киев"
Давайте рассмотрим ещё один пример релевантности на примере запроса "Киев". Вот мы вводим запрос "Киев". Что мы видим перед собой. Мы видим страницу результатов поиска. Из чего она состоит? Вот эти 10 результатов поиска - ссылки на какие-то сайты. Посмотрим, что мы здесь можем увидеть. Первое, это википедия, потом блок с новостями, потом сайт города, новости и два погодных сайта.
То есть мы можем здесь увидеть как минимум три набора информации. Общая информация о Киеве, ссылка на энциклопедию, новости и погода. Здесь мы можем вот как раз ярко выражен тот момент, о котором я говорил раньше. Поисковая система не просто подбирает нам странички, на которых упоминается какое-то слово. Поисковая система пытается понять, что мы искали. Поисковик знает, что люди, когда они ищут запрос Киев, чаще всего либо просто хотят узнать об этом городе либо хотят узнать новости в Киеве, либо узнать погоду.
И на основе этого поисковики формируют вот эту подборку ссылок, которая показывается нам в результатах поиска. Вот это и называется релевантность . То есть близость смысла страницы к вопросу, который задал пользователь поисковой системе. Подробнее, что можно ознакомиться в моей одноименной статье.
Это очень важно понимать потому, что некоторые люди думают, что они сегодня, к примеру, создадут ресторан "Киев" и захотят продвигать в поиске способами seo эту страницу в интернете. Но у них вряд ли что-то получится. Вряд ли получится выйти в топ 10, если только этот ресторан не станет самым известным рестораном в городе Киев. Почему? Потому что по запросу Киев гугл знает, что нужно показывать людям новости, погоду и энциклопедию. Это релевантные результаты поиска. По этому запросу не нужно показывать ресторан, потому что люди не ищут этот ресторан на данный момент по запросу Киев.
И, скорее всего, даже если вложить много времени сил и денег в продвижение ресторана по запросу Киев каких-то видимых результатов в данный момент мы не получим. Это и называется релевантность.
- Что такое ранжирование
Очень важно понимать, когда мы начинаем продвигать свой сайт мы хотим занять позиции по релевантным запросам или не по релевантным запросам.
Для этого достаточно просто посмотреть, что гугл показывает в поиске по этим запросам. Вот эта сортировка по релевантности. А на самом деле основной принцип сортировки результатов поиска это релевантность. На первом месте всегда наиболее лучший ответ, наиболее полный всесторонний ответ на вопрос пользователя.
Так вот эта сортировка по релевантности называется ранжирование . Сам процесс сортировки, такой термин. Сеошники любят страшные слова, потому что страшные слова, когда вы говорите, сразу же можно выглядеть чуть умнее. Вы можете сказать, что у вас проблемы не с ранжированием из-за низкой релевантности, а проблемы с индексацией. И уже звучит значительно лучше.
Ну и вторая причина, почему сеошники используют эти все страшные слова, потому что в принципе информационный поиск, это подраздел науки кибернетика. Там есть много страшных слов и seo-шники позаимствовали множество терминов из этой науки.
Подводим итог
Подытожим. Какие базовые термины мы сегодня узнали. Мы узнали про поисковый индекс и индексацию . Мы узнали, что если нашего сайта нет в индексе, то нас не будет и в поиске.
Мы узнали, что секрет позиции в гугле или любой другой поисковой системе это хорошая релевантность . То есть качество ответа наших страницы на вопросы пользователя. Насколько хорошо мы отвечаем на вопросы пользователя, и не количество упоминаний какого-то слова, а именно качество ответа.
И мы узнали, что значит ранжирование, то есть сортировка по релевантности .
Это четыре базовых термина в сео. Если вы знаете их, вы уже можете в принципе понять, что вам нужно делать со своим сайтом. Вам нужно удостовериться, что он правильно просканирован и удостовериться, что ваш сайт является качественным ответом на вопросы пользователей.
До встречи! Успевайте всё и всегда на страницах блога сайт
Помоги проекту - подпишись на наш Яндекс.Дзен канал!
В прошлый раз в серии из трех статей мы познакомились с первой статьей, где рассмотрели первую стадию работы поисковика: . Также мы рассмотрели возможные методы работы SEOшника с каждой из стадий.
Перед тем как продолжить, я считаю, что будет целесообразным освежить в памяти о чем шла речь в первой статье:
Поисковик обнаруживает, индексирует и ранжирует веб-страницы. должны основывать свои тактики продвижения на этих трех стадиях работы поисковика. Поэтому были сделаны следующие выводы:
- Все дело в обнаружении страницы
- Все дело в индексации.
- Все дело в ранжировании.
Но конечно же, Google как и любой другой поисковик существуют с одной целью - построить и развить бизнес, удовлетворяя потребности пользователей. Поэтому мы должны постоянно помнить следующее:
- Все дело в пользователях.
Зная все вышесказанное, мы можем разработать несколько методов продвижения на каждую из фаз работы поисковика, что в конце может привести к единой SEO стратегии.
Индексация сайта
Индексация является следующим шагом после обнаружения страницы. Выявление дубликатов контента является главной функцией данного шага работы поисковика. Возможно не будет преувеличением, если я скажу, что все крупные сайты имеют не уникальный контент хотя и на международном уровне.
Интернет-магазины могут иметь одинаковый контент в виде одних и тех же товаров. Об этом мы с точностью можем заявить, имея большой опыт работы с такими продавцами как Zappos и Charming Shoppes.
Еще больше проблем с новостными порталами известных газетных изданий и публикаций. Маршалл Симондс и его команда, работая над The New York Times и другими изданиями, ежедневно сталкиваются с дубликатами контента, что является основной SEO работой.
К сайту никогда не будут специально применяться санкции, если . Но существуют фильтры, которые способны отличать одинаковый или слегка измененный контент на множестве страниц. Эта проблема является одной из главных для SEO.
Дубликаты также повлияют на видимость сайта, поэтому нужно свести количество дубликатов к нулю. Различные версии одного и того же контента в индексе поисковика тоже не лучший результат оптимизации.
Мэтт Каттс , в своем интервью с Эриком Энгем, подтвердил существование "crawl cap" (колпак видимости сайта), который зависит от PR сайта (не тулбарного PR) и рассказал о том, какие проблемы могут появиться из-за :
Представьте, если мы сканируем три страницы сайта, а затем узнаем, что две из них являются копиями третьей. Мы выбрасываем эти две страницы и оставляем только одну и поэтому получается, что сайт имеет гораздо меньше хорошего контента... Но чем больше PR, тем больше шансов, что страницы не исчезнут из поиска...
Включает полнейшую информацию для любого серьезного SEOшника по проблеме дубликатов контента. Хотя и большинство, что вы услышите там будет не новостью, но подтвердить некоторые догадки и решения, с которыми мы сталкиваемся ежедневно, будет не лишним.
Определение уровня "проникновения" поисковика в сайт, "колпака видимости сайта", количества дубликатов контента, а затем их устранение, улучшит как видимость сайта в глазах поисковика, так и индексацию сайта.
Как определить качество индексации вашего сайта?
Существует несколько отличных способов узнать это:
- Анализ логов или анализ количества трафика по URL. Составив график по этим данным вы увидите, какие из частей сайта не нравятся поисковикам. А это и укажет на проблемы индексации.
- Анализ внутренней перелинковки сайта. Какие из частей сайта имеют меньше всего внутренних ссылок? Какие из частей сайта расположены в 6-7 кликах от главной страницы?
- Использование таких запросов как: site:jcrew.com inurl:72977 выявит дубликаты страницы. Самыми худшими дубликатами для являются дубликаты страниц с описанием товаров. Используйте похожие запросы в поиске: intitle и allintitle .
- Использование " " для объединения дубликатов и их сведения к главной версии . Но будьте осторожны, так как не правильное использование " " может навредить вашему сайту.
- Дайте Google и Yahoo (через панели вебмастеров) знать, что в поиске появляются дубликаты контента и во время следующего посещения сайта их можно не учитывать.
- Используйте robots.txt для запрета индексации ненужных страниц и контента, который не предназначен для поисковиков. Кроме этого, для запрета индексации некоторых частей страницы вы можете использовать тег meta robots и noindex.
- Использование XML карт сайта и Google Webmaster Tools для сравнения индексации по вертикали. (Google покажет проблемы в индексации для предложенной карты сайта).
Количество дубликатов и результаты поисковой выдачи
Проблема количества дубликатов для SEO очень сложна и требует отдельного рассмотрения. Если коротко, то проблему дубликатов можно решить использованием "rel=canonical" и стандартного "View All page" на страницах, которые служат главной.
Результаты поисковой выдачи - другая уникальная ситуация. Для управления этими результатами существует много способов.
Одним из хороших способов управления результатами поиска на сайте является канонизация этих результатов к определенной поисковой странице, которую потом сводят к качественной странице с контекстными и полезными ссылками. Это конечно не лучший выход из ситуации и использовать его лучше для поисковых страниц, которые не являются основой навигации сайта.
Выявление проблем индексации URL
Во время выявления проблем индексации сайта, любые "слабости" структуры URL страниц сайта всплывут наружу. Особенно это касается сайтов корпоративного уровня, где вы столкнетесь со всеми видами неожиданных результатов в индексе поисковика.
Эти проблемы возникают, когда у сайта появляется множество различных видов пользователей и членов администрации. Конечно же мы сами часто совершаем ошибки, SEO – не является решением всех проблем.
Индексация сайта является главным компонентом видимости сайта, индекса, ранжирования и обычно является главным объектом внимания SEOшников. Как следует почистите индекс вашего сайта и насладитесь эффективностью сканирования, скоростью индексации вашего сайта.
Оставайтесь с нами, так как будет еще и третья, заключительная статья из этой серии.
Я нашел еще 16 новых способов того, как ускорить индексацию сайта.
Смысл ускорения индексации - привлечь поисковых роботов (пауков) на сайт. Главное, знать, где эти пауки водятся 🙂 .
1. Сервисы вопросов и ответов
В последнее время сервисы вопросов и ответов становятся очень популярными. На них заходит большое количество посетителей, контент постоянно обновляется, и поисковые пауки там просто живут.
Смысл не в том, чтобы спамить ссылки на свой сайт в каждом комментарии. Лучше сделать один осмысленный комментарий, чем несколько несодержательных. Найдите категорию по тематике своего сайта и почитайте ее некоторое время. Затем найдите вопрос, в котором вы компетентны, и помогите задавшему вопрос человеку содержательным и полезным советом, к месту указав ссылку на свой сайт.
Со временем будут появляться новые сервисы, поэтому время от времени набирайте запрос "вопросы и ответы" в поисковике, чтобы находить новые.
В рунете социальных сетей для блоггеров пока немного, но они прекрасно индексируются поисковиками, а также ставят прямые ссылки на ваш сайт. Изучите материалы на этих сайтах, и, если тематика вашего сайта соответствует тематикам, публикуемым на этих сайтах, опубликуйте 1-2 анонса наиболее интересных материалов на вашем сайте. Затем время от времени можете добавлять в них анонсы своих лучших статей.
Был еще хороший сервис BlogParad.ru, но с недавнего времени он не работает.
3. Комментарии в популярных блогах
Поисковые пауки часто посещают популярные блоги. С помощью комментария на таком блоге можно эффективно привлечь поискового паука на свой сайт. При этом, естественно, нужно написать толковый комментарий. Ссылку в тексте комментария делать не нужно - это во многих случаях приведет к удалению комментария. Достаточно при добавлении комментария указать адрес своего сайта в соответствующем поле. Имя пишите, как имя, а не ключевое слово.
Как найти популярные блоги? Очень просто. Зайдите в рейтинг блогов Яндекса, и вы найдете много популярных блогов.
4. Посты и комментарии в популярных сообществах
Сообщества отличаются от блогов тем, что в них можно вступить и опубликовать свою заметку. В сообществах можно оставлять комментарии, как и на обычных блогах. Ни в коем случае нельзя спамить в сообществах. Вас оперативно удалят из него и закроют доступ.
В популярных сообществах участвуют десятки тысяч участников. Для того, чтобы найти популярные сообщества, зайдите в рейтинг сообществ Яндекса.
Большинство сообществ находятся на блоговых сервисах LiveJournal, Liveinternet и Blogs.Mail.ru. Для того, чтобы вступить в сообщества, нужно сначала зарегистрироваться в этих сервисах. После этого вы получите в свое распоряжение блог.
Кстати, вовсе необязательно публиковать ссылку на свой сайт в сообществе. Достаточно написать несколько постов на своем свежем бесплатном блоге, и в них поставить по 1 ссылке на свой сайт. Затем публикуете заметку или комментарий в сообществе без каких-либо ссылок. Поисковый паук зайдет через ссылку на ваш профиль и проиндексирует ваш бесплатный блог, а следом и ваш сайт.
5. Заказ постов на сервисе Блогун
Еще один способ ускорения индексации сайта - заказать платный пост на блогах через сервис Блогун . Там вы найдете множество блогов по любым тематикам, которые готовы написать о вашем сайте посты в следующих форматах:
Блоги очень быстро индексируются поисковиками, поэтому размещать в них ссылки на свой сайт очень эффективно для ускорения индексации.
Еще важное преимущество Блогуна, которое мне очень нравится - вы платите за ссылку на свой сайт только один раз, и она остается на все время существования блога. За нее не надо платить ежемесячно, как на других биржах ссылок.
🔥 Кстати! Я провожу платный курс по продвижению англоязычных сайтов SEO Шаолинь. Если интересует, можете подать заявку на его сайте seoshaolin.com .После того, как вы организовали блог на вашем сайте, в админке зайдите в
Options - Writing - Update Services
(Настройки-Написание-Сервисы обновления)
и в самом низу вы найдете список сервисов для пинга.
Затем скопируйте мой список , и вставьте их в окно. Теперь при публикации любого поста на вашем блоге все эти сервисы будут получать сигнал о том, что у вас появился новый материал, и поисковые пауки в ближайшее время посетят ваш блог и сайт.
7. Добавьте RSS ленту своего сайта в RSS агрегаторы
RSS агрегаторы - это сайты, которые публикуют анонсы материалов с различных сайтов, используя их RSS ленты. RSS агрегаторы хорошо индексируются поисковиками во многом благодаря тому, что на них много постоянно обновляющегося контента, то есть анонсов из RSS лент.
Вы можете бесплатно добавить RSS ленту своего сайта в RSS агрегаторы. Если у вашего сайта нет RSS ленты, то организуйте блог. Все блоги имеют RSS ленту, поэтому вы сможете добавить ее в RSS агрегаторы.
8. Перенаправьте RSS ленту своего сайта через Feedburner
По моим наблюдениям, ссылка в подписи на форуме оптимизаторов Searchengines.ru помогает поисковикам проиндексировать новый сайт в течение 1-4 дней. Ссылка в подписи на англоязычном форуме вебмастеров DigitalPoint позволяет роботу Google проиндексировать ваш сайт в течение 15-45 минут.
11. Добавьте свою новость в StumbleUpon или Digg
С помощью этого метода можно привлечь робота Google на свой сайт за 5-30 минут. Но для этого нужно сделать одну интересную статью на английском и опубликовать ее на своем сайте. Затем регистрируетесь в социальных сетях StumbleUpon и Digg и добавляете туда свою англоязычную страницу.
Подробнее о продвижении сайтов с помощью StumbleUpon вы можете прочитать в моей статье .
12. Создайте блог на бесплатных блоговых сервисах
Блоги на популярных сервисах довольно быстро индексируются поисковиками. Достаточно создать там блог и написать несколько статей или заметок со ссылками на ваш сайт. Для дополнительного ускорения индексации можете добавить друзей или оставить комментарии на популярных блогах. Обычно робот приходит на сайт через 1-5 дней после создания бесплатного блога.
Вот список наиболее популярных блоговых сервисов:
13. Опубликуйте пресс-релиз
Пресс-релиз - это отличный способ ускорить индексацию сайта. Подробнее о пресс-релизах и о том, как их использовать для продвижения сайтов вы можете прочитать в моей статье .
Для ускорения индексации англоязычных сайтов вы можете использовать мою свежую .
Постовой - это форма рекламы на блогах, когда блоггер ставит прямую ссылку на рекламодателя в начале или конце поста. Выбирайте блоги, которые часто обновляются и имеют хорошую посещаемость. Затраты составят от 3 до нескольких десятков долларов на одну ссылку в постовом.
Заходите на понравившийся вам блог, ищите раздел "Реклама на блоге" и пишите блоггеру. Большинство блоггеров предлагают рекламу на своих блогах, поэтому проблем найти подходящий блог не возникнет.
15. Напишите гостевой пост на популярном блоге
Гостевой пост - это когда вы пишете интересную и полезную статью по определенной тематике и по договоренности с блоггером высылаете ему свою статью, и он ее публикует на своем блоге. При этом указывается ваше авторство и ставится ссылка на ваш сайт.
Если вы обладаете профессиональными знаниями в какой-либо сфере и можете написать интересную статью, то этот способ замечательно подходит для ускорения индексации. Пишите статью и высылайте ее одному или нескольким блоггерам с указанием, что она уникальная. Многие блоггеры охотно разместят ваш материал, если он подходит их блогу по тематике, а вы эффективно ускорите индексацию своего сайта.
16. Возьмите интервью у популярного блоггера
Казалось бы, зачем брать интервью для ускорения индексации сайта? Дело в том, что многим блоггерам нравится давать интервью, и в большинстве случаев они поставят прямую ссылку на страницу с интервью на вашем сайте. Поисковые роботы часто посещают популярные блоги.
Этот метод подходит не для всех сайтов, но если у вас молодой и интересный тематический сайт или блог, то это хороший способ не только ускорить индексацию сайта, но и получить дополнительных посетителей на свой сайт.
Подробнее о том, как брать интервью, вы можете прочитать в моей статье .
В целом могу сказать, что если вы используете вышеперечисленные методы ускорения индексации сайта, а также методы из статьи , то вы гарантированно приведете поисковых роботов на свой сайт.
P.S. Постксриптум сегодня - потрясный видеоролик в продолжение статьи о настоящих фанатах граффити. Я такого еще не видел:
