Как проверить индексацию сайта: 4 проверенных способа

Содержание:

Как проверить индексацию страницы в «Яндексе»?

Начнём с «Яндекса», поскольку русскоязычный поисковик должен быть в приоритете в большинстве случаев – за исключением, скажем, тех, когда вы продвигаете услуги для иностранцев. Есть 2 простых способа анализа:

  • Через «Яндекс.Вебмастер».
  • Через спецоператор поисковой системы.

Первый, безусловно, проще – если твой сайт уже добавлен в «Яндекс.Вебмастер». Если нет, рекомендую не медлить с этим.

В самом «Вебмастере» нужно проследовать по пути «Индексирование» – «Проверить статус URL».

На экране появится такое поле:

Вбиваем в него URL и кликаем на «Проверить».

Результат появляется на экране в течение пары секунд. Если пишут, как на скрине выше – мол, обходится и находится в поиске – значит, уже проиндексировано. Справа две полезные кнопки: «Подробнее» и «Отслеживать». С помощью кнопки «Подробнее» можно посмотреть, когда поисковик в последний раз заходил на страницу.

Назначение кнопки «Отслеживать» ясно. С ее помощью можно контролировать состояние важных страниц – например, коммерческой, с наивысшим процентом лидогенерации. Если отслеживаемая страничка вдруг выпадет из индекса, на почту придёт оповещение об этом.

Второй способ – через оператор поисковой системы. Им можешь воспользоваться, если сайт в «Вебмастер» еще не добавил. В случае с «Яндекс» это оператор URL. Просто вбей в поисковую строку запрос в формате URL:{адрес сайта}. Например:

url:https://kovalev-copyright.ru/

Если поисковик ответит, что «нашёлся 1 результат» – бинго! Значит, страница в индексе.

Если же ответом будет «По вашему запросу ничего не нашлось», это значит, что робот еще здесь не ходил.

Дублирование

Подразумевает наличие нескольких идентичных страниц одного сайта, в которых содержится одинаковый контент.

Виды дублей:

  • страницы, адрес которых различается знаком «/». Например, «www.primer_saita.ru/Tovar/cart/GM928» и абсолютно аналогичный «…/GM928/». Часто встречается такая ситуация с карточкой одного и того же товара, которая относится к разным категориям (коньки, подходящие, как для девочек, так и для мальчиков);

  • дубли-страницы с незначащими параметрами, которые не воспринимает робот-поисковик. Примеры некоторых незначащих элементов для робота-поисковика, можно увидеть ниже:

Неприятности, которые могут возникнуть из-за дублей:

  • бот поисковой системы, вместо индексации необходимого и корректного адреса может посещать и анализировать множество ненужных страниц;

  • в базу данных поиска робот-анализатор может включить только одну страницу из всех возможных дублей, опираясь на свое усмотрение.

Как бороться с дублированными страницами:

Прописать атрибут rel= «canonical» тега со своим значением, то есть «выделить» страницу, расставив «приоритеты» цепочкой. Например, есть две страницы:

Допустим, что предпочитаемый адрес, который нам нужен – это вторая ссылка. Тогда, в первой странице необходимо прописать в ее html-коде следующую строчку:

Важно! Алгоритм анализа поисковым роботом устроен таким образом, что не считает данную директиву строгой, поэтому бот рассматривает ее, как предполагаемый вариант, который может быть проигнорирован!

  • «редирект 301», о котором мы уже говорили ранее. Особенно актуален в случаях дублей страниц с «/» и без него;

  • В файле robots.txt прописать параметры «disallow» (запрет доступа) и «clean-param» (учитывание динамических параметров (id сессий и др.), не влияющие на содержимое страницы). Пример таких дублей мы рассмотрели чуть ранее.

Где можно выявить дубли? Все в том же Вебмастере. В сервисе от «Яндекса» заходим в раздел «Индексирование», затем «Проверить статус URL», вводим ссылку, анализируем результат.

Индексация страниц сайта в Яндекс Вебмастер

Статистика обхода в Яндекс Вебмастер

Для начала зайдем в пункт «Статистика обхода». Раздел позволяет узнать, какие страницы вашего сайта обходит робот. Вы можете выявить адреса, которые робот не смог загрузить из-за недоступности сервера, на котором находится сайт, или из-за ошибок в содержимом самих страниц.

Раздел содержит информацию о страницах:

  • новые – страницы, которые недавно появились на сайте либо робот их только что обошел;
  • изменившиеся – страницы, который поисковик Яндекса раньше видел, но они изменились;
  • история обхода – количество страниц, которые обошел Яндекс с учетом кода ответа сервера (200, 301, 404 и прочие).

На графике отражены новые (зеленый цвет) и изменившиеся (синий цвет) страницы.

А это график истории обхода.

 

В этом пункте отображены страницы, которые Яндекс нашел.

N/a – URL не известен роботу, т.е. робот её раньше не встречал. 

Какие выводы из скрина можно сделать:

  1. Яндекс не нашел адрес /xenforo/xenforostyles/, что, собственно, логично, т.к. этой страницы больше нет. 
  2. Яндекс нашел адрес /bystrye-ssylki-v-yandex-webmaster/, что тоже вполне логично, т.к. страница новая.

Итак, в моем случае в Яндекс Вебмастере отражено то, что я и ожидал увидеть: что не надо – Яндекс удалил, а что надо – Яндекс добавил. Значит с обходом все у меня хорошо, блокировок никаких нет.

Страницы в поиске

Поисковая выдача постоянно меняется – добавляются новые сайты, удаляются старые, корректируются места в выдаче и так далее.

Информацию в разделе «Страницы в поиске» вы можете использовать:

  • для отслеживания изменений количества страниц в Яндексе;
  • для слежения за добавленными и исключенными страницами;
  • для выяснения причин исключения сайта из поисковой выдачи;
  • для получения информации о дате посещения сайта поисковиком;
  • для получения информации об изменении поисковой выдачи.

Чтобы проверить индексацию страниц и нужен этот раздел. Здесь Яндекс Вебмастер показывает страницы, добавленные в поисковую выдачу. Если все ваши страницы добавлены в раздел (новый добавятся в течение недели), то значит со страницами все в порядке.

Как проверить индексацию сайта в Яндексе

Чтобы проверить процесс индексирования сайта в системе Яндекс нужно что бы ваш сайт был зарегистрирован в Яндекс.Вебмастере.

Ранее я уже показывала, как зарегистрировать сайт в поисковых системах.
Ознакомиться с ними вы можете по этим ссылкам:

Как добавить сайт в поиск GoogleКак в Яндекс.Вебмастер добавить сайт

  1. 1.Заходим в свою учетную запись в Яндекс.Вебмастера и нажимаем на кнопку «Войти»
  2. 2.В открывшейся форме вводим свои логин и пароль, после чего, опять нажимаем «Войти».
  3. 3.Сразу же, на стартовой странице вы увидите график и данные о количестве загруженных страниц в поисковую систему роботом, количество проиндексированных страниц и количество исключенных страницы из индекса.
  4. 4.Кликнув по графику или перейдя в пункт левого бокового меню «Индексирование» => «Статистика» вы можете просмотреть более подробную статистику. Вы можете подробно проверить по датам процесс добавления страниц в поисковую систему.
  5. 5.Кликнув по раскрывающемуся меню под названием сайта, вы можете отфильтровать показания графика:
  6. 6.Пролистав страницу, можно ознакомиться с полным перечнем страниц, которые уже находятся выдаче и датой их переобхода роботом

Если вы добавили на сайт новую страницу или запись, либо вы внесли какие-то изменения в уже существующие страницы, и вам нужно провести повторную индексацию, то вы можете сообщить об этом роботу Яндекс, воспользовавшись инструментом «Переобход страниц» в разделе бокового меню «Инструменты».

Вам нужно вставить адрес страницы, для которой нужно провести принудительное индексирование и нажить на кнопку «Отправить».

Ниже расположен перечень, в котором содержаться страницы, ранее отправленные на повторное индексирование.
В графе «Статус» отображается ход индексирования, а в графе «Отправлен» отображается время посещения страницы роботом.

Популярные статьи

  • 30.3K
  • 10 мин.

Что лучше: SEO-продвижение или контекстная реклама?

Не знаете, что лучше: SEO-продвижение или контекстная реклама? Все зависит от желаемого результата и ваших целей. Давайте разбираться, чтобы не потратить лишних денег и сделать правильные инвестиции.

  • 22 сентября 2018
  • Продвижение

  • 5.3K
  • 10 мин.

SEO-тренды в 2021 году: что важно знать

Каждый год тренды поискового продвижения меняются, но что-то остается прежним. В статье мы расскажем о SEO трендах 2021 года и как работать над продвижением, учитывая актуальные тенденции поисковой отрасли

  • 29 января 2021
  • Продвижение

  • 29 мая 2019
  • Продвижение

Используйте операторы поисковых запросов

Поисковые операторы позволяют уточнять результаты поиска. Оператор «site:» выдает информацию о приблизительном количестве проиндексированных страниц. Для проверки в строке поиска Google или Яндекс введите «site:».

Например, сайт cubing.com.ua находится под фильтром АГС.

С помощью дополнительных инструментов поисковых систем можно узнать данные об индексации за определенный период времени. Так, за последний час в индексе Google появились 49 страниц русскоязычной Википедии:

Также можно проверить индексацию и вид в поиске одной отдельной страницы с помощью оператора site: или просто добавив нужный вам URL в поисковую строку:

Если поисковые платформы наложили на сайт или страницу санкции и фильтры, то ссылка может не отобразиться. Тогда надежнее будет использовать специальные операторы. Для Google это оператор inurl:. Запрос будет таким:

inurl:example.com/post/

Для Яндекса это оператор url:. Запрос будет выглядеть так:

url:example.com/post/

Если страница показывается в выдаче, значит она проиндексирована, а если поиск выдал пустой результат — страницы в индексе нет.

YCCY

Данная программа включает в себя несколько блоков, исполняющих разнородные задачи, но в нашем случае самое большое значение имеет модуль INDEXATOR, который выполняет следующие функции:

  • Проверка индексированных страниц в Google и Яндексе в массовом порядке
  • Проверка в пакетном режиме на количество страниц
  • Проверка на тИЦ сайта

Программу можно скачать с официального сайта, там же прочитать полное описание всех модулей программы и инструкцию по работе. Все достаточно просто и наглядно. Для проверки необходимо в левое окно ввести адрес тестируемого сайта, выставить нужные чекбоксы на предмет проверки, нажать кнопку Начать проверку и в трех правых окнах получить результат проверки.

Проверка индексации программой YCCY

Проблемы индексации сайта

У качественного сайта количество попавших в поисковой индекс страниц и их общее число должно приблизительно совпадать. И желательно в нескольких поисковых системах одновременно. Допускается небольшая разбежность, учитывающая страничные данные, находящиеся на рассмотрении. Но если разбежность высокая, часть страниц не индексируется и не попадает в поисковую выдачу — ищем ошибки.

Основные ошибки индексирования и как их исправить:

  • Ошибки в файле robots.txt. Файл находится в корневом каталоге веб-сайта и содержит основную информацию о правилах сканирования сайта. В нем можно указывать страницы, на которые поисковым роботам заходить не нужно. Важные страницы, по ошибке, могут быть закрыты от сканирования либо некачественные документы открыты для поисковых систем.
  • Ошибки или отсутствие файла sitemap.xml. Это документ, в котором находятся ссылки на страницы и который используют роботы для получения их списка. О том, как правильно составить карту, сформировать файл sitemap и указать на него ссылку поисковикам, можно найти, например, в документации Google.
  • Проблемы с контентом. Мусорные страницы, не несущие информации, неуникальный контент, дубли, медленная загрузка контента из-за «тяжелых» изображений, ошибки «404», одинаковые метатеги — это все нужно исправлять или скрывать от индексации.
  • Технические ошибки. Нестабильная работа хостинга, некорректные HTTP-заголовки, ошибки кодировки, ошибки сканирования. Найти их можно с помощью специальных утилит, иногда на ошибки указывают и сами роботы.
  • Сайт новый. Роботы в первую очередь проверяют сайты, которые уже закрепились в ТОПе поисковой выдачи и постоянно обновляются. До новых сайтов роботы доходят в последнюю очередь.
  • Сайт очень редко обновляется. Если на нем ничего не меняется годами (не добавляется и не изменяется контент) поисковые системы не будут его часто сканировать.

Процесс индексации нового сайта может занимать более месяца. Потому здесь рекомендация одна — ждать, параллельно проверяя структуру на наличие технических ошибок, постоянно обновлять контент и развивать ссылочную базу. Если сайт существует давно — периодически проверяйте график индексации. Появился спад, упала поисковая выдача — ищите ошибки.

Если вы владелец сайта

Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.

https://webmaster.yandex.ru/ — Яндекс

https://www.google.com/webmasters/ — Google

Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска

Яндекс Вебмастер


В вебмастере целый раздел так и называется «Индексирование»

В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.


Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.

Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:


Пример проверки отдельной страницы

Google Search Console (Google Вебмастер)

В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.


Пример проблем с индексацией. Серые столбики — исключенные страницы.
Проверка отдельной страницы

Имея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.

Почему не индексируется сайт?

  1. Сайт новый. Поисковику нужно время, чтобы он успел просканировать ваш сайт.
  2. Отсутствует Sitemap. Карта сайт может помочь поисковому роботу быстрее найти страницы и быстрее их отправить в поиск. 
  3. Проблемы с сайтом. В панели Яндекс Вебмастера отображаются все ошибки и нарушения, которые видит поисковик. Проверяйте сервис и решайте проблемы.
  4. Запрет индексации с помощью метатега «robots». Возможно, вы что-то поменяли в своей CMS, а конкретнее что-то с индексацией сделали При данной проблеме в коде страниц сайта появляется следующая строка:
  5. Ошибка в файле robots.txt. Если вы нашли конструкцию , то её надо удалить.

Как подготовить сайт к индексации?

Сделать это можно путем его внутренней и внешней оптимизации. В частности, необходимо сделать следующее:

Выбрать правильное имя для домена. Лучше всего, если в его название будет входить главное ключевое слово. Желательная длина – до 12 символов.
Выбрать надежный хостинг. Он должен быть быстрым и понятным, работать без перебоев и не мешать индексации. Один из лучших – beget.ru.
Использовать адаптивный дизайн. Если вы используете шаблон, смотрите, чтобы он хорошо отображался на планшетах, мобильниках и компьютерах. В нем также не должно быть никаких скрытых ссылок.
Создать Robots.txt. Этот файл показывает роботам, какие страницы можно, а какие нельзя индексировать. Настройка сложная, поэтому лучше доверить ее специалистам.
Создать карту сайта. Даже две: первая должна быть в формате .xml (для поисковых ботов), вторая — в .html (для людей). Сделать их легче. Для составления карт даже придуманы специальные плагины. Например, на WordPress это WP Sitemap Page и небезызвестный опытным веб-мастерам Google XML Sitemaps от Arne Brachhold.
Составить семантическое ядро (СЯ) – это такой список из поисковых фраз, по которым в дальнейшем ваш сайт будут находить пользователи. В принципе, эту работу нужно проделать до регистрации домена и хостинга. И, естественно, еще до проверки индексации сайта в поисковиках.
Написать тексты с учетом слов из СЯ и оптимизировать картинки. Статьи следует писать оптимизированные, не забывая про новый алгоритм от «Яндекса» «Королев». Изображения до загрузки на ресурс желательно сжимать без потери качества. Сделать это можно с помощью специальных сервисов.
Прописать все важные мета-теги. В частности, Title (название статьи, длина – до 80 символов) и Description (краткое описание, длина – до 200 символов)

В дескрипшен важно включить самое главное ключевое слово в разбавленном виде.
Оставить ссылки на авторитетных ресурсах (внешняя оптимизация!). Тут только 2 правила: сайт-донор должен быть действительно тематическим, а ссылка — вечной.
Создать группу для сайта в соц.сетях и размещать ссылки на новые посты там.
Подтвердить права на свой ресурс и поставить его в очередь на индексирование

Сделать это можно через панель веб-мастера Yandex или «Гугла».

Еще перед тем, как проверить индексацию сайта «Яндексом», нужно ускорить загрузку ресурса. Все рекомендации по тому, что для этого можно сделать, стоит смотреть на developers.google.com/speed/ или ином аналогичном ресурсе.

Почему не индексируется сайт?

Бывают ситуации, когда вебмастер ведет работу над SEO-оптимизацией сайта: активно наполняет его контентом, наращивает ссылки, а количество страниц в поисковой выдаче Google или «Яндекс» не увеличивается. Или что еще хуже — в поиске нет ни одного документа с сайта. С чем это связано? Самые распространенные причины:

«Яндекс» и Google не знает о вашем сайте

Если это новый ресурс, и вы только недавно открыли его для поисковых роботов, то, возможно, они просто его еще не нашли. Но эту проблему легко решить, выполнив несколько простых манипуляций:

  • Добавить сайт в «Яндекс.Вебмастер» и Google Webmasters.
  • Направить поисковых роботов на страницы сайта.

В «Яндекс.Вебмастер» («Индексирование» — «Переобход страниц»):

В Google Webmasters («Проверить URL» — Добавить адрес страницы — «Запросить Индексирование»):

Нужно будет немного подождать, пока робот обойдет страницы сайта. Как правило, на это уходит 1-2 часа (хотя может затянуться на несколько дней).

Сайт или страницы закрыты от индексации в файле robots.txt

Порой вебмастера, работая над сайтом, забывают открыть его для индексации. Но это легко исправить. Добавьте следующую команду в файл:

Это означает, что ресурс открыт для всех поисковых роботов. Но не забывайте, что нужно закрыть дубли на сайте, ведь не все содержимое должно принимать участие в поиске. Поэтому уделите заполнению файла robots.txt достаточно времени.

Настройки приватности

Если сайт управляется CMS WordPress, то по умолчанию в нем выставлены настройки приватности, которые запрещают индексацию поисковыми роботами. Авторизуйтесь в админке, перейдите в «Настройки — Чтение — Видимость для поисковых систем» и снимите галочку:

Сайт закрыт от поисковых роботов в мета-тегах

Запретить индексировать содержание страниц можно и с помощью мета-тега:

Как решить проблему:

  • Посмотрите, нет ли такого тега на странице.
  • Удалите код или добавьте другие мета-теги follow и index.

Ошибки сканирования

Проблемы с индексацией возникают и в том случае, если робот, обращаясь к ресурсу, не может просканировать его содержимое.

Проверьте все ли в порядке:

  • Авторизуйтесь в Google Webmaster.
  • Откройте «Сканирование» — «Ошибки сканирования»: 

В идеале не должно быть никаких ошибок.

Сайт закрыт от роботов в .htaccess

В этом файле содержится правило 301 редиректа. Но помимо него, может быть прописана команда не индексировать сайт.

Чтобы проверить, выполните следующее:

  • Найдите и откройте файл файл .htaccess на сервере.
  • Проанализируйте содержимое кода.

Нестабильная работа сервера или хостинга

Выбирайте стабильный хостинг с хорошей репутацией. В противном случае, если роботы будут обращаться к сайту, он будет часто недоступен, а их попытки станут все реже. Через некоторое время они и вовсе откажутся заходить к вам на сайт.

Проблемы с индексацией AJAX/JavaScript

Поисковым роботам сложнее просканировать содержимое AJAX и JavaScript, чем HTML. Если вы допустите ошибки при оптимизации, то Google и «Яндекс» не проиндексируют определенные страницы или даже весь сайт.

Дубли контента внутри сайта

За дублирование контента поисковые системы наказывают санкциями, но это тоже одна из причин плохой индексации. К дублям может относиться одинаковый контент, открывающийся на разных страницах, мета-теги или даже страницы, если они доступны под двумя адресами (с www и без; http и https). Если не исправить проблему своевременно, то она негативно скажется на дальнейшем SEO-продвижении.

Плохая скорость загрузки

При плохой скорости загрузки ресурса, он может плохо индексироваться и потерять позиции, так как этот показатель относится к факторам ранжирования. Проверить насколько быстро загружается ваш сайт можно с помощью специального инструмента — Google Page Speed: 

Поработайте над улучшением скорости загрузки сайта, учитывая рекомендации инструмента.

Домен с баном

Случается, что вебмастер выбирает и регистрирует созвучное имя для сайта, наполняет ресурс и ждет, когда он проиндексируется, но ничего не происходит. После анализа домена, выясняется, что домен ранее использовался и находится в бане поисковых систем. 

Исправить такую ситуацию не просто. Придется написать в тех. поддержку «Яндекс», чтобы они пересмотрели ресурс или указали причину бана (если вы ее не знаете). Заниматься ли развитием сайта на этом домене — решать вам. Ориентируйтесь на то, что ответит вам техническая поддержка. Часто бывает проще начать все на новом домене.

Отсутствует sitemap

Не самая распространенная причина плохой индексации, но не стоит ее исключать. Создайте карту сайта и не забудьте добавить ее в сервисы для вебмастеров от Google и «Яндекс»: 

В «Гугл вебмастер»: 

Как проверить проиндексирован ли сайт в целом?

Для начала стоит убедиться, что ваш сайт попадает в базу поисковиков. Для этого нужно узнать общее число его страниц. При наличии современной системы управления веб-ресурсом, посмотреть данную цифру можно в административной части. При этом учитывается итоговое число страничек и записей.

Если по какой-либо причине данная информация недоступна, можно воспользоваться сервисом Xml-sitemaps.com. Учтите, что он бесплатен только при работе с сайтами, имеющими в своем арсенале до полутысячи страниц.

Узнав требуемое число, можно приступать к проверке индексирования площадки в главных поисковых системах – Яндекс и Google. Для этого существует несколько способов:

  • Использование специальных инструментов для веб-мастеров: webmaster.yandex.ru и google.com/webmasters. Зарегистрировавшись в них и добавив свой ресурс в систему, вам станут доступны не только данные о количестве проиндексированных страничек, но и статистика других «пузомерок».
  • Ручная проверка через ввод специальных команд в строку поиска. При этом в Яндексе нужно ввести конструкцию host:имя сайта+домен либо host:www+ имя сайта+домен, например, host:abc.ru. На это система выдаст все проиндексированные страницы. Для проверки в Google потребуется ввести запрос: site:имя сайта+домен, т.е. site:abc.ru.
  • Использование автоматических сервисов, проверяющих индексацию сразу в обеих поисковых системах. К числу таких относятся, например, Site-auditor.ru, Pr-cy.ru или Seolib.ru. Также можно добавить в свой браузер плагин RDS Bar, который будет показывать сведения о ресурсе, включая индексацию страничек, на котором вы находитесь.

С помощью любого из данных методов можно узнать, проиндексирован ли сайт в целом, и определить число занесенных в базу поисковиков страниц ресурса.

Индексация сайта в Google и Яндекс

Принципы индексации у этих поисковых систем преимущественно одинаковые: краулинг → очистка → индексация → ранжирование. Но различия можно найти, поэтому расскажем о тех, которые известны.

Индексация в Google

Самое главное отличие — Google лучше ориентируется в англоязычном сегменте, то есть лучше воспринимает текст и запрос пользователя на английском. Разница на момент 2020, думается, незначительная, но учитывать стоит.

У Гугла 2 основных типа роботов: для мобильных сайтов и для десктопных. Новые сайты индексируются мобильными роботами и приоритет отдан мобильным версиям сайта, согласно алгоритму mobile-first индекс. 

Скорость индексации обычно выше, чем у Яндекса: на 1 страницу уходит неделя или меньше. Индекс обновляется постоянно, а некачественные страницы не удаляются из него, но при этом и не показываются пользователям.

Индексация в Яндексе

У Яндекса тоже 2 типа роботов: основной и быстрый (Orange). Основной робот занимается индексацией всего интернета, а быстрый отвечает за поиск самых свежих документов, чтобы информация была доступна как можно быстрее (от нескольких минут до пары секунд).

Обновление индекса происходит раз в несколько дней ночью, когда нагрузки на серверы меньше. Процесс индексирования сайта обычно занимает от недели до месяца, а некачественные страницы удаляются из индекса.

Как проверить индексацию?

Уточним сразу пару моментов. Индексацию нужно проверять как в Google, так и в Яндексе. Более того, вы должны знать изначальное количество страниц на сайте. Это можно сделать с помощью краулеров типа Xenu, Screaming Frog, Netpeak Spider и других.

Как проверить индексацию:

  1. Инструменты Яндекс Вебмастер и Google Search Console. В Вебмастере это Индексирование → Страницы поиска (отдельные страницы смотрите в инструменте «Проверить статус URL»). В Search Console откройте отчёт Покрытие → Страницы без ошибок (индексацию отдельных страниц ищите в Проверке URL).  
  2. Используйте оператор site. В поисковой строке Яндекса и Google введите site:name.com, где name — домен сайта. Под строкой поиска справа будет указано количество проиндексированных страниц. Если разница в количестве больше 10%, у вас проблемы с индексацией.
  3. RDS Bar и другие сервисы. RDS Bar — это бесплатный плагин для браузера. В нём вы узнаете не только количество проиндексированных страниц, но и получите другую полезную информацию. Также автор статьи советует воспользоваться сервисом a.pr-cy. Он позволяет провести хороший первичный аудит сайта и уже в самом начале выявить основные проблемы.

Как ускорить индексацию сайта в поисковых системах

Есть несколько
способов:

Добавление страницы с помощью Search Console

Это самый быстрый и простой способ
проиндексировать страницу. Обычно он занимает от нескольких секунд до
нескольких минут. По истечении этого времени ваш ресурс станет видимым для Google. Просто вставьте полный адрес страницы для индексации и нажмите запросить
индексацию в специальном окошке.

Добавление страницы в индекс через карты XML

XML-карта разработана для роботов Google. Он должен быть на всех страницах, потому что формат XML значительно упрощает индексацию страницы в Гугл. Карта XML – это совокупность всей информации об URL-адресах и подстраницах ресурса. В XML также содержится вся информация обо всех обновлениях ресурса.

Как только нам удастся создать карту сайта,
добавьте ее в поисковую систему Google. Благодаря этому роботы
будут знать, где найти данную карту сайта с ее данными. Чтобы отправить карту XML в Гугл, используйте Google Search Console. Когда карта будет обработана, вы сможете отображать статистику на
заданной странице и любую полезную информацию об ошибках.

Индексирование с PDF

Все больше и больше компаний решают размещать
на своих сайтах тексты в формате PDF. Если текст находится в
этом формате, Google может обработать изображения для извлечения
текста.

Как обрабатываются ссылки в файлах PDF? Ссылки в PDF обрабатываются точно так
же, как ссылки на веб-страницах. Стоит помнить, что там должны быть размещены
запрещенные для подписки ссылки. Чтобы проверить индексацию файлов PDF, введите фразу в поисковике вместе с аннотацией PDF.

Индексирование веб-сайтов с помощью онлайн-инструментов

Это базовая и очень простая форма индексации.
Это делается через несколько обратных ссылок

Есть много инструментов этого
типа, большинство из них платные или имеют ограниченную бесплатную версию.
Индексирование с помощью онлайн-инструментов важно для ссылок и страниц, к
которым у нас нет доступа. Добавив их в индексацию, Google Robot сможет свободно перемещаться по ним

Бюджет сканирования – это бюджет сканирования
вашего ресурса. В частности, краулинговый бюджет – это количество страниц,
проиндексированных Google на вашем сайте роботами
Гугл за одно посещение.

Это зависит от размера вашего ресурса и его
состояния, т. е. Ошибок, с которыми сталкивается Гугл, и, конечно же, от
количества ссылок на ваш ресурс. Роботы ежедневно индексируют миллиарды под-страниц,
поэтому каждое такое посещение загружает некоторые серверы со стороны владельца
и Google.

На краулинговый бюджет наибольшее влияние
оказывают два параметра:

  • Crawl Rate Limit – ограничение скорости индексации страницы;
  • Crawl Demand – частота, с которой сайт индексируется.

Crawl Rate Limit это ограничение, введенное для
предотвращения одновременного сканирования слишком большого количества страниц
в Google. Оно было разработано для обеспечения защиты
от возможной перегрузки сайта. Основная цель ограничителя состоит в том, чтобы Гугл
не отправлял слишком много запросов, которые замедлили бы скорость вашего ресурса.
Это также может зависеть от скорости веб-сайта, если она слишком медленная,
замедляется темп всего процесса. Тогда Google сможет проанализировать только некоторые из ваших подстраниц. На
ограничение скорости сканирования также влияет ограничение, установленное в Google Search Console. Владелец сайта может изменить значение лимита через панель.

Требование сканирования основано на
технических ограничениях. Если страница представляет ценность для
потенциального пользователя, робот с большей вероятностью ее посетит. Возможно,
даже если ограничение скорости сканирования не используется, ваш веб-сайт не
будет проиндексирован. На это могут повлиять два фактора:

  • популярность, т. е. адреса, которые посещают
    большее количество пользователей, чаще посещаются роботами;
  • актуальность – алгоритмы проверяют, насколько
    часто сайт обновляется.

Вывод

Есть много способов проиндексировать страницу
в Google и Яндекс. Самые популярные из них:

  • добавление страницы в Яндекс Вебмастер;
  • индексация с помощью Search Console;
  • карты XML;
  • индексирование файлов PDF;
  • индексация веб-сайтов с помощью
    онлайн-инструментов.

Любой владелиц ресурса, если он хочет
добиться успешного развития своего ресурса, должен работать над его оптимизацией под поисковые системы. Это наиболее
верный способ сделать сайт более популярным и увеличить доход от рекламы. Для
успеха в деле оптимизации лучше всего обратится к профессионалам, которые помогут устранить все препятствия на пути популяризации
Интернет-ресурса.

По поводу Вебмастера

Как Вы успели заметить, в некоторых примерах, мы обращались к сервису, где можно пронаблюдать за различными моментами, касающимися динамики индексирования сайта в поиске. Так как мы делали обзор каждого из них в других статьях нашего блога, то не будем повторяться, а просто укажем источники для ознакомления:

  • краткий обзор возможностей «Google. Webmaster» рассмотрен в статье «Как перезапустить сайт и не потерять результаты в поиске»;

  • а вот в материале, который называется «Как избежать типичных ошибок при поисковой оптимизации. Мифы, советы, инструменты» рассмотрен сервис «Яндекс. Вебмастер».

Уверены, что там Вы найдете и много других полезных и интересных «фишек» и фактов.

Заключение

Проверка индексации в одной поисковой системе — не проблема, достаточно выгрузить отчеты из панели для вебмастеров. Но сопоставить данные из Яндекса и Google и выявить, какие именно страницы не проиндексированы одной из ПС, — другое дело. Вручную сделать это, особенно если страниц более 100-200, трудоемко. В такой ситуации стоит воспользоваться инструментом автоматизации. Спустя пару минут после запуска у вас будет отчет, который позволит выявить нестыковки и принять меры для их устранения.

Попробуйте инструмент анализа индексации страниц в действии — предлагаем 100 бесплатных проверок!

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Adblock
detector