- Страница, которой нет в индексе поисковой системы, не может приводить клиентов из поиска.
- Чаще всего индексацию блокируют сами владельцы сайта — запретом в robots.txt или метатегом noindex после разработки.
- Проверить, есть ли страница в поиске, можно в Яндекс Вебмастере за пару минут.
- Новые страницы попадают в поиск не мгновенно; ускорить процесс помогают Sitemap и переобход в Вебмастере.
Индексация — это процесс, при котором поисковая система находит страницу, загружает её и добавляет в свою базу. Только страницы из этой базы, индекса, могут появляться в результатах поиска. Если страница услуги не проиндексирована, никакое продвижение не приведёт по ней клиентов.
Разберём частые причины проблем с индексацией — от самых распространённых к более редким.
Как проверить, есть ли страница в поиске
Самый надёжный способ — Яндекс Вебмастер. В разделе «Индексирование» есть инструмент проверки статуса URL: вставьте адрес страницы, и сервис покажет, есть ли она в поиске, когда её последний раз обходил робот и какой ответ получил.
Там же, в отчёте о страницах в поиске, видно, какие страницы исключены и по какой причине. Причина исключения — главная подсказка, с чего начинать.
1. Запрет в robots.txt
Файл robots.txt лежит в корне сайта и сообщает поисковым роботам, какие разделы обходить нельзя. Его можно открыть в браузере по адресу ваш-сайт.ru/robots.txt.
Частая ситуация: на время разработки сайт закрывают от роботов, а после запуска забывают открыть. Выглядит такой запрет так:
User-agent: *
Disallow: /Строка Disallow: / запрещает обход всего сайта. Если сайт уже работает и должен быть в поиске, эту строку нужно убрать или заменить на запреты для отдельных служебных разделов.
Проверить, не закрыта ли конкретная страница, можно инструментом анализа robots.txt в Вебмастере.
2. Метатег noindex
Запретить индексацию страницы можно не только в robots.txt, но и прямо в её коде — метатегом:
<meta name="robots" content="noindex">Робот увидит страницу, но не добавит её в поиск. Этот тег тоже часто остаётся после разработки или включается галочкой в настройках CMS — например, «скрыть от поисковых систем» в WordPress.
Чтобы проверить, откройте страницу, нажмите правой кнопкой мыши и выберите «Просмотреть код страницы», затем найдите по странице слово noindex.
3. Сервер отвечает ошибкой
Когда робот запрашивает страницу, сервер возвращает код ответа. Для нормальной страницы это 200. Если сервер возвращает ошибку — 404 «не найдено» или 5xx «ошибка сервера», — страница в поиск не попадёт, а ранее проиндексированная со временем выпадет.
Причины бывают разные: страница удалена или переехала без перенаправления, сервер перегружен, сайт временно не работал. Проверить ответ сервера можно соответствующим инструментом в Вебмастере.
4. Страница считается дублем
Если одинаковое или почти одинаковое содержимое доступно по разным адресам, поисковая система выбирает один из них, а остальные исключает. Иногда она выбирает не тот адрес, который вам нужен.
Типичные источники дублей:
- адреса с www и без www, с http и https;
- адреса со слешем на конце и без него;
- страницы с параметрами сортировки и фильтров в адресе;
- одинаковые описания у похожих товаров или услуг в разных городах.
Чтобы указать основной адрес, используют перенаправления (301 редирект) и тег canonical. Это задача для разработчика.
5. Страница недостаточно качественная
Яндекс может исключить страницу, если сочтёт её малополезной для пользователей: почти пустой, с очень коротким текстом, без уникального содержания. В Вебмастере такие страницы обычно помечены как недостаточно качественные.
Решение — сделать страницу полезной: добавить описание услуги, цены, условия, ответы на частые вопросы. Если страница действительно не нужна в поиске, её лучше закрыть от индексации, чтобы не тратить на неё внимание робота.
6. Робот не может найти страницу
Поисковая система находит новые страницы по ссылкам с других страниц и из файла Sitemap. Если на страницу не ведёт ни одна ссылка, а в Sitemap её нет, робот может о ней не узнать.
Что помогает:
- ссылки на важные страницы из меню и разделов сайта;
- актуальный файл Sitemap со всеми нужными страницами, добавленный в Вебмастер;
- инструмент переобхода страниц в Вебмастере — им можно отправить роботу адреса новых или изменённых страниц.
7. Страница новая
Иногда проблемы нет: страница просто недавно появилась. Индексация занимает время — от нескольких дней до нескольких недель, в зависимости от сайта. Если страница добавлена в Sitemap, на неё есть ссылки и она отправлена на переобход, остаётся подождать.
Делать самому или нанять специалиста
Проверить статус страницы, открыть robots.txt и найти noindex в коде владелец может сам по этой инструкции. Исправлять дубли, настраивать перенаправления и разбираться с ошибками сервера лучше поручить разработчику или техническому SEO-специалисту.