Вы создали сайт, наполнили его контентом, но поисковые системы его не видят? Или страницы, которые раньше были в индексе, внезапно исчезли? Проблемы с индексацией — одна из самых частых и неприятных ситуаций в SEO . Хорошая новость в том, что у большинства таких проблем есть конкретные причины и решения. Разберём их отдельно для Google и Яндекса, а также покажем, как диагностировать ситуацию с помощью официальных инструментов.
Почему сайт не индексируется в Google
Google — самая требовательная поисковая система к техническому состоянию сайта. Если что-то мешает роботу сканировать страницу, она не попадёт в индекс, и вы не увидите её в выдаче.
1. Закрытие от индексации через robots.txt
Файл robots.txt — первое, что проверяет робот. Если в нём есть директива Disallow: /, весь сайт закрыт от индексации. Часто это происходит по ошибке: например, при переносе сайта с тестового окружения забыли убрать запрет.
Решение: откройте robots.txt и убедитесь, что нет запрета на важные разделы. Проверить, как Google видит файл, можно в Search Console.
2. Тег noindex на страницах
Мета-тег <meta name="robots" content="noindex"> прямо запрещает индексацию страницы. Иногда его устанавливают для служебных страниц, а потом забывают убрать, и он попадает в шаблон всех страниц.
Решение: проверьте исходный код страницы. Если нашли noindex, удалите его из шаблона или конкретной страницы.
3. Санкции Google
Google может наложить ручные санкции за нарушения правил: покупные ссылки, переспам, тонкий контент. В этом случае страницы исключаются из выдачи полностью.
Решение: проверьте отчёт «Ручные действия» в Google Search Console. Если санкции есть, нужно устранить причину и подать запрос на пересмотр.
4. Плохое качество контента
Google не индексирует страницы с тонким контентом (меньше 300–500 слов), дублями, автогенерированным текстом без экспертной ценности. Это особенно актуально после обновлений алгоритмов, направленных на борьбу с «AI-слопом».
Решение: сделайте страницы уникальными и полезными. Добавьте факты, цифры, примеры. Уберите дубли и страницы-заглушки.
5. Технические ошибки сервера
Коды ответа 5xx (ошибка сервера), 404 (не найдено), 403 (доступ запрещён) не позволяют роботу получить содержимое страницы. Если сервер не отвечает, Google не сможет проиндексировать страницу.
Решение: проверьте логи сервера, настройте корректные редиректы. В Search Console посмотрите отчёт «Покрытие» — он покажет страницы с ошибками.
6. Медленная загрузка и проблемы с рендерингом
Если страница грузится слишком долго или Google не может отрендерить JavaScript/CSS, контент может остаться невидимым для робота.
Решение: проверьте Core Web Vitals в Search Console. Ускорьте сайт, убедитесь, что важный контент доступен без JavaScript.
Почему сайт не индексируется в Яндексе
У Яндекса свои алгоритмы и свои причины исключать страницы из поиска. Часто они связаны с качеством контента и техническими проблемами.
1. Страница признана малоценной или маловостребованной
Яндекс может исключить страницу, если она дублирует другие, не содержит контента или не отвечает интересам пользователей. Это автоматический алгоритмический процесс.
Решение: сделайте контент уникальным, добавьте ценность. Если страница действительно не нужна — удалите её или закройте от индексации.
2. Ошибка загрузки или обработки роботом
Если сервер вернул статус 3XX, 4XX или 5XX, робот не смог получить страницу[reference:9]. Также проблема может быть в DNS: если записи настроены неверно, робот не найдёт сайт.
Решение: используйте инструмент «Проверка ответа сервера» в Яндекс.Вебмастере. Он покажет, какой статус получает робот.
3. Запрет в robots.txt или noindex
Директивы Disallow или мета-тег noindex могут закрыть страницы от индексации. Иногда запрет случайно попадает на важные разделы.
Решение: проверьте robots.txt через инструмент «Анализ robots.txt» в Вебмастере. Убедитесь, что запрещены только служебные страницы.
4. Санкции Яндекса
Фильтры АГС, «Баден-Баден», «Аффилиат» и другие могут понизить сайт в выдаче или исключить его из поиска. Причины: накрутка поведенческих факторов, некачественный контент, переспам.
Решение: проверьте раздел «Безопасность и нарушения» в Вебмастере. Если есть санкции — устраните причину и подайте на пересмотр.
5. Дубли страниц
Если одна и та же страница доступна по нескольким URL (например, с ?utm или ?page=), Яндекс может выбрать один адрес, а остальные исключить.
Решение: настройте rel="canonical" или 301-редиректы. Закройте мусорные параметры в robots.txt.
Как диагностировать проблему: пошаговый план
Шаг 1. Проверьте индексацию вручную
Самый простой способ — оператор site:вашдомен.ru в Google и Яндексе. Он покажет, сколько страниц в индексе. Если результатов нет вообще — сайт не проиндексирован. Если есть, но мало — сравните с общим количеством страниц.
Шаг 2. Используйте Google Search Console
В GSC отчёт «Индексирование → Страницы» покажет, какие страницы проиндексированы, а какие исключены, и по какой причине. Для конкретной страницы используйте «Проверка URL» — она покажет статус и позволит запросить переобход.
Шаг 3. Используйте Яндекс.Вебмастер
В Вебмастере перейдите в «Индексирование → Страницы в поиске». Раздел «Исключённые страницы» покажет причины исключения. Для проверки конкретной страницы используйте «Индексирование → Проверка страницы».
Шаг 4. Проверьте robots.txt и noindex
Убедитесь, что нет запрета на индексацию важных страниц. В GSC есть отчёт «Проверка robots.txt», в Вебмастере — «Анализ robots.txt». Проверьте исходный код страницы на наличие noindex.
Шаг 5. Отправьте страницы на переобход
Если вы исправили ошибки, запросите переобход:
- Google: через «Проверка URL» → «Запросить индексирование» (для отдельных страниц) или отправьте sitemap заново.
- Яндекс: через «Индексирование → Переобход страниц».
Что делать, чтобы сайт индексировался стабильно
- Создайте и отправьте sitemap. Это ускорит обнаружение новых страниц.
- Следите за техническим состоянием. Ошибки сервера, медленная загрузка, битые ссылки — всё это мешает индексации.
- Пишите качественный контент. Уникальные, полезные страницы индексируются охотнее.
- Избегайте дублей. Настройте canonical и редиректы.
- Не используйте запрещённые методы. Покупные ссылки, накрутка ПФ, переспам — прямой путь к санкциям.
- Регулярно проверяйте отчёты. GSC и Вебмастер присылают уведомления о проблемах — не игнорируйте их.
Нужна помощь с индексацией вашего сайта? Закажите бесплатный экспресс-аудит — проверим индексацию в Google и Яндексе, найдём причины и предложим план исправления.
