Разбираем все причины, почему сайт или отдельные страницы не попадают в индекс Яндекса и Google. Диагностика через Вебмастер, проверка robots.txt, noindex, sitemap и пошаговое решение каждой проблемы.
Сайт не индексируется - это критическая проблема для любого онлайн-бизнеса. Если поисковые системы не видят ваш сайт, значит, клиенты не смогут его найти, а трафик из органического поиска будет равен нулю. По статистике, около 30% новых сайтов сталкиваются с частичной или полной неиндексацией в первые 3 месяца после запуска. В этом полном руководстве разберём все причины - от технических настроек до поведенческих факторов - и дадим пошаговые инструкции по их устранению для Яндекса и Google.
Индексация сайта - это процесс, при котором поисковые роботы (краулеры) сканируют страницы, анализируют их содержимое и добавляют в базу данных поисковой системы (индекс). Только после попадания в индекс страница может появиться в поисковой выдаче по релевантным запросам.
Если сайт не индексируется Яндексом или Google, вы теряете:
Прежде чем искать причины, нужно убедиться в наличии проблемы. Многие владельцы сайтов путают медленную индексацию с полным отсутствием сайта в поиске.
Введите в строке поиска Яндекса или Google следующую команду:
Если в выдаче появятся страницы вашего сайта - значит, индексация работает. Количество найденных страниц должно примерно совпадать с реальным количеством страниц на сайте.
| Инструмент | Что показывает | Как использовать |
|---|---|---|
| Яндекс.Вебмастер | Страницы в поиске, ошибки индексации | Раздел «Индексирование» → «Страницы в поиске» |
| Google Search Console | Проиндексированные страницы, ошибки краулинга | Раздел «Индекс» → «Покрытие» |
| Проверка robots.txt | Запреты на сканирование | https://ваш-домен.ru/robots.txt |
| Проверка sitemap.xml | Карта сайта для роботов | https://ваш-домен.ru/sitemap.xml |
Используйте онлайн-сервисы или расширения браузера для проверки HTTP-кода ответа сервера. Нормальная страница должна возвращать код 200 OK.
Это самая частая группа проблем. В 70% случаев сайт не попадает в индекс именно из-за технических настроек, которые блокируют поисковых роботов.
Файл robots.txt - это инструкция для поисковых роботов. Ошибки в нём могут полностью закрыть сайт от индексации.
Такая запись запрещает всем роботам сканировать весь сайт. Это часто остаётся после разработки, когда сайт закрывают от поиска.
ваш-домен.ru/robots.txt в браузереDisallow: / для User-agent: *User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-includes/
Clean-param: utm_source&utm_medium&utm_campaign
Sitemap: https://ваш-домен.ru/sitemap.xml
Мета-тег <meta name="robots" content="noindex"> в HTML-коде страницы запрещает её добавление в индекс. Часто устанавливается автоматически на:
noindex через Ctrl+F| HTTP-код | Что означает | Влияние на индексацию | Как исправить |
|---|---|---|---|
| 200 OK | Страница доступна | ✅ Нормально | — |
| 301 Moved | Постоянный редирект | ✅ Передаёт вес | Проверить корректность |
| 302 Found | Временный редирект | ⚠️ Не передаёт вес | Заменить на 301 |
| 404 Not Found | Страница не найдена | ❌ Выпадает из индекса | Настроить редирект или удалить |
| 403 Forbidden | Доступ запрещён | ❌ Блокирует робота | Проверить права доступа |
| 500 Server Error | Ошибка сервера | ❌ Робот не может сканировать | Обратиться к хостеру |
| 503 Service Unavailable | Сервис недоступен | ❌ Робот уходит | Проверить нагрузку |
Sitemap.xml - это карта сайта, которая помогает поисковым роботам быстрее находить и индексировать все страницы.
Запрет на индексацию может устанавливаться не только в HTML, но и в HTTP-заголовках через X-Robots-Tag. Это часто встречается на PDF-файлах, изображениях и других медиа-ресурсах.
Проверить можно через инструменты разработчика в браузере (вкладка Network → Headers).
Даже если технически всё настроено правильно, Google и Яндекс могут осознанно не добавлять страницы в индекс из-за проблем с контентом.
Поисковые системы не любят дублированный контент. Если на сайте есть несколько страниц с одинаковым содержанием, робот проиндексирует только одну - ту, которую посчитает основной (канонической).
| Тип дубля | Пример URL | Решение |
|---|---|---|
| С www и без www | site.ru и www.site.ru | Настроить 301 редирект на основное зеркало |
| HTTP и HTTPS | http://site.ru и https://site.ru | Редирект с HTTP на HTTPS |
| Со слешем и без | /page/ и /page | Настроить единый формат |
| С GET-параметрами | /page?utm_source= | Закрыть параметры в robots.txt |
| Пагинация | /category/page/2/ | Использовать rel=canonical или noindex |
| Сортировка/фильтры | /category?sort=price | Закрыть от индексации |
На дублирующих страницах укажите канонический URL:
Google и Яндекс всё чаще исключают из индекса страницы с низким качеством контента. Это особенно актуально после обновлений алгоритмов Helpful Content и YATI.
Избыточное количество ключевых слов, агрессивная внутренняя перелинковка и другие методы «чёрного SEO» могут привести не только к отсутствию индексации, но и к санкциям от поисковых систем.
Поисковые роботы имеют ограниченный краулинговый бюджет - количество страниц, которые они готовы просканировать за один заход. Если сайт загружается медленно, робот может не успеть просканировать все страницы.
| Скорость загрузки | Оценка | Влияние на индексацию |
|---|---|---|
| До 1 секунды | Отлично | Робот сканирует максимум страниц |
| 1–3 секунды | Хорошо | Нормальная индексация |
| 3–5 секунд | Удовлетворительно | Медленное сканирование |
| Более 5 секунд | Плохо | Робот может не дойти до внутренних страниц |
| Более 10 секунд | Критично | Высокий риск неполной индексации |
Если сервер часто недоступен, перегружен или отвечает с задержками, поисковые роботы будут уходить, не успев просканировать сайт. Это особенно критично для виртуального хостинга с большим количеством соседей.
С 2019 года Google использует Mobile-First Indexing - мобильная версия сайта является основной для индексации. Если сайт не адаптирован под мобильные устройства или имеет разный контент на десктопе и смартфоне, это создаёт проблемы.
У Яндекса есть свои алгоритмы и требования, которые отличаются от Google:
| Особенность Яндекса | Что учитывать |
|---|---|
| ИКС (Индекс Качества Сайта) | Низкий ИКС может замедлять индексацию |
| Алгоритм «Многорукий» | Фильтрует сайты с дублями и копипастом |
| АГС и Минусинск | Санкции за SEO-спам и ссылки |
| Турбо-страницы | Влияют на скорость индексации мобильных версий |
| Коммерческие факторы | Важны для коммерческих запросов |
| Региональная привязка | Обязательно указать регион в Вебмастере |
Google имеет свои особенности, которые стоит учитывать:
| Особенность Google | Что учитывать |
|---|---|
| Core Web Vitals | Влияют на приоритет сканирования |
| E-E-A-T | Экспертность, авторитетность, надёжность |
| Helpful Content Update | Борьба с некачественным контентом |
| SpamBrain | AI-система обнаружения спама |
| Passage Ranking | Индексация отдельных фрагментов текста |
| Google Discover | Дополнительный источник трафика |
После устранения всех проблем нужно помочь поисковым системам быстрее найти и проиндексировать страницы.
И Яндекс.Вебмастер, и Google Search Console позволяют вручную запросить индексацию отдельных страниц:
Грамотная внутренняя перелинковка помогает поисковым роботам быстрее находить новые страницы. Создавайте логичную структуру ссылок:
Поисковые роботы переходят по ссылкам с других сайтов. Чем больше качественных внешних ссылок ведёт на ваш сайт, тем быстрее он индексируется:
| Источник ссылки | Эффект для индексации | Сложность получения |
|---|---|---|
| Социальные сети | Средний | Низкая |
| Тематические форумы | Средний | Средняя |
| Гостевые посты | Высокий | Высокая |
| Крауд-маркетинг | Средний | Средняя |
| Каталоги и агрегаторы | Низкий | Низкая |
| PR-статьи на СМИ | Очень высокий | Высокая |
| YouTube (описание видео) | Средний | Средняя |
Активность в социальных сетях ускоряет индексацию. Поисковые роботы замечают, что на URL ссылаются с разных платформ:
Поисковые роботы чаще возвращаются на сайты, которые регулярно обновляются. Перерабатывайте старые статьи:
| Инструмент | Для чего нужен | Цена | Особенности |
|---|---|---|---|
| Яндекс.Вебмастер | Индексация в Яндексе, ошибки | Бесплатно | Обязателен для рунета |
| Google Search Console | Индексация в Google, Core Web Vitals | Бесплатно | Основной инструмент для Google |
| Screaming Frog | Технический аудит сайта | До 500 URL бесплатно | Десктопное приложение |
| Ahrefs | Анализ ссылок, позиций, контента | От $99/мес | Большая база данных |
| Semrush | Комплексный SEO-анализ | От $129/мес | Много функций в одном инструменте |
| Keys.so | Анализ конкурентов в рунете | От 1500 ₽/мес | Фокус на Яндексе |
| PR-CY | Проверка параметров сайта | Бесплатно/Платно | Российский сервис |
| PageSpeed Insights | Проверка скорости сайта | Бесплатно | От Google, Core Web Vitals |
Если на странице стоит noindex и одновременно rel=canonical на другую страницу - это противоречивый сигнал для поисковых систем. Робот не знает, что делать: не индексировать или передать вес канонической странице.
Раньше было популярно закрывать служебные файлы в robots.txt. Сейчас это вредит индексации: Google и Яндекс не могут корректно отрендерить страницу без CSS и JavaScript, что приводит к неправильной оценке контента.
Размещение сотен ссылок на одной странице размывает вес и может быть расценено как спам. Оптимально: 50–150 внутренних ссылок на главной, 10–30 на внутренних страницах.
Многие проверяют сайт только с десктопа, тогда как Mobile-First Indexing оценивает именно мобильную версию. Обязательно тестируйте сайт на реальных смартфонах и через Mobile-Friendly Test.
Индексация - это не разовая настройка, а постоянный процесс. После обновлений алгоритмов, редизайна или добавления нового функционала страницы могут выпадать из индекса.
Проблема: Интернет-магазин на 10 000 товаров резко потерял 70% трафика. Проверка показала, что из индекса выпали почти все карточки товаров.
Причина: После обновления темы случайно включился мета-тег noindex для всех страниц каталога. Кроме того, sitemap.xml перестал обновляться автоматически.
Решение:
Результат: Через 3 недели индексация восстановилась на 95%, трафик вернулся к прежним значениям.
Проблема: Запущен новый блог на WordPress. Прошло 2 месяца, но в индексе было всего 5 страниц из 50 опубликованных статей.
Причина: Отсутствие sitemap.xml, слабый хостинг с TTFB более 2 секунд, отсутствие внешних ссылок.
Решение:
Результат: За месяц все 50 статей попали в индекс, начался рост органического трафика.
Проблема: После редизайна сайт полностью исчез из поиска. Клиент потерял 80% трафика за неделю.
Причина: Во время разработки сайт был закрыт от индексации через мета-тег noindex и robots.txt. После запуска разработчики забыли снять запреты.
Решение:
Результат: Через 2 недели сайт вернулся в индекс, через месяц трафик восстановился полностью.
Скорость индексации зависит от множества факторов. Вот примерные сроки для разных ситуаций:
| Ситуация | Яндекс | Комментарий | |
|---|---|---|---|
| Новый сайт, правильная настройка | 5–14 дней | 2–7 дней | Google индексирует быстрее |
| Новая страница на работающем сайте | 3–10 дней | 1–5 дней | Зависит от частоты краулинга |
| После снятия noindex | 7–21 день | 3–14 дней | Нужен запрос на переобход |
| После устранения технических ошибок | 14–30 дней | 7–21 день | Зависит от размера сайта |
| После выхода из-под санкций | 30–90 дней | 14–60 дней | Самый долгий процесс |
| После обновления контента | 7–14 дней | 3–7 дней | Зависит от важности страницы |
Лучший способ борьбы с проблемами индексации - это их профилактика. Внедрите следующие процессы в регулярную работу:
Если сайт не попадает в индекс более 2-3 месяцев, проведите полный технический аудит. Основные шаги: 1) проверьте robots.txt и мета-тег noindex; 2) убедитесь, что в настройках CMS не стоит запрет на индексацию; 3) проверьте sitemap.xml; 4) изучите отчёты в Яндекс.Вебмастере и Google Search Console на наличие ошибок; 5) проверьте скорость загрузки сайта. Если проблема не находится - обратитесь к SEO-специалисту для глубокого анализа. Иногда причиной могут быть санкции поисковых систем или проблемы на уровне хостинга.
У Яндекса и Google разные алгоритмы и подходы к индексации. Частые причины различий: 1) Яндекс более строго относится к дублям и тонкому контенту (алгоритм «Многорукий»); 2) разная скорость обхода - Google индексирует быстрее; 3) Яндекс учитывает региональность и коммерческие факторы; 4) возможные санкции Яндекса (АГС, Минусинск), которых нет в Google; 5) разные требования к robots.txt. Проверьте сайт в Яндекс.Вебмастере на наличие ошибок и санкций, укажите правильный регион сайта.
Для диагностики конкретной страницы используйте инструменты: 1) в Google Search Console - «Проверка URL» покажет статус индексации и ошибки; 2) в Яндекс.Вебмастере - раздел «Индексирование» → «Страницы в поиске»; 3) проверьте HTTP-код ответа страницы (должен быть 200); 4) убедитесь, что нет мета-тега noindex; 5) проверьте, не закрыта ли страница в robots.txt; 6) оцените качество контента - достаточно ли он уникален и полезен; 7) проверьте наличие канонического URL. После устранения проблем запросите переобход страницы в Вебмастере.
Да, хостинг напрямую влияет на индексацию. Критические факторы: 1) скорость загрузки - медленный сервер может не успеть отдать страницы роботу; 2) доступность (uptime) - если сайт часто недоступен, робот не сможет его сканировать; 3) блокировка IP-адресов поисковых роботов на уровне firewall; 4) ограничения ресурсов (CPU, RAM) на shared-хостинге; 5) географическое расположение сервера. Рекомендуется выбирать хостинг с SSD NVMe, TTFB менее 500 мс и uptime от 99.5%. Для коммерческих сайтов лучше использовать VPS или managed WordPress хостинг.
Да, существует несколько способов ускорить индексацию нового сайта: 1) добавьте сайт в Яндекс.Вебмастер и Google Search Console сразу после запуска; 2) загрузите корректный sitemap.xml; 3) получите несколько внешних ссылок с уже индексируемых ресурсов; 4) разместите анонсы в социальных сетях; 5) используйте функцию «Запросить индексирование» для ключевых страниц; 6) создайте внутреннюю перелинковку; 7) обеспечьте быструю загрузку сайта; 8) опубликуйте качественный уникальный контент. При правильном подходе новый сайт может попасть в индекс за 3–7 дней в Google и 5–14 дней в Яндексе.
Индексация и ранжирование - это разные процессы. Если сайт в индексе, но не показывается по запросам, причины могут быть следующими: 1) низкое качество контента - поисковик не считает его релевантным; 2) слабая оптимизация - неправильные Title, Description, заголовки; 3) отсутствие или плохие внешние ссылки - низкий авторитет сайта; 4) высокая конкуренция по запросу; 5) проблемы с поведенческими факторами; 6) санкции поисковых систем; 7) несоответствие интенту пользователя. Работайте над качеством контента, получайте качественные ссылки и оптимизируйте мета-теги.
Sitemap.xml должен обновляться автоматически при каждом изменении сайта: добавлении новых страниц, обновлении контента, удалении старых URL. Используйте SEO-плагины (Yoast SEO, Rank Math, All in One SEO), которые генерируют sitemap автоматически. Вручную обновлять карту сайта нужно: 1) после редизайна; 2) при смене структуры URL; 3) после массового удаления страниц; 4) при миграции на новый домен. Также следите, чтобы в sitemap не попадали страницы с noindex, битые ссылки и URL с редиректами.
Если страница выпала из индекса, действуйте по алгоритму: 1) проверьте HTTP-код ответа - если 404, настройте 301 редирект; 2) убедитесь, что не появился мета-тег noindex; 3) проверьте robots.txt - нет ли новых запретов; 4) оцените качество контента - возможно, страница устарела; 5) изучите отчёты в Вебмастере на наличие ошибок; 6) проверьте наличие дублей и canonical; 7) убедитесь, что страница доступна роботу. После устранения причины запросите переобход через Вебмастер. Обычно страница возвращается в индекс за 1–3 недели.
Социальные сети косвенно влияют на индексацию несколькими способами: 1) поисковые роботы переходят по ссылкам из соцсетей и быстрее находят новые страницы; 2) социальные сигналы (лайки, репосты) могут учитываться как фактор качества; 3) публикации в соцсетях создают дополнительные упоминания бренда; 4) трафик из соцсетей улучшает поведенческие факторы. Для максимальной пользы размещайте ссылки на новые материалы во всех своих соцсетях сразу после публикации, используйте правильные UTM-метки для отслеживания.
Да, служебные страницы нужно закрывать от индексации, чтобы не засорять индекс и не тратить краулинговый бюджет. Закрывайте через noindex: 1) страницы результатов поиска по сайту; 2) страницы сортировки и фильтрации; 3) страницы пагинации (кроме первой); 4) страницы личного кабинета; 5) корзину и оформление заказа; 6) страницы «Спасибо» после форм; 7) технические страницы (404, обслуживание); 8) дубли страниц с GET-параметрами. Используйте мета-тег noindex или X-Robots-Tag в HTTP-заголовках. Не закрывайте их через robots.txt - тогда робот не увидит мета-тег.
Проблема «сайт не индексируется» в 90% случаев имеет техническую природу и решается за несколько дней. Главное - системный подход: сначала диагностика через Вебмастер, затем устранение блокировок (robots.txt, noindex, HTTP-ошибки), потом работа с качеством контента и ускорение индексации через перелинковку и внешние ссылки. Не забывайте про регулярный мониторинг - индексация требует постоянного внимания. Следуйте этому гайду, и ваш сайт обязательно появится в поиске Яндекса и Google, принося целевой трафик и клиентов.
Переработана структура каталога интернет-магазина на OcStore 1.5.6.4: карточки товаров получили постоянные URL и стабильные хлебные крошки, старые адреса перенаправляются через 301 Redirect, а отдельные товары теперь можно выводить в плитках категорий вместе с подкатегориями.
Комплексная SEO-оптимизация интернет-магазина промышленного оборудования Bossert.tech на OpenCart 1.5.6. Обновил заголовки и метаданные 30 моделей муфельных печей, оптимизировал 139 размещений фотографий, исправил товарные URL и переработал SEO-тексты четырёх категорий с учётом существующих позиций и поискового трафика.
Пришлите ссылку на сайт и кратко опишите задачу — я посмотрю и предложу следующий шаг.