Технические SEO-ошибки, которые мешают индексации: пошаговый аудит сайта

Можно написать хороший текст, правильно подобрать запросы, заполнить Title и Description и месяцами ждать роста позиций. Но если поисковый робот не может нормально получить страницу, видит запрет на индексирование, неправильный canonical или ошибку сервера, до оценки контента дело может вообще не дойти.

В этом гайде разберём технический SEO-аудит сайта пошагово: от проверки одной страницы до поиска системных проблем с индексацией, дублями, редиректами и внутренними ссылками.

С чего начать технический SEO-аудит

Для базовой проверки желательно иметь доступ к Яндекс Вебмастеру и Google Search Console. Для проверки всего сайта удобно использовать краулер, например Screaming Frog SEO Spider.

Для отдельной страницы большую часть проблем можно найти вручную через браузер, исходный HTML-код страницы и инструменты поисковых систем.

Шаг 1. Проверяем, индексируется ли нужная страница

Начните не со всего сайта, а с конкретного URL, который должен получать поисковый трафик.

Например:

• главная страница;
• категория товаров;
• карточка товара;
• страница услуги;
• SEO-посадочная;
• важная статья.

В Яндекс Вебмастере

Проверьте URL через инструменты анализа индексации и раздел со страницами в поиске.

Нужно выяснить:

• известна ли страница Яндексу;
• находится ли она в поиске;
• когда робот обходил её последний раз;
• какой ответ получил робот;
• не признана ли страница дублем;
• не выбрана ли другая страница канонической.

В Google Search Console

Используйте инструмент проверки URL.

Обратите внимание на:

• разрешение сканирования;
• разрешение индексирования;
• canonical, указанный владельцем сайта;
• canonical, выбранный Google;
• дату последнего обхода;
• причину исключения из индекса.

Шаг 2. Проверяем HTTP-код страницы

Обычная рабочая индексируемая страница должна в большинстве случаев отвечать:

200 OK

Проверить код можно через браузерные DevTools, SEO-краулер, Яндекс Вебмастер или команду curl.

Нормальная схема

https://site.ru/page/
→ 200 OK

После переноса страницы

Старый URL
→ 301
→ Новый URL
→ 200 OK

Шаг 3. Проверяем правильность страницы 404

Введите заведомо несуществующий адрес:

https://site.ru/abrakadabra-123456789/

Сервер должен вернуть:

404 Not Found

При этом пользователю можно показать красивую страницу с меню, поиском и ссылкой на главную.

Плохой вариант — soft 404

На экране написано «Страница не найдена», но сервер отвечает:

200 OK

Для поискового робота технически это обычная существующая страница. При большом количестве таких URL возникают лишние страницы и расходуется ресурс обхода сайта.

Шаг 4. Проверяем robots.txt

Файл обычно расположен в корне сайта:

/robots.txt

Для простого сайта разрешающий вариант может выглядеть так:

User-agent: *
Disallow:

Sitemap: https://site.ru/sitemap.xml

Самая опасная строка

Disallow: /

Она запрещает роботу обходить весь сайт для соответствующего User-agent.

Также ищите случайные запреты важных разделов:

Disallow: /catalog/
Disallow: /services/
Disallow: /blog/

Шаг 5. Ищем случайный noindex

Откройте HTML-код страницы и найдите:

<meta name="robots" content="noindex">

или:

<meta name="robots" content="noindex, nofollow">

Запрет также может передаваться HTTP-заголовком:

X-Robots-Tag: noindex

Особенно внимательно проверяйте noindex:

• после переноса сайта с тестового домена;
• после редизайна;
• после установки SEO-плагина;
• после восстановления резервной копии;
• после отключения режима разработки.

WordPress

Проверьте:

Настройки → Чтение → Видимость для поисковых систем

На рабочем публичном сайте опция с просьбой не индексировать сайт обычно не должна быть включена.

Шаг 6. Проверяем canonical

В HTML страницы может находиться:

<link rel="canonical" href="https://site.ru/page/">

Для обычной уникальной страницы canonical чаще всего указывает на неё же.

Правильно

Страница:
https://site.ru/catalog/pechi/

Canonical:
https://site.ru/catalog/pechi/

Опасная ошибка

Страница:
https://site.ru/catalog/pechi/

Canonical:
https://site.ru/

Так сайт сообщает поисковику, что предпочтительной версией контента считается другой URL.

Проверьте:

• есть ли canonical;
• указан ли он только один раз;
• ведёт ли он на правильную страницу;
• отвечает ли канонический URL кодом 200;
• доступен ли он для поискового робота;
• нет ли цепочки canonical.

Плохая цепочка:

A → canonical B
B → canonical C

Шаг 7. Ищем дубли страниц

Один и тот же контент может случайно быть доступен по нескольким URL:

https://site.ru/page/
https://site.ru/page
http://site.ru/page/
https://www.site.ru/page/
https://site.ru/page/?utm_source=test
https://site.ru/page/?sort=price

Если эти адреса возвращают практически одинаковый контент с кодом 200, поисковику приходится самостоятельно определять основной URL.

Последствия:

• лишний обход страниц;
• сложнее анализировать поисковый трафик;
• нужный URL может считаться дублем;
• в индекс могут попадать технические адреса;
• робот расходует время на ненужные варианты страниц.

В зависимости от ситуации проблему решают с помощью:

• 301-редиректа;
• rel=»canonical»;
• Clean-param;
• настройки CMS;
• изменения внутренних ссылок;
• переработки фильтров.

Шаг 8. Проверяем HTTP, HTTPS и WWW

Проверьте четыре варианта главной:

http://site.ru/
http://www.site.ru/
https://site.ru/
https://www.site.ru/

Один вариант выбирается основным, остальные должны приводиться к нему.

Например:

http://site.ru/
→ 301 → https://site.ru/

http://www.site.ru/
→ 301 → https://site.ru/

https://www.site.ru/
→ 301 → https://site.ru/

https://site.ru/
→ 200

Шаг 9. Проверяем URL со слешем и без

Сравните:

https://site.ru/page
https://site.ru/page/

Если оба адреса открываются с кодом 200 и показывают одинаковое содержимое — это потенциальный дубль.

То же самое стоит проверить для:

/index.php
/index.html
/index.htm

Главная страница не должна бесконтрольно существовать по множеству разных URL.

Шаг 10. Проверяем GET-параметры

Особенно важно для интернет-магазинов, каталогов и сайтов с фильтрацией.

/catalog/?sort=price
/catalog/?order=asc
/catalog/?utm_source=yandex
/catalog/?utm_source=vk

Не каждый URL с параметром должен становиться отдельной страницей в поиске.

В Яндексе для части подобных ситуаций может применяться директива Clean-param:

User-agent: Yandex
Clean-param: utm_source&utm_medium&utm_campaign

Шаг 11. Проверяем Sitemap.xml

Распространённые адреса:

/sitemap.xml
/sitemap_index.xml
/wp-sitemap.xml

В Sitemap желательно передавать поисковой системе URL, которые:

• должны участвовать в поиске;
• являются каноническими;
• возвращают код 200.

Не стоит заполнять Sitemap адресами:

• с 404;
• с редиректом;
• с noindex;
• ненужными параметрами;
• техническими страницами;
• дублями.

Шаг 12. Сравниваем Sitemap и реальное количество URL

Предположим:

В Sitemap: 2 500 URL
Краулер нашёл: 8 000 URL
В поиске: 1 300 URL

Возникает логичный вопрос: откуда появились ещё тысячи адресов?

Частые причины:

• фильтры;
• сортировки;
• пагинация;
• поиск по сайту;
• метки;
• архивы;
• технические страницы CMS;
• дубли категорий;
• GET-параметры.

Такое сравнение часто позволяет быстро обнаружить системную SEO-проблему.

Шаг 13. Проверяем редиректы

Цепочки редиректов

Плохо:

A → 301 → B → 301 → C → 301 → D

Лучше:

A → 301 → D

Циклический редирект

A → B → A

В таком случае страницу нормально не получит ни пользователь, ни поисковый робот.

Редирект всех удалённых страниц на главную

Например:

/old-product-1/ → /
/old-product-2/ → /
/old-product-3/ → /

Если главная страница не является реальной заменой удалённого материала, такой редирект обычно не нужен.

Если есть подходящая замена — делаем 301 на неё. Если замены нет — для действительно удалённого URL обычно логичнее корректный 404 или 410.

Шаг 14. Проверяем внутренние битые ссылки

Краулер сайта позволяет быстро найти ссылки на:

• 404;
• 410;
• 500 и другие 5xx;
• старые адреса через 301;
• неправильные внешние URL.

Например, сейчас внутренняя ссылка ведёт:

/old-service/
→ 301
→ /new-service/

Лучше сразу изменить ссылку в HTML:

/new-service/

Редирект можно сохранить для старых внешних ссылок, но собственную внутреннюю перелинковку желательно вести непосредственно на конечный URL.

Шаг 15. Ищем страницы-сироты

Страница-сирота — существующая страница, на которую практически нет внутренних ссылок.

Например:

Главная
├── Услуги
├── Кейсы
└── Контакты

/article-important/  ← внутренних ссылок нет

Поисковому роботу сложнее обнаруживать и оценивать такие материалы, а пользователь почти не может попасть на них через структуру сайта.

Используйте ссылки:

• из категорий;
• из связанных статей;
• из страниц услуг;
• из хлебных крошек;
• из блоков «Читайте также»;
• из меню, если страница действительно важна.

Шаг 16. Проверяем глубину вложенности

Важная коммерческая страница не должна быть спрятана глубоко в структуре без необходимости.

Понятная структура:

Главная
└── Услуги
    └── SEO-продвижение
        └── Технический аудит

Сомнительная структура:

Главная
→ Раздел
→ Подраздел
→ Архив
→ Категория
→ Подкатегория
→ Ещё один раздел
→ Нужная страница

Шаг 17. Проверяем массовые дубли Title и Description

Одинаковые метатеги сами по себе не всегда являются причиной исключения страницы из индекса, но часто помогают обнаружить дубли и ошибки шаблона CMS.

Ищем:

• пустые Title;
• массово одинаковые Title;
• пустые Description;
• массово одинаковые Description.

Например, плохо, если тысячи страниц получают:

<title>Интернет-магазин</title>

Шаг 18. Проверяем ошибки сервера

Особое внимание стоит уделить массовым ответам:

500
502
503
504

Если поисковый робот регулярно получает такие коды, проблема уже находится не только в SEO.

Проверяйте:

• нагрузку CPU;
• оперативную память;
• PHP;
• MySQL;
• медленные запросы;
• плагины CMS;
• кэш;
• CDN;
• WAF;
• лимиты хостинга.

Шаг 19. Проверяем, не блокируется ли поисковый робот

Сайт может прекрасно открываться у владельца, но периодически блокировать YandexBot или Googlebot.

Такое бывает после настройки:

• Cloudflare;
• антибот-защиты;
• WAF;
• защиты от DDoS;
• географической блокировки;
• ограничения частоты запросов;
• правил firewall.

Поэтому наличие HTTP 200 при обычном открытии страницы в браузере ещё не всегда означает, что такой же ответ получает поисковый робот.

Шаг 20. Проверяем скорость и стабильность

Важно разделять две ситуации:

1. Страница технически запрещена или недоступна.
Это проблема индексируемости.

2. Страница доступна, но сайт работает медленно.
Это уже проблема производительности.

Для второй ситуации проверяем:

• время ответа сервера;
• кэширование;
• размер изображений;
• лишний JavaScript;
• лишний CSS;
• тяжёлые плагины;
• запросы к базе;
• Core Web Vitals.

Особенно опасна ситуация, когда из-за медленной работы часть запросов заканчивается таймаутами или ошибками 5xx.

Шаг 21. Что делать после исправления ошибок

После внесения изменений обязательно повторите проверку.

Для нормальной страницы ожидаем примерно такую цепочку:

URL
↓
HTTP 200
↓
robots.txt разрешает обход
↓
нет noindex
↓
canonical указан правильно
↓
URL есть в Sitemap
↓
на URL ведут внутренние ссылки
↓
поисковый робот может получить страницу

После этого

1. Обновите Sitemap, если менялась структура URL.
2. Исправьте внутренние ссылки.
3. Проверьте конечные HTTP-коды.
4. Отправьте самые важные страницы на повторный обход.
5. Через некоторое время проверьте изменение статуса в Вебмастере и Search Console.

Полный чек-лист технического SEO-аудита

Индексация

• Сайт добавлен в Яндекс Вебмастер
• Сайт добавлен в Google Search Console
• Главная страница находится в индексе
• Важные коммерческие страницы доступны поисковикам
• Проверены причины исключения страниц
• В индексе нет большого количества технических URL

HTTP-коды

• Рабочие страницы возвращают 200
• Старые перенесённые URL возвращают 301
• Несуществующие страницы возвращают 404 или 410
• Нет массовых 500/502/503/504
• Нет большого количества soft 404

Robots.txt

• robots.txt существует
• Важные разделы не запрещены случайно
• Нет ошибочного Disallow: /
• Sitemap указан правильно
• Правила проверены для основных URL

Noindex

• На важных страницах нет noindex
• Проверен X-Robots-Tag
• После переноса не осталось запретов тестового сайта
• В WordPress не включён глобальный запрет индексации

Canonical

• На странице один canonical
• Canonical указывает на правильный URL
• Каноническая страница возвращает 200
• Нет цепочек canonical
• Карточки и категории не канонизированы случайно на главную

Sitemap

• Sitemap открывается
• Sitemap добавлен в Яндекс Вебмастер
• Sitemap добавлен в Google Search Console
• В карте сайта находятся нужные индексируемые URL
• Нет страниц с 404
• Нет URL с редиректами
• Нет ненужных URL с noindex

Дубли

• Проверены HTTP и HTTPS
• Проверены www и без www
• Проверены URL со слешем и без
• Проверены index.php и подобные адреса
• Проверены UTM-метки
• Проверены фильтры и сортировки
• Проверен поиск по сайту

Редиректы

• Нет длинных цепочек редиректов
• Нет циклических редиректов
• Нет ненужных временных редиректов
• Удалённые страницы не перенаправляются без причины на главную
• Внутренние ссылки ведут сразу на конечный URL

Перелинковка

• Нет внутренних ссылок на 404
• Нет ссылок на 5xx
• Нет важных страниц-сирот
• Коммерческие страницы получают внутренние ссылки
• Статьи связаны с релевантными услугами
• Хлебные крошки работают корректно

Сервер

• Нет регулярных 5xx
• YandexBot не блокируется
• Googlebot не блокируется
• Firewall не мешает обходу
• Антибот не блокирует поисковые системы
• Нет регулярных таймаутов

Быстрая проверка страницы за 5 минут

Если времени мало, проверьте семь вещей:

1. HTTP-код. Рабочая страница должна возвращать 200.
2. Robots.txt. URL не должен быть случайно закрыт от обхода.
3. Noindex. Проверьте meta robots и X-Robots-Tag.
4. Canonical. Он должен вести на правильный URL.
5. Sitemap. Важная индексируемая страница должна быть представлена корректно.
6. Внутренние ссылки. Страница не должна быть сиротой.
7. Вебмастер/Search Console. Посмотрите реальную причину исключения URL.

Главное правило технического SEO

Поисковая оптимизация начинается не с количества ключевых слов.

Сначала поисковый робот должен:

найти URL
↓
получить страницу
↓
понять, что её можно индексировать
↓
определить правильную версию URL
↓
обработать содержимое страницы

И только после этого имеет смысл сравнивать тексты, коммерческие факторы, релевантность, внутренние ссылки, поведение пользователей и конкурентов.