Причина 1. Сайт заблокирован в robots.txt
Директива Disallow: / или /page закрывает страницы от краулера. Проверка: откройте /robots.txt — если есть Disallow: /, это причина. Исправление: уберите лишние запреты, оставьте Disallow только для служебного.
Причина 2. noindex на страницах
Мета-тег <meta name="robots" content="noindex"> или заголовок X-Robots-Tag: noindex запрещает индексацию. Часто остаётся после миграций или тестовых страниц.
Причина 3. Sitemap не отправлен или битый
Sitemap.xml не существует, отдаёт 404, содержит неверные URL или ссылается на закрытые страницы. Отправьте sitemap в Вебмастер и Search Console и проверьте его валидность.
Причины 4–6. Скорость, дубли, фильтры
4. Медленный сайт (6+ секунд) — краулер обрабатывает меньше страниц. 5. Дубли: www/без www, http/https, параметры в URL — краулер не знает, какую версию индексировать. 6. Фильтры за накрутку или спам — сайт исключён из поиска, лечится только чисткой.
Причины 7–8. Нет внутренних ссылок и возраста
7. Страницы-«сироты» без внутренних ссылок не находятся краулером. 8. Новый сайт без истории — поисковик присматривается; добавьте сайт в панели вебмастеров и наращивайте контент.
Чек-лист проверки
robots.txt не блокирует контент.
Нет noindex на продающих страницах.
Sitemap валиден и отправлен в панели.
Одна версия домена (canonical + редиректы).
Скорость до 3 секунд, мобильная версия работает.
Внутренние ссылки есть на каждой значимой странице.
Сайт добавлен в Вебмастер и Search Console.