#Ответы на вопросы!
❓
Вопрос 4816Лягушка не сканирует метатеги и показывает, что страницы закрыты x-robots-tag, но в индексе, если проверять страницы через site: поисковики выдают эти страницы - почему так?
❗️ОтветСам факт того, что страницы видны через site: оператор не означает, что страницы доступны к индексации и на них нет тега. Это лишь индикатор того, что страницы физически находятся в индексе поисковой системы и, возможно, робот еще не успел их обойти, чтобы обновить статус.
👉
Чтобы понять, в чем именно причина такой проблемы, нужно проверить:
🔸 Как видит бот эти страницы с помощью Search Console. Если X-Robots-Tag есть, то консоль это покажет. Альтернативно можно использовать онлайн-сервисы проверки HTTP-заголовков.
🔸 Сетевые логи в браузере (Network tab в DevTools) при загрузке проблемных страниц - там тоже будут видны все заголовки ответа сервера.
Если по факту тега на страницах нет, но Лягушка показывает их как закрытые от индексации - это явный признак некорректной работы инструмента сканирования или неправильных настроек парсинга.
1️⃣
Различия в User-Agent:Screaming Frog по умолчанию использует свой User-Agent. Может быть такое, что сервер может отдавать разные заголовки X-Robots-Tag в зависимости от агента. Поменяйте его на User-Agent Googlebot и проверьте результат.
2️⃣
Ошибки в конфигурации:Неправильные правила в файле .htaccess или в конфигурации Nginx могут приводить к отправке неправильных заголовков X-Robots-Tag. Проверьте эти файлы на наличие ошибок и исправьте их, если необходимо.
3️⃣
Ошибки в Screaming Frog:Хотя это и менее вероятно, возможны ошибки в самом Screaming Frog. Попробуйте обновить программу до последней версии.
4️⃣
Кэширование заголовков:Может быть такое, что заголовки X-Robots-Tag закэшировались, из-за чего лягушка их видит, хотя по факту их нет. Попробуйте очистить кэш и пересканировать сайт.
Если проблема не устранится и после этих манипуляций, то попробуйте сканировать сайт с настройкой follow internal «nofollow».
‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!🚨 via
@siteclinic_doctor 🚨