#Ответы на вопросы!
❓
Вопрос 4945Имеет ли смысл анализировать логи сайта? Вижу, что бот часто заходит на 404е. Активных ссылок на них нет, все исправлено, но бот регулярно их проверяет.
❗️ОтветАнализ логов действительно полезная вещь, однако навряд ли поможет решить вашу проблему. Это нормально, когда Google продолжает переобходить страницы с 404 кодом ответа сервера. К сожалению такое может продолжаться очень долгое время, порой и несколько лет.
Почему бот посещает 404-страницы?1️⃣
Старая карта сайта: в sitemap.xml часто могут сохраняться ссылки на URL, которые возвращают 404 ответ сервера. Поисковые роботы, сканируя карту сайта, продолжают заходить и на них, проверяя актуальность страниц.
2️⃣
Внешние ссылки: даже после удаления страниц с вашего сайта, ссылки на них могут сохраняться на других сайтах, в социальных сетях и даже в электронных письмах. Поисковые роботы, сканируя внешние ресурсы, переходят во всем ссылкам, в том числе и тем, что размещены на ваш сайт.
3️⃣
Индексирование: с точки зрения алгоритмов Google, код ответа 404 может быть вызван временной ошибкой. Страницы, ранее находившиеся в поисковом индексе, периодически перепроверяются ботами для подтверждения их статуса. Если в какой-то момент сервер вернёт код 200 OK вместо 404, поисковая система обновит информацию о странице в своём индексе.
Частота этих проверок обычно снижается со временем, если страницы продолжают возвращать 404 код ответа сервера.
👉
Чтобы сократить количество посещений страниц с 404 кодом рекомендуется:✅ Настроить 301 редиректы для всех важных страниц, у которых 404. Это сохранит SEO-вес и даст понимание роботу о статусе страницы.
✅ Проверить и при необходимости исправить карту сайта, удалив из неё ссылки на несуществующие страницы.
✅ Если на страницы ведут внешние ссылки, то попробовать через вебмастеров заменить URL на актуальный или настроить тот же 301 редирект.
✅ Настроить вместо 404 кода 410 - он указывает, что целевая страница была окончательно удалена и больше недоступна на сервере. На такие страницы бот будет заходить значительно реже и быстрее удалит ее из индекса.
⚠️ Анализ логов является важной частью при техническом аудите сайта. Логи позволяют:🔸 Обнаруживать попытки взлома и подозрительную активность.
🔸 Выявлять проблемы с производительностью, включая медленно загружающиеся страницы или ресурсы, а также чрезмерно частые запросы.
🔸 Вовремя выявлять технические проблемы с серверами, базами данных или интеграциями с внешними сервисами.
🔸 Определять наиболее посещаемые ботами страницы. С точки зрения SEO это полезно, так как можно найти страницы, на которых лучше всего размещать ссылки на новые страницы или те, что плохо индексируются.
🔸 Если на сайте есть проблемы с индексацией, то таким образом можно определить «доходит» ли бот до нужных страниц при сканировании или краулинговый бюджет расходуется на что-то иное.
🔸 Обнаруживать мусорные страницы, которые при парсинге не находятся.
‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!🚨 via
@siteclinic_doctor 🚨