Нерідко можна спостерігати схожу картину по навантаженню на сайт: Bingbot (Microsoft), зірвавшись з ланцюга, безбожно штурмує сайт. Зазвичай це ніяк не заважає роботі сайту, особливо якщо він на норм хостингу. Але трапляються моменти, коли в парі з напливом інших ботів може все ж трохи напихати палок в колеса.
А якщо ваш сайт націлений на український сегмент, то це абсолютно безкорисне навантаження.
Як боротись.
🛠 Зменшення частоти сканування✅
Досягається двома способами:
1️⃣ Запис у файлі robots.txt
(або своє значення)
Може ігноруватись
2️⃣ У Bing Webmaster за посиланням https://www.bing.com/webmasters/crawlcontrol, додавши туди сайт.
Треба обрати погодинно, коли і з яким напливом ця собака буде ломитись на ваш сайт.
🛠 Повна заборона✅
Крайня міра🤷♂️ для сайтів, які не отримують трафіку з Bing.
Переконайтесь, що ця пошукова система вам до звізди.
Блок по юзерагенту у файлі .htaccess
А якщо ваш сайт націлений на український сегмент, то це абсолютно безкорисне навантаження.
Як боротись.
🛠 Зменшення частоти сканування✅
Досягається двома способами:
1️⃣ Запис у файлі robots.txt
User-Agent: bingbot
Crawl-Delay: 20
(або своє значення)
Може ігноруватись
2️⃣ У Bing Webmaster за посиланням https://www.bing.com/webmasters/crawlcontrol, додавши туди сайт.
Треба обрати погодинно, коли і з яким напливом ця собака буде ломитись на ваш сайт.
🛠 Повна заборона✅
Крайня міра🤷♂️ для сайтів, які не отримують трафіку з Bing.
Переконайтесь, що ця пошукова система вам до звізди.
Блок по юзерагенту у файлі .htaccess
RewriteCond %{HTTP_USER_AGENT} ^.*bingbot.* [NC]
RewriteRule .* - [F,L]