From: Sergey Matveev Date: Fri, 9 May 2025 07:12:12 +0000 (+0300) Subject: Заблокировал Facebook роботов X-Git-Url: http://www.git.stargrave.org/?a=commitdiff_plain;h=e8a35456be0dd05cb906a735dac06738560bc84c;p=stargrave-blog.git Заблокировал Facebook роботов https://news.ycombinator.com/item?id=23490367 https://drewdevault.com/2025/03/17/2025-03-17-Stop-externalizing-your-costs-on-me.html В (b662785f950c6385144283d022deb5c38f016ac2) писал про то, что круто стал забиваться Интернет канал из-за всяких роботов. Это не то чтобы создаёт проблемы, но доставляет неудобства. Я надеялся, что уж через несколько дней то должно прекратиться. Присмотревшись, вижу что по сути то запросы массово идут от User-Agent представляющегося Facebook-ом. Причём за одну секунду на один и тот же ресурс по несколько десятков запросов может приходить. Это совсем уж бессовестно. Нет rate-limit-а -- допустим. Но дублировать запросы, не кэшировать ответ -- это уже приравнивается к DoS. Само собой никто им не запрещает использовать другой User-Agent, но тут пока всё честно. Я за сетевой нейтралитет, всё такое, но откровенно бессовестное и неуважительное поведение к другим участникам сети не позволительно. Поэтому отдаю 429, проверяя User-Agent. Да и, к тому же, у нас Facebook и так заблокирован, что я всецело поддерживаю, так как сам воочию видел, как в их правилах было указано поощрительное одобрение сообщений с призывом уничтожать россиян. Даже на уровне своих web-роботов делают всё, чтобы их блокировали. ---