Заблокировал Facebook роботов
https://news.ycombinator.com/item?id=
23490367
https://drewdevault.com/2025/03/17/2025-03-17-Stop-externalizing-your-costs-on-me.html
В (
b662785f950c6385144283d022deb5c38f016ac2) писал про то, что круто
стал забиваться Интернет канал из-за всяких роботов. Это не то чтобы
создаёт проблемы, но доставляет неудобства. Я надеялся, что уж через
несколько дней то должно прекратиться.
Присмотревшись, вижу что по сути то запросы массово идут от User-Agent
представляющегося Facebook-ом. Причём за одну секунду на один и тот же
ресурс по несколько десятков запросов может приходить. Это совсем уж
бессовестно. Нет rate-limit-а -- допустим. Но дублировать запросы, не
кэшировать ответ -- это уже приравнивается к DoS. Само собой никто им
не запрещает использовать другой User-Agent, но тут пока всё честно.
Я за сетевой нейтралитет, всё такое, но откровенно бессовестное и
неуважительное поведение к другим участникам сети не позволительно.
Поэтому отдаю 429, проверяя User-Agent. Да и, к тому же, у нас Facebook
и так заблокирован, что я всецело поддерживаю, так как сам воочию видел,
как в их правилах было указано поощрительное одобрение сообщений с
призывом уничтожать россиян. Даже на уровне своих web-роботов делают
всё, чтобы их блокировали.