Подстановка мусора на www-сайтах, недоступность ресурсов
https://www.opennet.ru/opennews/art.shtml?num=62925
На прошлой неделе заметил, что пара блогов перестала обновляться.
Увидел, что они начали отдавать непонятную тарабарщину со случайными
значениями в заголовках. Не псевдослучайный шум, а наборы бессвязных
слов. А также видел обсуждения/предложения в других блогах о том, чтобы
подсовывать паукам зацикленные перенаправления или, вот, мусор. Плюс вот
новость о том, что всякие свободные проекты на серверах своих инфраструктур
вводят всякие ограничения и проверки, блокирующие целые сети, если есть
подозрения на то, что это пауки от ИИ. В рассылке Debian видел жалобы на
невозможность открыть какие-то ранее доступные их ресурсы. GNOME, судя
по новости, так вообще у себя решили заставлять пользователя (а точнее
его обозревателя) скачивать программу для вычисления proof-of-work.
Ну и вот пара блогов решила, что я тоже робот, хотя я не понимаю на
каком основании. Качается Atom-лента вызовом cURL, с честным
User-Agent-ом, говорящим что это feeder-качалка. Может быть, там
поменялась ссылка на блог, которая должна находится в robots.txt? Но я
же хочу штатно зайти на сайт обычным обозревателем, чтобы увидеть эту
новую ссылку, но уже главная выдаёт бредятину. Вынужден удалить эти
блоги и забыть о них.
Мой новый VPS провайдер работает сильно иначе чем предыдущий. Скорость
скачивания через него, как отмечал ранее, десятки килобайт в секунду.
Если это BitTorrent UDP трафик, то может превышать мегабайт. Плюс то ли
он весь Cloudflare блокирует, то ли Cloudflare блокирует его сеть, то ли
это блокировка ИИ-like адресов с их стороны и мой переезд на VPS совпал
со всеми этими пертурбациями. То ли он блокирует некоторые BitTorrent
сайты, находящиеся за Cloudflare, которые вроде бы у нас типа запрещены.
Но я уже и прежде писал, что всё что размещается за ними, почти
наверняка не будет доступно (
9ec8af5c6c0a3d586e33640842652801f20d6f53,
5b16fb4fccf7e8062956aa169aec927ae4349a6d,
3377284e1f2e5c1db69e100ec32f8f5a92a08cb4,
6bbbada632a3727fa74995fa8e1700d389688ac9).
В комментариях на OpenNet понравилось: сайты, чтобы их не парсили
автоматизированно, добавляют уродскую разметку. Затем добавляют CAPTCHA,
которую распознают. Затем помещают за Cloudflare. Теперь вот уже
применяют PoW. Смотрят напротив GeoIP базы данных. DNSBL. Абсолютно
точно внедрят обязательную авторизацию через ЕСИА. Что дальше?
Использовать квалифицированную ЭЦП? Ввести OTP из SMS, двухфакторно же.
Или, как мне уже один VPS писал, с web-камерой связаться с ними для
идентификации. А ещё "Beat the DarkSouls boss on 512x512 window on WASM".
Хотя ведь уже была новость о том, что CAPTCHA придумали со встроенной
мини-игрой. И я наслышан про сложность Dark Souls-like игр.