Раз в пару недель проскакивает новость о том, как люди то тут, то там
ставят "защиту" от AI-роботов, типа Anubis. На сайте написано, что он
заставляет обозревателя делать proof-of-work. Детали на сайте больше не
прочитать: он бросает redirect-ами на один и тот же URL со слэшом и без
него (видимо, это та самая "защита"?). На GitHub только можно посмотреть
документацию. Ну так и есть: всякие cookie, PoW. То есть, теперь уже не
корпорации (типа Cloudflare), но сами люди заставляют других запускать
код и сжигать немалое кол-во ресурсов для доступа уже к обычным HTML
сайтам (не web-приложениям).