From af2ee5ba4af86cb7f313b0bd6e6171d26b36307a Mon Sep 17 00:00:00 2001 From: Sergey Matveev Date: Fri, 24 Jun 2022 12:25:53 +0300 Subject: [PATCH] git.jordan.im/crawl/cmd/crawl MIME-Version: 1.0 Content-Type: text/plain; charset=utf8 Content-Transfer-Encoding: 8bit https://git.jordan.im/crawl/tree/README.md Приятная простая утилита для скачивая всего сайта. Проще не встречал: crawl URL -- а дальше просто подождать когда появится готовый .warc.gz. Его конечно же надо будет переделать в .warc.zst (cace83e27a1acafe57f32cc5eee4bb1078f20e74). tofuproxy без проблем всё это открывает. -- 2.50.0