]> Sergey Matveev's repositories - stargrave-blog.git/commitdiff
git.jordan.im/crawl/cmd/crawl
authorSergey Matveev <stargrave@stargrave.org>
Fri, 24 Jun 2022 09:25:53 +0000 (12:25 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Fri, 24 Jun 2022 09:25:53 +0000 (12:25 +0300)
https://git.jordan.im/crawl/tree/README.md
Приятная простая утилита для скачивая всего сайта. Проще не встречал:
crawl URL -- а дальше просто подождать когда появится готовый .warc.gz.
Его конечно же надо будет переделать в .warc.zst
(cace83e27a1acafe57f32cc5eee4bb1078f20e74). tofuproxy без проблем всё
это открывает.


No differences found