]> Sergey Matveev's repositories - stargrave-blog.git/commit
projects / stargrave-blog.git / commit
summary | shortlog | log | commit | commitdiff | tree
(parent: 1c1eeeb) | patch
git.jordan.im/crawl/cmd/crawl
authorSergey Matveev <stargrave@stargrave.org>
Fri, 24 Jun 2022 09:25:53 +0000 (12:25 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Fri, 24 Jun 2022 09:25:53 +0000 (12:25 +0300)
commitaf2ee5ba4af86cb7f313b0bd6e6171d26b36307a
tree4b825dc642cb6eb9a060e54bf8d69288fbee4904tree
parent1c1eeebc783f9024a8a258c557bb7004d14e7c1acommit | diff
git.jordan.im/crawl/cmd/crawl

https://git.jordan.im/crawl/tree/README.md
Приятная простая утилита для скачивая всего сайта. Проще не встречал:
crawl URL -- а дальше просто подождать когда появится готовый .warc.gz.
Его конечно же надо будет переделать в .warc.zst
(cace83e27a1acafe57f32cc5eee4bb1078f20e74). tofuproxy без проблем всё
это открывает.
Blog