]> Sergey Matveev's repositories - feeder.git/commitdiff
Do not use compression anymore
authorSergey Matveev <stargrave@stargrave.org>
Thu, 19 Sep 2024 13:56:57 +0000 (16:56 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Thu, 19 Sep 2024 13:56:59 +0000 (16:56 +0300)
Modern filesystems like ZFS can do it transparently and should be used.

cmd/env.rc
cmd/parse
doc/storage.texi
doc/usage/options.texi

index 49326804f365cc818c65c55baea999b28cb5b0ea..79a7396b4bf4124ef71013e5f6d56ef29cd1c9db 100644 (file)
@@ -1,5 +1,4 @@
 CURL="${CURL:-curl}"
-ZSTD="${ZSTD:-zstdmt -19}"
 WGET="${WGET:-wget}"
 PARALLEL="${PARALLEL:-parallel --bar --shuf}"
 
index ab830b54c43c4fa43409945e93a7a560424cbcdf..90d35d7b0e67edc695d09e112d69274571bacfd6 100755 (executable)
--- a/cmd/parse
+++ b/cmd/parse
@@ -7,6 +7,6 @@ cd "$1"
 [ -s download.hash ] && hash_their="`cat download.hash`" || :
 [ "$hash_our" != "$hash_their" ] || exit 0
 [ -s max ] && max=`cat max` || max=$FEEDER_MAX_ITEMS
-$ZSTD -d < feed.zst | $cmds/feed2mdir/feed2mdir -max-entries $max . > title.tmp
+$cmds/feed2mdir/feed2mdir -max-entries $max . <feed >title.tmp
 mv title.tmp title
 echo "$hash_their" >parse.hash
index ff051b1bdb87a50659c539702c1a40be86fdfd26..5301d1ae35e3bc413ab935b3a48965967cf02236 100644 (file)
@@ -20,12 +20,11 @@ Those files are used by @command{curl} to keep the content, its proper
 @code{mtime} (for @code{If-Modified-Since} header generation),
 @code{ETag} and response headers for debugging.
 
-@item feed.zst
-It contains the content itself. Compressed with
-@url{https://facebook.github.io/zstd/, Zstandard}.
+@item feed
+It contains the content itself.
 
 @item download.hash, parse.hash
-SHA-512 hash of the @file{feed.zst}, used to determine if feed was
+SHA-512 hash of the @file{feed}, used to determine if feed was
 updated and parser has to do the job.
 
 @item title
index 2b1a4df685867a80ed03bce40af029f96eed71b6..0904a2a6161dbd33be243be513319cb25a76fd00 100644 (file)
@@ -4,5 +4,5 @@
 There are a few configuration options defined in @file{cmd/env.rc}. You can
 override them either with environment variables, or by editing that file
 directly. You can override @command{curl}, @command{wget},
-@command{zstd}, @command{parallel} command invocations,
+@command{parallel} command invocations,
 @code{User-Agent}, number of download/parse jobs run in parallel and so on.