From: Sergey Matveev Date: Sat, 19 Oct 2019 10:21:09 +0000 (+0300) Subject: Мысли о переходе на Zstandard всё не покидают голову X-Git-Url: http://www.git.stargrave.org/?a=commitdiff_plain;h=738fc2e95a295879f990c1a307c792d8e91b9018;p=stargrave-blog.git Мысли о переходе на Zstandard всё не покидают голову http://www.opennet.ru/opennews/art.shtml?num=51687 С момента выхода этой новости я не раз смотрел и думал оставлять ли мне xz. На Arch пофиг, но я не пробовал --ultra -22 опции в zst, которые ещё лучше сжимают. Время сжатия уже сравнимо или иногда больше чем xz -9. Время разжатия, как минимум, на порядок меньше. Но вот уровень сжатия... некоторые dataset-ы у меня буквально на доли процента отличаются между zst -22 и xz -9, а некоторые на 10%. В целом я полностью поддерживаю переход пакетов на zst с таким уровнем сжатия, ибо действительно самое точное слово это "comparable compression level" -- уровень всё-равно выше чем в bzip2, не говоря о gunzip. Что же касается моих задач... я готов бы был мириться с бОльшим временем сжатия, но при таком же (или лучшем) уровне компрессии, ради вообще использования единственного компрессора с дикой скоростью разжатия, но xz всё же сильнее жмёт. В распараллеленном режиме xz жмёт хуже, а вот zstd точно так же и займёт все ядра. Вот в итоге всё мечусь в мыслях.... пожертвовать ли немного меньшим уровнем компрессии, но получить более быстрое сжатие (из-за распараллеливания), гораздо более быстрое разжатие, полное использование только одного компрессора. Ведь большие dataset-ы он жмёт чуть-чуть похуже всего лишь. А маленькие (типа десятков килобайт) хуже, но абсолютные потери по месту для небольшого количества файлов не велики. А то это попахивает от меня какой-то жадностью: ведь куда более правильный, по заверению автора, lzip всё-равно жмёт аналогично похуже, но всё-равно и zstd -22 и lzip и xz жмут гораздо лучше bzip2, не говоря уже о gzip, который в разы переплюнуть легко могут. ---