From: Sergey Matveev Date: Sun, 22 Mar 2020 18:29:40 +0000 (+0300) Subject: Зарелизил sgodup 0.2.0 X-Git-Url: http://www.git.stargrave.org/?a=commitdiff_plain;h=728931945644b1536632bd7bf3717f3a68b40038;p=stargrave-blog.git Зарелизил sgodup 0.2.0 С момента релиза первой версии aa85cb4318d211ca16c9f273acdbefb1344f9f86: * поменьше ест и выделяет памяти во время работы (ведь хранение данных о полумиллиона файлов, например, требует осязаемых объёмов) * можно указать минимальный размер файлов для рассмотрения * появился двухпроходный режим: вместо того, чтобы менять ссылки на файлы прямо во время работы, можно в stdout посылать netstring-сериализованные "задачи" для дедупликации. А отдельным аргументом заставлять их читать из stdin и заниматься уже только перелинковкой. Это позволяет полностью разделить процесс где есть только чтение и процесс где только запись * можно натравливать -basedir и -dupdir на одну и ту же директорию. Раньше тоже можно было, но при этом чуть ли не гарантированно получить что foo ссылается на bar, который ссылается на baz, который на foo * убрал разделение на две очереди для больших и маленьких файлов. В коде оно не шибко много чего проще и короче делает и просто файлы будут закрываться не так рано как могли бы -- не велика проблема ---