]> Sergey Matveev's repositories - stargrave-blog.git/commit
Зарелизил sgodup 0.2.0
authorSergey Matveev <stargrave@stargrave.org>
Sun, 22 Mar 2020 18:29:40 +0000 (21:29 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Sun, 22 Mar 2020 18:29:40 +0000 (21:29 +0300)
commit728931945644b1536632bd7bf3717f3a68b40038
tree4b825dc642cb6eb9a060e54bf8d69288fbee4904
parentbf0167e7bd11370804fdc5f002e745774fb6ca1c
Зарелизил sgodup 0.2.0

С момента релиза первой версии aa85cb4318d211ca16c9f273acdbefb1344f9f86:

* поменьше ест и выделяет памяти во время работы (ведь хранение данных о
  полумиллиона файлов, например, требует осязаемых объёмов)
* можно указать минимальный размер файлов для рассмотрения
* появился двухпроходный режим: вместо того, чтобы менять ссылки на
  файлы прямо во время работы, можно в stdout посылать
  netstring-сериализованные "задачи" для дедупликации. А отдельным
  аргументом заставлять их читать из stdin и заниматься уже только
  перелинковкой. Это позволяет полностью разделить процесс где есть
  только чтение и процесс где только запись
* можно натравливать -basedir и -dupdir на одну и ту же директорию.
  Раньше тоже можно было, но при этом чуть ли не гарантированно получить
  что foo ссылается на bar, который ссылается на baz, который на foo
* убрал разделение на две очереди для больших и маленьких файлов. В коде
  оно не шибко много чего проще и короче делает и просто файлы будут
  закрываться не так рано как могли бы -- не велика проблема