From: Sergey Matveev Date: Fri, 20 Mar 2020 11:17:45 +0000 (+0300) Subject: Написал утилиту для дедупликации файлов sgodup X-Git-Url: http://www.git.stargrave.org/?a=commitdiff_plain;h=aa85cb4318d211ca16c9f273acdbefb1344f9f86;p=stargrave-blog.git Написал утилиту для дедупликации файлов sgodup https://git.stargrave.org/cgit.cgi/sgodup.git/tree/README Есть у меня задачи где имеются несколько директорий, между которыми есть множество одинаковых файлов, возможно с отличающимися именами. Посмотрел я на множество предлагаемых для этой задачи утилит, но что-то никто не понравился: то сравнивается содержимое файлов полностью, то MD5 используется, то низкая производительность или недостаточная гибкость, не позволяющая делать symlink-и или направлять их только из одной директории в другую. Решил написать своё. Очень хорошая производительность (я даже не знаю можно ли быстрее -- всё-равно упираюсь в ФС), старается не делать ничего лишнего, красивенький real-time прогресс. Можно и для symlink-ов использовать, можно и hardlink-и, можно и в пределах одной директории дедуплицировать данные. ---