From b4fa50437340751e9dc0a6837a526ef2ea30ab1e Mon Sep 17 00:00:00 2001
From: Sergey Matveev <stargrave@stargrave.org>
Date: Fri, 16 Feb 2018 11:01:08 +0300
Subject: [PATCH] =?utf8?q?=D0=9F=D0=BE=D0=BF=D1=80=D0=BE=D0=B1=D0=BE=D0=B2?=
 =?utf8?q?=D0=B0=D0=BB=20=D0=B4=D0=B5=D0=B4=D1=83=D0=BF=D0=BB=D0=B8=D0=BA?=
 =?utf8?q?=D0=B0=D1=86=D0=B8=D1=8E=20=D0=B2=20ZFS?=
MIME-Version: 1.0
Content-Type: text/plain; charset=utf8
Content-Transfer-Encoding: 8bit

Ð Ð²ÑÑ Ð¾ÐºÐ°Ð·Ð°Ð»Ð¾ÑÑ Ð½Ðµ ÑÐ°Ðº Ð¿ÑÐ¾ÑÑÐ¾ ÐºÐ°Ðº, Ð½Ðµ Ð·Ð°Ð´ÑÐ¼ÑÐ²Ð°ÑÑÑ, Ð¾Ð¶Ð¸Ð´Ð°Ð»Ð¾ÑÑ.

ÐÑÐ¶Ð½Ð¾ Ð¼Ð½Ðµ ÑÑÐ¾ Ð´Ð»Ñ NNCP. Ð Ð½ÑÐ¼ ÐµÑÑÑ Ð²Ð¾Ð·Ð¼Ð¾Ð¶Ð½Ð¾ÑÑÑ Ð¿Ð¾ÑÑÐ»Ð°ÑÑ ÑÐ°Ð¹Ð»Ñ ÑÐ°Ð·Ð±Ð¸ÑÑÐ¼Ð¸
Ð½Ð° ÐºÑÑÐºÐ¸. Ð Ð¸ÑÐ¾Ð³Ðµ Ð½Ð° Ð¿ÑÐ¸ÑÐ¼Ð½Ð¾Ð¹ ÑÑÐ¾ÑÐ¾Ð½Ðµ Ð¾ÐºÐ°Ð·ÑÐ²Ð°ÐµÑÑÑ file.part0,
file.part1, Ð¸ÑÐ´. nncp-reass ÐºÐ¾Ð¼Ð°Ð½Ð´Ð° ÑÑÐ¸ÑÑÐ²Ð°Ñ ÑÐ°Ð¹Ð» Ñ Ð¼ÐµÑÐ°Ð¸Ð½ÑÐ¾ÑÐ¼Ð°ÑÐ¸ÐµÐ¹ Ð¸
ÑÑÑÐ°Ð¼Ð¸, Ð¿ÑÐ¾ÑÑÐ¾ Ð´ÐµÐ»Ð°ÐµÑ ÑÐ°ÐºÑÐ¸ÑÐµÑÐºÐ¸: cat file.part0 file.part1 ... > file.
Ð¢Ð¾ ÐµÑÑÑ ÐºÐ¾Ð¿Ð¸ÑÐ¾Ð²Ð°Ð½Ð¸Ðµ ÑÐ°Ð¹Ð»Ð¾Ð² as-is. ÐÐ´ÐµÐ°Ð»ÑÐ½ÑÐ¹ Ð²Ð°ÑÐ¸Ð°Ð½Ñ Ð´Ð»Ñ dedup.

Ð¡Ð´ÐµÐ»Ð°Ð» Ñ Ð²ÑÐµÐ¼ÐµÐ½Ð½ÑÐ¹ ÑÐ°Ð¹Ð» Ñ ÑÐ°Ð½Ð´Ð¾Ð¼Ð¾Ð¼ Ð²Ð½ÑÑÑÐ¸:

    dd if=/dev/zero bs=1M count=100 | gohpenc -psk ... > out

ÐÐ¾Ð¿Ð¸ÑÑÑ ÐµÐ³Ð¾:

    for i in `seq 100`; do cp out out$i ; done

ÐÐ¸Ð¶Ñ ÑÑÐ¾ zfs list Ð¿Ð¾ÐºÐ°Ð·ÑÐ²Ð°ÐµÑ ÑÑÐ¾ Ð·Ð°Ð½ÑÑÐ¾ 1 Ð³Ð¸Ð³Ð°Ð±Ð°Ð¹Ñ (Ð° Ð½Ðµ 100 Ð¼ÐµÐ³Ð°Ð±Ð°Ð¹Ñ),
Ð¾Ð´Ð½Ð°ÐºÐ¾ ÑÐ²Ð¾Ð±Ð¾Ð´Ð½Ð¾Ðµ Ð¼ÐµÑÑÐ¾ Ð¿ÑÐ°ÐºÑÐ¸ÑÐµÑÐºÐ¸ Ð½Ðµ ÑÑÐ¾Ð½ÑÑÐ¾. zpool get dedup
Ð¿Ð¾ÐºÐ°Ð·ÑÐ²Ð°ÐµÑ ÑÑÐ¾ Ð´Ð¾ÑÐ¸Ð³Ð° Ð´Ð°Ð½Ð½ÑÑ Ð´ÐµÐ´ÑÐ¿Ð»Ð¸ÑÐ¸ÑÐ¾Ð²Ð°Ð½Ð¾. ÐÑÑ ÑÐ¾ÑÐ¾ÑÐ¾.

ÐÐ¾ ÑÐ´ÐµÐ»Ð°Ð² Ð°Ð½Ð°Ð»Ð¾Ð³ cat file.part* > file:

    for i in `seq 100`; do cat out >> out2 ; done

Ñ Ð²Ð¸Ð¶Ñ ÑÑÐ¾ Ð´ÐµÐ´ÑÐ¿Ð»Ð¸ÑÐ¸ÑÐ¾Ð²Ð°Ð½Ð¾ Ð¿Ð¾ÑÑÐ¸ Ð½Ð¸ÑÐµÐ³Ð¾: Ð¶Ð°Ð»ÐºÐ¸Ð¹ 1%.

ÐÑÐ¾Ð±Ð»ÐµÐ¼Ð° Ð² ÑÐ¾Ð¼ ÐºÐ°ÐºÐ¸Ðµ Ð´Ð°Ð½Ð½ÑÐµ Ð¿Ð¾Ð¿Ð°Ð´Ð°ÑÑ Ð² Ð±Ð»Ð¾ÐºÐ¸. ÐÑÑÐ»Ð¾Ð¿ gohpenc Ð¾ÐºÐ°Ð·Ð°Ð»ÑÑ
ÐºÑÐ°ÑÐµÐ½ ÑÐ¾Ð»ÑÐºÐ¾ Ð¾Ð´Ð½Ð¾Ð¼Ñ ÐºÐ¸Ð»Ð¾Ð±Ð°Ð¹ÑÑ, Ð½Ð¾ Ð½Ðµ ÐºÑÐ°ÑÐµÐ½ Ð´Ð°Ð¶Ðµ Ð´Ð²ÑÐ¼ Ð¸Ð»Ð¸, ÑÐµÐ¼ Ð±Ð¾Ð»ÐµÐµ,
128 ÐºÐ¸Ð»Ð¾Ð±Ð°Ð¹Ñ. ÐÑÐ¸ ÐºÐ¾Ð¿Ð¸ÑÐ¾Ð²Ð°Ð½Ð¸Ð¸ ÑÐ°Ð¹Ð»Ð° Ð±Ð»Ð¾ÐºÐ¸ Ð´ÐµÐ¹ÑÑÐ²Ð¸ÑÐµÐ»ÑÐ½Ð¾ Ð±ÑÐ´ÑÑ ÑÐ¾Ð·Ð´Ð°Ð½Ñ
ÑÐ¾ÑÐ½Ð¾ ÑÐ°ÐºÐ¸Ðµ Ð¶Ðµ.

    |    128 KiB     |    128 KiB     |    128 KiB     |
    |---BlockA-------+---BlockB-------+-BlockC-|

Ð¸ Ð´ÐµÐ´ÑÐ¿Ð»Ð¸ÐºÐ°ÑÐ¸Ñ ÑÐ°Ð±Ð¾ÑÐ°ÐµÑ Ð½Ð° 100%. ÐÐ¾ ÐµÑÐ»Ð¸ Ñ Ð¸Ñ ÑÐºÐ¾Ð½ÐºÐ°ÑÐµÐ½Ð¸ÑÑÑ, ÑÐ¾ Ð±ÑÐ´ÐµÑ
ÑÐ»ÐµÐ´ÑÑÑÐµÐµ:

    |    128 KiB     |    128 KiB     |    128 KiB     |    128 KiB     | ...
    |---BlockA-------+---BlockB-------+-BlockC-+--BlockA-------+---BlockB-...

ÑÐ¾ ÐµÑÑÑ ÑÐ¾Ð²Ð¿Ð°Ð´ÑÑ ÑÐ¾Ð»ÑÐºÐ¾ N-1 Ð±Ð»Ð¾ÐºÐ¾Ð² ÑÑÐ¾Ð³Ð¾ out ÑÐ°Ð¹Ð»Ð°, Ð° Ð´Ð°Ð»ÑÑÐµ Ð½Ð¸ÑÐµÐ³Ð¾,
Ð²Ð¾Ð·Ð¼Ð¾Ð¶Ð½Ð¾ Ð¼ÐµÑÑÐ°Ð¼Ð¸ ÑÐ¾Ð»ÑÐºÐ¾ Ð±ÑÐ´ÑÑ ÑÐ¾Ð²Ð¿Ð°Ð´ÐµÐ½Ð¸Ñ.

Ð§ÑÐ¾ Ð´ÐµÐ»Ð°ÑÑ Ð¸ ÐºÐ°Ðº Ð±ÑÑÑ? ÐÐ½Ð°ÑÑ ÑÐ²Ð¾Ð¸ Ð´Ð°Ð½Ð½ÑÐµ. ÐÐµÐ»Ð°ÑÑ Ð´Ð°Ð½Ð½ÑÐµ ÐºÑÐ°ÑÐ½ÑÐ¼Ð¸
recordsize Ð¸Ð»Ð¸ ÐµÐ³Ð¾ Ð²ÑÑÑÐ°Ð²Ð»ÑÑÑ ÑÑÐ¾Ð±Ñ Ð±ÑÐ» ÐºÑÐ°ÑÐ½ÑÐ¹ Ð´Ð°Ð½Ð½ÑÐ¼. Ð ÑÐ»ÑÑÐ°Ðµ Ñ NNCP
ÑÑÐ¾ Ð·Ð½Ð°ÑÐ¸Ñ Ð½Ð°Ð´Ð¾ Ð²ÑÑÑÐ°Ð²Ð»ÑÑÑ ÑÐ°Ð·Ð¼ÐµÑ chunk-Ð° ÑÐ¾Ð¾ÑÐ²ÐµÑÑÑÐ²ÑÑÑÐ¸Ð¹ (Ð½Ð°Ð¿ÑÐ¸Ð¼ÐµÑ
ÐºÑÐ°ÑÐ½ÑÐ¹ 128 ÐºÐ¸Ð»Ð¾Ð±Ð°Ð¹ÑÐ°Ð¼).
-- 
2.48.1