From efb7b138ba42bd19945b3ab1f700c340061524f2 Mon Sep 17 00:00:00 2001
From: Sergey Matveev <stargrave@stargrave.org>
Date: Thu, 21 Sep 2023 20:14:31 +0300
Subject: [PATCH] =?utf8?q?=D0=A2=D0=B5=D0=BF=D0=B5=D1=80=D1=8C=20=D0=B2?=
 =?utf8?q?=D1=81=D0=B5=20=D0=BA=D0=BE=D0=BC=D0=BF=D1=8C=D1=8E=D1=82=D0=B5?=
 =?utf8?q?=D1=80=D1=8B=20=D0=B4=D0=BE=D0=BC=D0=B0=20=D0=BD=D0=B0=2010GbE?=
MIME-Version: 1.0
Content-Type: text/plain; charset=utf8
Content-Transfer-Encoding: 8bit

Ð Ð¿ÑÐ¾ÑÐ»ÑÐ¹ upgrade (c88a83563caf8a6000f430b69e37aa4766315c93) Ñ ÑÐ¾ÐµÐ´Ð¸Ð½Ð¸Ð»
ÑÐ¾Ð»ÑÐºÐ¾ Ð´Ð²Ð° ÑÐµÑÐ²ÐµÑÐ° 10GbE ÑÐµÑÑÑ ÑÐµÑÐµÐ· DAC ÐºÐ°Ð±ÐµÐ»Ñ. Ð Ð¼Ð¾Ñ Ð¾ÑÐ½Ð¾Ð²Ð½Ð°Ñ ÑÐ°Ð±Ð¾ÑÐ°Ñ
Ð¼Ð°ÑÐ¸Ð½Ð°, Intel NUC, ÑÐ¾Ð´Ð¸Ð»Ð° Ð¿Ð¾ 1GbE. Ð¡ÐµÐ³Ð¾Ð´Ð½Ñ Ð¿ÑÐ¸Ð²ÐµÐ·Ð»Ð¸ ÐµÑÑ Ð¾Ð´Ð½Ñ ÑÐµÑÐµÐ²ÑÑ
ÐºÐ°ÑÑÑ Ð¸ Ð´Ð²Ð° SFP+ Ð½Ð° RJ45.

ÐÐ°ÑÑÐ° ÑÐ¾ÑÐ½Ð¾ ÑÐ°ÐºÐ°Ñ Ð¶Ðµ Ñ Mellanox ConnectX-3 ÑÐ¸Ð¿Ð¾Ð¼ Ð¸ Ð´Ð²ÑÐ¼Ñ Ð¿Ð¾ÑÑÐ°Ð¼Ð¸, ÑÑÐ¾ Ð¸
Ð·Ð°ÐºÐ°Ð·ÑÐ²Ð°Ð» Ð¿ÑÐµÐ¶Ð´Ðµ. ÐÐ¾ ÐµÑ Ð²ÑÑÐ°Ð²Ð¸Ð» Ð²Ð¾ Ð²ÑÐ¾ÑÐ¾Ð¹ ÑÐµÑÐ²ÐµÑ, Ð° Ð¸Ð· Ð½ÐµÐ³Ð¾ Ð²ÑÐ½ÑÐ» ÐºÐ°ÑÑÑ
Ñ Ð¾Ð´Ð½Ð¸Ð¼ SFP+ Ð¿Ð¾ÑÑÐ¾Ð¼ Ð¸ Intel ÑÐ¸Ð¿Ð¾Ð¼ Ð½Ð° Ð±Ð¾ÑÑÑ. ÐÐ»Ð°Ð³Ð¾ ÑÑÐ¾ ÐºÐ¾ Ð²ÑÐµÐ¼ ÐºÐ°ÑÑÐ¾ÑÐºÐ°Ð¼
Ð´Ð°Ð²Ð°Ð»Ð¸ÑÑ Ð½Ð¸Ð·ÐºÐ¾Ð¿ÑÐ¾ÑÐ¸Ð»ÑÐ½ÑÐµ Ð¿Ð»Ð°Ð½ÐºÐ¸, Ð¸Ð±Ð¾ Ð² ÑÑÐ°ÑÑÐ¹ ÑÐµÑÐ²ÐµÑ ÑÐ¾Ð»ÑÐºÐ¾ ÑÐ°ÐºÐ¸Ðµ
Ð²Ð»ÐµÐ·Ð°ÑÑ.

ÐÑÑÐ°Ð²Ð¸Ð» Ð²ÑÑ ÑÑÐ¾ Ð´ÐµÐ»Ð¾ Ð² NUC. Ð... Ð½Ð¸ÑÐµÐ³Ð¾ Ð½Ðµ Ð·Ð°ÑÐ°Ð±Ð¾ÑÐ°Ð»Ð¾. ÐÐ°ÑÑÐ° Ð²Ð¾Ð¾Ð±ÑÐµ Ð½Ðµ
Ð²Ð¸Ð´Ð¸ÑÑÑ Ð² ÑÐ¿Ð¸ÑÐºÐµ PCI ÑÑÑÑÐ¾Ð¹ÑÑÐ². ÐÐ·Ð½Ð°ÑÐ°Ð»ÑÐ½Ð¾ ÑÐ¾ Ñ Ð¸Ð¼ÐµÐ½Ð½Ð¾ Mellanox Ð½Ð¾Ð²ÑÑ
ÐºÑÐ¿Ð»ÐµÐ½Ð½ÑÑ Ð¿Ð¾Ð¿ÑÐ¾Ð±Ð¾Ð²Ð°Ð», Ð¿Ð¾ÑÐ¾Ð¼ ÐµÑ Ð·Ð°Ð¼ÐµÐ½Ð¸Ð» Ð½Ð° Intel, ÐºÐ¾ÑÐ¾ÑÑÐ¹ ÑÐ¾ÑÐ½Ð¾ ÑÐ°Ð±Ð¾ÑÐ¸Ð¹
-- Ð¿Ð¾Ð´ÑÐ¼Ð°Ð» ÑÑÐ¾ Ð¼Ð¾Ð¶ÐµÑ Ð±ÑÑÑ ÐºÐ°ÑÑÐ° Ð½ÐµÑÐ°Ð±Ð¾ÑÐ°Ñ?

ÐÐ¾ Ñ Ð¶Ðµ ÑÐµÐ¿ÐµÑÑ ÑÐ¸Ð¿Ð° Ð½ÐµÐ¼Ð½Ð¾Ð³Ð¾ Ð¿Ð¾ÑÐ¼Ð½ÐµÐµ ÑÑÐ°Ð» Ð¿Ð¾ÑÐ»Ðµ Ð¿ÑÐ¾ÑÐ¼Ð¾ÑÑÐ° Ð»ÐµÐºÑÐ¸Ð¸ Ð²Ð²ÐµÐ´ÐµÐ½Ð¸Ñ
Ð² PCIe (4df90850b243b914bf29f7ee7396c99724af3945) Ð¸ Ð¿Ð¾Ð´ÑÐ¼Ð°Ð» ÑÑÐ¾ Ð¼Ð¾Ð¶ÐµÑ
Ð±ÑÑÑ Ð² NUC, ÑÑÐ¸ÑÑÐ²Ð°Ñ ÑÑÐ¾ Ñ Ð¼ÐµÐ½Ñ Ð°Ð¶ Ð´Ð²Ð° NVMe ÑÐ°Ð¼ ÑÐ¶Ðµ ÑÑÐ¾ÑÑ, Ð±Ð°Ð½Ð°Ð»ÑÐ½Ð¾ Ð½Ðµ
ÑÐ²Ð°ÑÐ°ÐµÑ ÐºÐ°ÐºÐ¸Ð¼-ÑÐ¾ Ð¾Ð±ÑÐ°Ð·Ð¾Ð¼ PCIe lane-Ð¾Ð² Ð¸Ð»Ð¸ ÑÑÐ¾-Ð½Ð¸Ð±ÑÐ´Ñ Ð² ÑÑÐ¾Ð¼ Ð´ÑÑÐµ? Ð¢Ð°Ðº ÑÐ¾
Ð² NUC 4x Ð¸ 16x gen 3 Ð¿Ð¾ÑÑÐ°. ÐÐ¾ÑÑÐ°Ð²Ð¸Ð» Ð² BIOS: force 8x, 4x, 4x Ð² ÑÐ°Ð·Ð´ÐµÐ»Ðµ
PCIe bifurcation. Ð Ð²ÑÑ Ð·Ð°ÑÐ°Ð±Ð¾ÑÐ°Ð»Ð¾! ÐÑÐ¸ÑÑÐ¼ 4x gen3 lane-Ð¾Ð² Ð´Ð¾ÑÑÐ°ÑÐ¾ÑÐ½Ð¾
Ð´Ð»Ñ Ð¾Ð±Ð¾Ð¸Ñ NVMe, Ð° 8x gen2 Ð´Ð¾ÑÑÐ°ÑÐ¾ÑÐ½Ð¾ (Ð´Ð°Ð¶Ðµ Ð¸Ð·Ð±ÑÑÐ¾Ðº) Ð´Ð»Ñ NIC.

SFP+ Ð·Ð°ÑÐ°Ð±Ð¾ÑÐ°Ð»Ð¸ Ð±ÐµÐ· Ð¿ÑÐ¾Ð±Ð»ÐµÐ¼. ÐÑÐ¾Ð²ÐµÑÐ¸Ð» iperf3: Ð±Ð¾Ð»ÐµÐµ 9Gbps, Ð½Ð¾ ÑÐºÐ¾ÑÐ¾ÑÑÑ
ÑÐ¸Ð»ÑÐ½Ð¾ ÑÐ°Ð½ÑÑÐµÑ Ð¸ Ð¿Ð»Ð°Ð²Ð°ÐµÑ Ð½Ð° Ð¿Ð¾Ð»Ð³Ð¸Ð³Ð°Ð±Ð¸ÑÐ°. Ð¡ DAC-Ð¾Ð¼ 9.88 ÑÑÐ°Ð±Ð¸Ð»ÑÐ½Ð¾
Ð¿Ð¾ÐºÐ°Ð·ÑÐ²Ð°ÐµÑ. ÐÑÐµÐµÑÑÑ, Ð´ÐµÐ¹ÑÑÐ²Ð¸ÑÐµÐ»ÑÐ½Ð¾, ÐºÐ°Ðº Ð¸ Ð¿Ð¸ÑÑÑ, Ð¿Ð¸Ð¿ÐµÑ ÐºÐ°Ðº ÑÐ¸Ð»ÑÐ½Ð¾,
ÑÑÐ¾Ð³Ð°ÑÑ Ð¿Ð°Ð»ÑÑÐµÐ¼ Ð½ÐµÐ»ÑÐ·Ñ. ÐÐ¾ ÑÐ¾ÑÑ Ð±Ñ ÐµÑÐ»Ð¸ ÐºÐ°Ð±ÐµÐ»Ñ Ð½Ðµ Ð¿Ð¾Ð´ÐºÐ»ÑÑÑÐ½, ÑÐ¾ Ð²ÑÐ¾Ð´Ðµ
Ð¿ÐµÑÐµÑÑÐ°ÑÑ.

Cat7 ÐºÐ°Ð±ÐµÐ»Ñ Ñ Ð¼ÐµÐ½Ñ Ð½ÐµÑ, ÑÐ¾Ð»ÑÐºÐ¾ 6e. ÐÐ¾ ÑÐ°ÑÑÑÐ¾ÑÐ½Ð¸Ðµ Ð² Ð¿Ð¾Ð»Ð¼ÐµÑÑÐ° -- ÑÐ°Ðº ÑÑÐ¾
Ð½Ð°Ð²ÐµÑÐ½Ð¾Ðµ Ð²ÑÑÐ´ Ð»Ð¸ Ð½Ð° ÑÑÐ¾-ÑÐ¾ Ð²Ð»Ð¸ÑÐµÑ. Ð¢Ð°Ðº Ð²Ð¾Ñ Ð³Ð»Ð°Ð²Ð½Ð¾Ðµ ÑÐ¾: ping Ð½Ð° DAC
Ð¿Ð¾ÐºÐ°Ð·ÑÐ²Ð°Ð» Â± ÑÑÐ°Ð±Ð¸Ð»ÑÐ½Ð¾ 0.030Ð¼Ñ, ÑÐ¾Ð³Ð´Ð° ÐºÐ°Ðº Ð½Ð° RJ45 0.110Ð¼Ñ, ÐºÐ¾ÑÐ¾ÑÑÐµ
ÐºÐ¾Ð»Ð±Ð°ÑÑÑÑÑ Ð¸ Ð¸Ð½Ð¾Ð³Ð´Ð° >0.220, Ð¸Ð½Ð¾Ð³Ð´Ð° ÑÑÑÑ Ð¼ÐµÐ½ÑÑÐµ 0.090.

ÐÐ¾Ð±Ð°Ð²Ð¸Ð» Ð¸Ð½ÑÐµÑÑÐµÐ¹Ñ Ð² BIRD OSPF ÐºÐ¾Ð½ÑÐ¸Ð³ÑÑÐ°ÑÐ¸Ñ, ÑÐºÐ°Ð·Ð°Ð» Ð¼ÐµÐ½ÑÑÐ¸Ð¹ cost Ð´Ð»Ñ
10GbE link-Ð¾Ð² Ð¸ IPv6 ÑÑÐ°ÑÐ¸Ðº Ð°Ð²ÑÐ¾Ð¼Ð°ÑÐ¾Ð¼ Ð¸Ð´ÑÑ Ð¿Ð¾ Ð±Ð¾Ð»ÐµÐµ Ð±ÑÑÑÑÐ¾Ð¼Ñ ÐºÐ°Ð½Ð°Ð»Ñ. ÐÐ¾
ÑÐ¼Ð¾Ð»ÑÐ°Ð½Ð¸Ñ cost=10 Ð´Ð»Ñ 1GbE. Ð¯ ÑÐºÐ°Ð·Ð°Ð» cost=5. Ð­ÑÐ¾ ÑÑÐ°Ð±Ð¾ÑÐ°Ð»Ð¾ Ð¿ÑÐ¸
Ð¿Ð¾Ð´ÐºÐ»ÑÑÐµÐ½Ð¸Ð¸ ÑÐµÑÐ²ÐµÑâÑÐµÑÐ²ÐµÑ. ÐÐ¾ Ð¼Ð¾Ð¹ NUC Ð¿Ð¾Ð´ÐºÐ»ÑÑÑÐ½ 10GbE ÑÐ¾Ð»ÑÐºÐ¾ Ðº Ð¾Ð´Ð½Ð¾Ð¼Ñ
ÑÐµÑÐ²ÐµÑÑ, Ð¸ 1GbE ÑÐµÑÐµÐ· ÐºÐ¾Ð¼Ð¼ÑÑÐ°ÑÐ¾Ñ ÐºÐ¾ Ð²ÑÐ¾ÑÐ¾Ð¼Ñ. ÐÐ½ Ð²ÑÐ±Ð¸ÑÐ°ÐµÑ Ð´Ð»Ñ Ð²ÑÐ¾ÑÐ¾Ð³Ð¾
ÑÐµÑÐ²ÐµÑÐ° Ð¼Ð°ÑÑÑÑÑ ÑÐµÑÐµÐ· 1GbE, Ð° Ð½Ðµ ÑÐµÑÐµÐ·, Ð¿ÑÑÐºÐ°Ð¹ Ð¸ Ð½Ð° Ð¾Ð´Ð¸Ð½ hop Ð´Ð°Ð»ÑÑÐµ,
10GbE link-Ð¸. ÐÐ»ÑÑ ÑÐ°Ð½ÑÑÐµ Ñ Ð¼ÐµÐ½Ñ default route ÑÑÐ» Ð¿ÑÐ¾ÑÑÐ¾ ÑÐµÑÐµÐ·
-iface wg_gw, Ð° ÑÐµÐ¹ÑÐ°Ñ ÑÑÐ¾ ÑÐ¶Ðµ Ð»Ð¸Ð±Ð¾ 10GbE, Ð»Ð¸Ð±Ð¾ wg ÑÑÐ½Ð½ÐµÐ»Ñ. ÐÐ°Ð´Ð¾ ÐºÐ°Ðº-ÑÐ¾
Ð´Ð¸Ð½Ð°Ð¼Ð¸ÑÐµÑÐºÐ¸ Ð¼ÐµÐ½ÑÑÑ ÑÑÐ¾Ñ default route Ð±ÑÐ´ÐµÑ.
-- 
2.50.0