From: Sergey Matveev <stargrave@stargrave.org>
Date: Fri, 2 Aug 2019 19:54:15 +0000 (+0300)
Subject: Как перемещать огромные объёмы данные по сети
X-Git-Url: http://www.git.stargrave.org/?a=commitdiff_plain;h=8796a56b5b26ce8478b373ab6ad5bf8a97005fc8;p=stargrave-blog.git

Как перемещать огромные объёмы данные по сети

http://moo.nac.uci.edu/~hjm/HOWTO_move_data.html
Рекламируют GridFTP, который используется для Большого Адронного
Коллайдера, но по ссылке на github оно говорит:

    After a two decade run, the Globus Toolkit is no longer available as
    a do-it-yourself distributed computing toolkit, but its spirit lives
    on in a mature, full-featured and easy to use service for research
    data management -- Globus.org!

то есть как свободное ПО оно вот отсутствует. Но статья интересна
подниманием темы параллельных TCP для увеличения пропускной способности.
Упоминает tar | nc -- то, что я сам не редко использую как самый быстрый
способ передать в LAN-е что-то (ещё и используя link-local адрес, чтобы
оно через маршрутизацию или IPsec-и не ходило).
---