]> Sergey Matveev's repositories - stargrave-blog.git/commitdiff
Как перемещать огромные объёмы данные по сети
authorSergey Matveev <stargrave@stargrave.org>
Fri, 2 Aug 2019 19:54:15 +0000 (22:54 +0300)
committerSergey Matveev <stargrave@stargrave.org>
Fri, 2 Aug 2019 19:54:15 +0000 (22:54 +0300)
http://moo.nac.uci.edu/~hjm/HOWTO_move_data.html
Рекламируют GridFTP, который используется для Большого Адронного
Коллайдера, но по ссылке на github оно говорит:

    After a two decade run, the Globus Toolkit is no longer available as
    a do-it-yourself distributed computing toolkit, but its spirit lives
    on in a mature, full-featured and easy to use service for research
    data management -- Globus.org!

то есть как свободное ПО оно вот отсутствует. Но статья интересна
подниманием темы параллельных TCP для увеличения пропускной способности.
Упоминает tar | nc -- то, что я сам не редко использую как самый быстрый
способ передать в LAN-е что-то (ещё и используя link-local адрес, чтобы
оно через маршрутизацию или IPsec-и не ходило).


No differences found