Проблемы с финансированием каталогов пакетов открытого ПО
https://www.opennet.ru/opennews/art.shtml?num=64823
Говорят об огромных финансовых затратах на обслуживание пакетных
репозиториев типа PyPI, NPM, RubyGems, Crates.io, Maven. Миллионы
долларов в год, без учёта миллионных трат которые бы пришлись на
оплату траффика, но всякие Fastly бесплатно предоставляют услуги
для них.
Я помню что когда-то, когда я активно был Python-истом, то размер всего
PyPI был менее терабайта, что-то вообще в районе нескольких сотен гигабайт.
У меня была полная копия. А затем терабайты стал занимать ровно один
пакет: TensorFlow, который выкладывал ночные сбоки для кучи платформ,
сплошь бинари, безумных размеров.
По мне так безумные цифры. Звучит так, что экосистемы всех этих пакетных
менеджеров, devops установки совершенно не заточены под кэширование всего
что скачивают. И я уверен что именно так оно и есть. Не раз слышал ругань
в сторону всяких проектов, что там каждый "make" это скачивание вновь и
вновь одного и того же гигабайтами на каждую сборку. Ну не должно быть
189Gb/sec трафика на PyPI, если бы оттуда скачивались только впервые
устанавливаемые людьми пакеты.
Но основной посыл выступающего: владельцы package repositories не платят
за bandwidth, из-за жертвующих CDN-ов. Деньги нужны на поддержку abuse
report-ов, очистки от malware и всякого такого.
Из-за всего этого я и не люблю саму идею подобных package repositories.
Ну и ужас, когда люди не используют кэши, что приводит к безумию по трафику.