From 9a24f9bf78dd863bc3ff9ad6cab171d1e7427b34 Mon Sep 17 00:00:00 2001
From: Sergey Matveev <stargrave@stargrave.org>
Date: Sun, 10 Jul 2016 19:48:05 +0300
Subject: [PATCH] =?utf8?q?WARC=20proxy=20=D0=BD=D0=B0=20Go?=
MIME-Version: 1.0
Content-Type: text/plain; charset=utf8
Content-Transfer-Encoding: 8bit

Ð¡Ð¾Ð±Ð¸ÑÐ°ÑÑÑ Ð½Ð°Ð¿Ð¸ÑÐ°ÑÑ Ð½Ð° Go Ð¿ÑÐ¾ÐºÑÐ¸ Ð´Ð»Ñ Ð¿ÑÐ¾ÑÐ¼Ð¾ÑÑÐ° WARC ÑÐ°Ð¹Ð»Ð¾Ð². Ð¢Ð°Ðº ÐºÐ°Ðº Ñ
ÐÐ½ÑÐµÑÐ½ÐµÑÐ¾Ð¼ Ð±ÑÐ´ÑÑ Ð±Ð¾Ð»ÑÑÐ¸Ðµ Ð¿ÑÐµÐ±Ð¾Ð»ÑÑÐ¸Ðµ Ð¿ÑÐ¾Ð±Ð»ÐµÐ¼Ñ (ÑÐ¾ÑÑ Ð¾Ð½Ð¸ ÑÐ¶Ðµ Ð¸Ð¼ÐµÑÑÑÑ Ñ
Ð¿Ð¾ÑÑÐ¾ÑÐ½Ð½ÑÐ¼ Ð±Ð»Ð¾ÐºÐ¸ÑÐ¾Ð²Ð°Ð½Ð¸ÐµÐ¼ CDN-Ð¾Ð², Github-Ð¾Ð² Ð¸ Ð¿ÑÐ¾ÑÐ¸Ð¼), ÑÐ¾ Ð°ÐºÑÑÐ°Ð»ÑÐ½Ð¾ÑÑÑ
air-gaped ÑÐµÐ¶Ð¸Ð¼Ð° Ð¿ÐµÑÐµÐ´Ð°ÑÐ¸ Ð´Ð°Ð½Ð½ÑÑ Ð²ÑÑ Ð±Ð¾Ð»ÐµÐµ Ð°ÐºÑÑÐ°Ð»ÑÐ½Ð°.

Ð¡ ÑÐ¾ÑÑÐ°Ð½ÐµÐ½Ð¸ÐµÐ¼/Ð¿ÐµÑÐµÐ´Ð°ÑÐµÐ¹/Ð¿ÑÐ¾ÑÐ¼Ð¾ÑÑÐ¾Ð¼ Ð¾Ð´Ð½Ð¾Ð³Ð¾ HTML/JPEG/PDF/whatever ÑÐ°Ð¹Ð»Ð°
Ð¿ÑÐ¾Ð±Ð»ÐµÐ¼ Ð½Ðµ Ð²Ð¾Ð·Ð½Ð¸ÐºÐ°ÐµÑ. Ð Ð²Ð¾Ñ ÐºÐ°Ðº Ð±ÑÑÑ Ñ ÐºÑÑÐµÐ¹ ÑÐ²ÑÐ·Ð°Ð½Ð½ÑÑ Ð¼ÐµÐ¶Ð´Ñ ÑÐ¾Ð±Ð¾Ð¹
Ð´Ð¾ÐºÑÐ¼ÐµÐ½ÑÐ¾Ð²? Ð¢Ð¾ ÐµÑÑÑ Ð½Ð°Ð¿ÑÐ¸Ð¼ÐµÑ Ð·ÐµÑÐºÐ°Ð»Ð¾Ð¼ ÑÐ°Ð¹ÑÐ°? Archive Team Ð¸ÑÐ¿Ð¾Ð»ÑÐ·ÑÑÑ ISO
ÑÑÐ°Ð½Ð´Ð°ÑÑ Ð´Ðµ-ÑÐ°ÐºÑÐ¾ Ð´Ð»Ñ Ð°ÑÑÐ¸Ð²Ð¸ÑÐ¾Ð²Ð°Ð½Ð¸Ñ Web-Ð°: WARC (Web ARChive) ÑÐ¾ÑÐ¼Ð°Ñ. ÐÐ½
Ð¾ÑÐµÐ½Ñ Ð¿ÑÐ¾ÑÑÐ¾Ð¹ Ð¸ Ð´Ð°Ð¶Ðµ ÑÐ¸ÑÐ°ÐµÑÑÑ Ð³Ð»Ð°Ð·Ð°Ð¼Ð¸: HTTP-like WARC Ð·Ð°Ð³Ð¾Ð»Ð¾Ð²Ð¾Ðº, Ð°
Ð´Ð°Ð»ÑÑÐµ ÑÐºÐ¾Ð½ÐºÐ°ÑÐµÐ½Ð¸ÑÐ¾Ð²Ð°Ð½Ð½ÑÐµ Ð¿Ð¾ÑÐ»ÐµÐ´Ð¾Ð²Ð°ÑÐµÐ»ÑÐ½Ð¾ÑÑÐ¸ HTTP Ð·Ð°Ð¿ÑÐ¾ÑÐ°/Ð¾ÑÐ²ÐµÑÐ°. Ð¡
Ð½ÐµÐºÐ¾ÑÐ¾ÑÐ¾Ð¹ Ð²ÐµÑÑÐ¸Ð¸ Ð´Ð°Ð¶Ðµ GNU Wget ÑÑÐ°Ð» Ð² ÑÐ¾ÑÑÐ¾ÑÐ½Ð¸Ð¸ Ð´ÐµÐ»Ð°ÑÑ Ð¿Ð¾Ð´Ð¾Ð±Ð½ÑÐµ ÑÐ°Ð¹Ð»Ñ.

Ð¢Ð¾ ÐµÑÑÑ ÑÑÐ°Ð½Ð´Ð°ÑÑ, Ð²Ð¿Ð¾Ð»Ð½Ðµ ÑÐµÐ±Ðµ Ð½ÐµÐ¿Ð»Ð¾ÑÐ¾Ð¹, ÑÐ¶Ðµ Ð´Ð°Ð¶Ðµ Ð´Ðµ-ÑÐ°ÐºÑÐ¾ Ð´Ð»Ñ
Ð¿ÐµÑÐ°Ð±Ð°Ð¹ÑÐ½ÑÑ Ð¾Ð±ÑÑÐ¼Ð¾Ð² (archive.org), Ð¸Ð¼ÐµÐµÑÑÑ. ÐÐ±ÑÑÐ½ÑÐµ GNU Wget-Ñ Ð¾ÑÐ»Ð¸ÑÐ½Ð¾
ÑÐ¼ÐµÑÑ Ð´ÐµÐ»Ð°ÑÑ Ð·ÐµÑÐºÐ°Ð»Ð° ÑÐ°Ð¹ÑÐ¾Ð² Ð² Ð¿Ð¾Ð´Ð¾Ð±Ð½Ð¾Ð¼ Ð²ÑÐ²Ð¾Ð´Ðµ.

Ð Ð²Ð¾Ñ Ð´Ð»Ñ Ð¿ÑÐ¾ÑÐ¼Ð¾ÑÑÐ° Ñ Ð¾ÑÐºÐ¾Ð¿Ð°Ð» Ð¿Ð¾ÐºÐ° ÑÐ¾Ð»ÑÐºÐ¾ warc-proxy: https://github.com/alard/warc-proxy
Ð­ÑÐ¾ Python HTTP-proxy Ð½Ð°Ð¿Ð¸ÑÐ°Ð½Ð½ÑÐ¹ Ð½Ð° Tornado Ñ Ð¸Ð½ÑÐµÑÑÐµÐ¹ÑÐ¾Ð¼ ÑÑÐµÐ±ÑÑÑÐ¸Ð¼
JavaScript. ÐÑÑ Ð¿ÐµÑÐµÑÐ¸ÑÐ»ÐµÐ½Ð½Ð¾Ðµ Ð¼Ð½Ðµ Ð² Ð½ÑÐ¼ Ð¸ Ð½Ðµ Ð½ÑÐ°Ð²Ð¸ÑÑÑ, ÑÐ¾ÑÑ Ð² ÑÐµÐ»Ð¾Ð¼ Ð¾Ð½Ð¾
ÑÐ°Ð±Ð¾ÑÐ°ÐµÑ. ÐÐ¾Ð·ÑÐ¼ÑÑÑ Ð¿ÐµÑÐµÐ¿Ð¸ÑÐ°ÑÑ ÑÑÐ¾ ÐºÐ°Ðº-Ð½Ð¸Ð±ÑÐ´Ñ Ð¿Ð¾ÐºÑÐ°ÑÐ¸Ð²ÑÐµ Ð½Ð° Go.

WARC ÐºÑÐ´Ð° ÑÐ´Ð¾Ð±Ð½ÐµÐµ ÑÐµÐ¼ Ð½ÐµÐ¿Ð¾Ð½ÑÑÐ½Ð¾ ÐºÐ°Ðº ÑÐ¾Ð·Ð´Ð°Ð½Ð½ÑÐµ/ÑÐ¾ÑÑÐ°Ð½ÑÐ½Ð½ÑÐµ Ð´Ð¸ÑÐµÐºÑÐ¾ÑÐ¸Ð¸ Ñ
HTML/whatever Ð´Ð¾ÐºÑÐ¼ÐµÐ½ÑÐ°Ð¼Ð¸ Ð² Ð°ÑÑÐ¸Ð²Ðµ. Ð ÑÑÑ Ð¾Ð´Ð¸Ð½ ÑÐ°Ð¹Ð»Ð¸Ðº Ð²Ð½ÑÑÑÐ¸ ÐºÐ¾ÑÐ¾ÑÐ¾Ð³Ð¾
Ð¿ÑÑÐ¼ ÑÐ°ÐºÑÐ¸ÑÐµÑÐºÐ¸ ÑÐ¾ÑÑÐ°Ð½ÑÐ½Ð½ÑÐµ HTTP-ÑÐµÑÑÐ¸Ð¸.
-- 
2.50.0