]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/WwwText.pm
config: lazy-load coderepos, support extindex
[public-inbox.git] / lib / PublicInbox / WwwText.pm
index 2008ba0928decaba609dadbd8e67515cea2678fa..76a95a6b640c879083b5010458a803dee4f815a7 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (C) 2016-2020 all contributors <meta@public-inbox.org>
+# Copyright (C) 2016-2021 all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 
 # used for displaying help texts and other non-mail content
@@ -10,6 +10,7 @@ use PublicInbox::Linkify;
 use PublicInbox::WwwStream;
 use PublicInbox::Hval qw(ascii_html);
 use URI::Escape qw(uri_escape_utf8);
+use PublicInbox::GzipFilter qw(gzf_maybe);
 our $QP_URL = 'https://xapian.org/docs/queryparser.html';
 our $WIKI_URL = 'https://en.wikipedia.org/wiki';
 my $hl = eval {
@@ -35,14 +36,20 @@ sub get_text {
                $code = 404;
                $txt = "404 Not Found ($key)\n";
        }
+       my $env = $ctx->{env};
        if ($raw) {
+               if ($code == 200) {
+                       my $gzf = gzf_maybe($hdr, $env);
+                       $txt = $gzf->translate($txt);
+                       $txt .= $gzf->zflush;
+               }
                $hdr->[3] = bytes::length($txt);
                return [ $code, $hdr, [ $txt ] ]
        }
 
        # enforce trailing slash for "wget -r" compatibility
        if (!$have_tslash && $code == 200) {
-               my $url = $ctx->{-inbox}->base_url($ctx->{env});
+               my $url = $ctx->{ibx}->base_url($env);
                $url .= "_/text/$key/";
 
                return [ 302, [ 'Content-Type', 'text/plain',
@@ -53,25 +60,18 @@ sub get_text {
        # Follow git commit message conventions,
        # first line is the Subject/title
        my ($title) = ($txt =~ /\A([^\n]*)/s);
-       $ctx->{txt} = \$txt;
        $ctx->{-title_html} = ascii_html($title);
        my $nslash = ($key =~ tr!/!/!);
        $ctx->{-upfx} = '../../../' . ('../' x $nslash);
-       PublicInbox::WwwStream->response($ctx, $code, \&_do_linkify);
-}
-
-sub _do_linkify {
-       my ($nr, $ctx) = @_;
-       return unless $nr == 1;
        my $l = PublicInbox::Linkify->new;
-       my $txt = delete $ctx->{txt};
-       $l->linkify_1($$txt);
+       $l->linkify_1($txt);
        if ($hl) {
-               $hl->do_hl_text($txt);
+               $hl->do_hl_text(\$txt);
        } else {
-               $$txt = ascii_html($$txt);
+               $txt = ascii_html($txt);
        }
-       '<pre>' . $l->linkify_2($$txt) . '</pre>';
+       $txt = '<pre>' . $l->linkify_2($txt) . '</pre>';
+       PublicInbox::WwwStream::html_oneshot($ctx, $code, \$txt);
 }
 
 sub _srch_prefix ($$) {
@@ -100,7 +100,7 @@ sub _srch_prefix ($$) {
 
 sub _colors_help ($$) {
        my ($ctx, $txt) = @_;
-       my $ibx = $ctx->{-inbox};
+       my $ibx = $ctx->{ibx};
        my $env = $ctx->{env};
        my $base_url = $ibx->base_url($env);
        $$txt .= "color customization for $base_url\n";
@@ -135,28 +135,29 @@ sub URI_PATH () { '^A-Za-z0-9\-\._~/' }
 # n.b. this is a perfect candidate for memoization
 sub inbox_config ($$$) {
        my ($ctx, $hdr, $txt) = @_;
-       my $ibx = $ctx->{-inbox};
+       my $ibx = $ctx->{ibx};
        push @$hdr, 'Content-Disposition', 'inline; filename=inbox.config';
        my $name = dq_escape($ibx->{name});
        my $inboxdir = '/path/to/top-level-inbox';
+       my $base_url = $ibx->base_url($ctx->{env});
        $$txt .= <<EOS;
-; example public-inbox config snippet for "$name"
-; see public-inbox-config(5) manpage for more details:
+; Example public-inbox config snippet for a mirror of
+; $base_url
+; See public-inbox-config(5) manpage for more details:
 ; https://public-inbox.org/public-inbox-config.html
 [publicinbox "$name"]
        inboxdir = $inboxdir
-       ; note: public-inbox before v1.2.0 used "mainrepo"
-       ; instead of "inboxdir", both remain supported after 1.2
+       ; note: public-inbox before v1.2.0 used `mainrepo' instead of
+       ; `inboxdir', both remain supported after 1.2
        mainrepo = $inboxdir
        url = https://example.com/$name/
        url = http://example.onion/$name/
 EOS
-       for my $k (qw(address listid infourl)) {
+       for my $k (qw(address listid infourl watchheader)) {
                defined(my $v = $ibx->{$k}) or next;
                $$txt .= "\t$k = $_\n" for @$v;
        }
        if (my $altid = $ibx->{altid}) {
-               my $base_url = $ibx->base_url($ctx->{env});
                my $altid_map = $ibx->altid_map;
                $$txt .= <<EOF;
        ; altid DBs may be used to provide numeric article ID lookup from
@@ -164,14 +165,14 @@ EOS
        ; gzip(1), and sqlite3(1) as documented:
 EOF
                for (sort keys %$altid_map) {
-                       $$txt .= "\t;\tcurl -XPOST $base_url$_.sql.gz | \\\n" .
+                       $$txt .= "\t;\tcurl -d '' $base_url$_.sql.gz | \\\n" .
                                "\t;\tgzip -dc | \\\n" .
                                "\t;\tsqlite3 $inboxdir/$_.sqlite3\n";
                        $$txt .= "\taltid = serial:$_:file=$_.sqlite3\n";
                }
        }
 
-       for my $k (qw(filter newsgroup obfuscate replyto watchheader)) {
+       for my $k (qw(filter newsgroup obfuscate replyto)) {
                defined(my $v = $ibx->{$k}) or next;
                $$txt .= "\t$k = $v\n";
        }
@@ -181,10 +182,16 @@ EOF
        # and drop the original structure
        if (defined(my $cr = $ibx->{coderepo})) {
                $$txt .= "\tcoderepo = $_\n" for @$cr;
+               $$txt .= <<'EOF';
 
-               my $pi_config = $ctx->{www}->{pi_config};
+; `coderepo' entries allows blob reconstruction via patch emails if
+; the inbox is indexed with Xapian.  `@@ <from-range> <to-range> @@'
+; line number ranges in `[PATCH]' emails link to /$INBOX_NAME/$OID/s/,
+; an HTTP endpoint which reconstructs git blobs via git-apply(1).
+EOF
+               my $pi_cfg = $ctx->{www}->{pi_cfg};
                for my $cr_name (@$cr) {
-                       my $urls = $pi_config->{"coderepo.$cr_name.cgiturl"};
+                       my $urls = $pi_cfg->get_all("coderepo.$cr_name.cgiturl");
                        my $path = "/path/to/$cr_name";
                        $cr_name = dq_escape($cr_name);
 
@@ -192,11 +199,11 @@ EOF
                        if ($urls && scalar(@$urls)) {
                                $$txt .= "\t; ";
                                $$txt .= join(" ||\n\t;\t", map {;
-                                       my $cpath = $path;
+                                       my $dst = $path;
                                        if ($path !~ m![a-z0-9_/\.\-]!i) {
-                                               $cpath = dq_escape($cpath);
+                                               $dst = '"'.dq_escape($dst).'"';
                                        }
-                                       qq(git clone $_ "$cpath");
+                                       qq(git clone $_ $dst);
                                } @$urls);
                                $$txt .= "\n";
                        }
@@ -214,7 +221,7 @@ sub _default_text ($$$$) {
        return inbox_config($ctx, $hdr, $txt) if $key eq 'config';
        return if $key ne 'help'; # TODO more keys?
 
-       my $ibx = $ctx->{-inbox};
+       my $ibx = $ctx->{ibx};
        my $base_url = $ibx->base_url($ctx->{env});
        $$txt .= "public-inbox help for $base_url\n";
        $$txt .= <<EOF;
@@ -243,7 +250,7 @@ EOF
 
        # n.b. we use the Xapian DB for any regeneratable,
        # order-of-arrival-independent data.
-       my $srch = $ibx->search;
+       my $srch = $ibx->isrch;
        if ($srch) {
                $$txt .= <<EOF;
 search
@@ -331,6 +338,7 @@ contact
 
     This help text is maintained by public-inbox developers
     reachable via plain-text email at: meta\@public-inbox.org
+    Their inbox is archived at: https://public-inbox.org/meta/
 
 EOF
        # TODO: support admin contact info in ~/.public-inbox/config