]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/WWW.pm
No ext_urls
[public-inbox.git] / lib / PublicInbox / WWW.pm
index 500021d422698eef27c41fea84065453d0eaec43..9ffcb879d9ef5be1c17f199a351bb5906ab5bedc 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (C) 2014-2021 all contributors <meta@public-inbox.org>
+# Copyright (C) all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Main web interface for mailing list archives
 # - Must not rely on static content
 # - UTF-8 is only for user-content, 7-bit US-ASCII for us
 package PublicInbox::WWW;
-use 5.010_001;
 use strict;
-use warnings;
-use bytes (); # only for bytes::length
+use v5.10.1;
 use PublicInbox::Config;
 use PublicInbox::Hval;
 use URI::Escape qw(uri_unescape);
@@ -25,9 +23,9 @@ use PublicInbox::WwwStatic qw(r path_info_raw);
 use PublicInbox::Eml;
 
 # TODO: consider a routing tree now that we have more endpoints:
-our $INBOX_RE = qr!\A/([\w\-][\w\.\-]*)!;
+our $INBOX_RE = qr!\A/([\w\-][\w\.\-\+]*)!;
 our $MID_RE = qr!([^/]+)!;
-our $END_RE = qr!(T/|t/|t\.mbox(?:\.gz)?|t\.atom|raw|)!;
+our $END_RE = qr!(T/|t/|d/|t\.mbox(?:\.gz)?|t\.atom|raw|)!;
 our $ATTACH_RE = qr!([0-9][0-9\.]*)-($PublicInbox::Hval::FN)!;
 our $OID_RE = qr![a-f0-9]{7,}!;
 
@@ -50,10 +48,9 @@ sub call {
        %{$ctx->{qp}} = map {
                utf8::decode($_);
                tr/+/ /;
-               my ($k, $v) = split('=', $_, 2);
-               $v = uri_unescape($v // '');
+               my ($k, $v) = split(/=/, $_, 2);
                # none of the keys we care about will need escaping
-               $k => $v;
+               ($k // '', uri_unescape($v // ''))
        } split(/[&;]+/, $env->{QUERY_STRING});
 
        my $path_info = path_info_raw($env);
@@ -67,6 +64,10 @@ sub call {
                                serve_git($ctx, $epoch, $path);
                } elsif ($path_info =~ m!$INBOX_RE/(\w+)\.sql\.gz\z!o) {
                        return get_altid_dump($ctx, $1, $2);
+               } elsif ($path_info =~ m!$INBOX_RE/$MID_RE/$ATTACH_RE\z!o) {
+                       my ($idx, $fn) = ($3, $4);
+                       return invalid_inbox_mid($ctx, $1, $2) ||
+                               get_attach($ctx, $idx, $fn);
                } elsif ($path_info =~ m!$INBOX_RE/!o) {
                        return invalid_inbox($ctx, $1) || mbox_results($ctx);
                }
@@ -134,7 +135,8 @@ sub call {
        # convenience redirects order matters
        } elsif ($path_info =~ m!$INBOX_RE/([^/]{2,})\z!o) {
                r301($ctx, $1, $2);
-
+       } elsif ($path_info =~ m!\A/\+/([a-zA-Z0-9_\-\.]+)\.css\z!) {
+               get_css($ctx, undef, $1); # for WwwListing
        } else {
                legacy_redirects($ctx, $path_info);
        }
@@ -172,21 +174,13 @@ sub preload {
                if (defined($pi_cfg->{'publicinbox.cgitrc'})) {
                        $pi_cfg->limiter('-cgit');
                }
+               $pi_cfg->ALL and require PublicInbox::Isearch;
                $self->cgit;
                $self->stylesheets_prepare($_) for ('', '../', '../../');
                $self->news_www;
-               $pi_cfg->each_inbox(\&preload_inbox);
        }
 }
 
-sub preload_inbox {
-       my $ibx = shift;
-       $ibx->altid_map;
-       $ibx->cloneurl;
-       $ibx->description;
-       $ibx->base_url;
-}
-
 # private functions below
 
 sub r404 {
@@ -200,10 +194,20 @@ sub r404 {
 
 sub news_cgit_fallback ($) {
        my ($ctx) = @_;
-       my $www = $ctx->{www};
-       my $env = $ctx->{env};
-       my $res = $www->news_www->call($env);
-       $res->[0] == 404 ? $www->cgit->call($env) : $res;
+       my $res = $ctx->{www}->news_www->call($ctx->{env});
+
+       $res->[0] == 404 and ($ctx->{www}->{cgit_fallback} //= do {
+               my $c = $ctx->{www}->{pi_cfg}->{'publicinbox.cgit'} // 'first';
+               $c ne 'first' # `fallback' and `rewrite' => true
+       } // 0) and $res = $ctx->{www}->coderepo->srv($ctx);
+
+       ref($res) eq 'ARRAY' && $res->[0] == 404 and
+               $res = $ctx->{www}->cgit->call($ctx->{env}, $ctx);
+
+       ref($res) eq 'ARRAY' && $res->[0] == 404 &&
+                       !$ctx->{www}->{cgit_fallback} and
+               $res = $ctx->{www}->coderepo->srv($ctx);
+       $res;
 }
 
 # returns undef if valid, array ref response if invalid
@@ -272,7 +276,7 @@ sub get_index {
 sub get_mid_txt {
        my ($ctx) = @_;
        require PublicInbox::Mbox;
-       PublicInbox::Mbox::emit_raw($ctx) || r404($ctx);
+       PublicInbox::Mbox::emit_raw($ctx) || r(404);
 }
 
 # /$INBOX/$MESSAGE_ID/                   -> HTML content (short quotes)
@@ -310,6 +314,7 @@ sub get_vcs_object ($$$;$) {
        my ($ctx, $inbox, $oid, $filename) = @_;
        my $r404 = invalid_inbox($ctx, $inbox);
        return $r404 if $r404;
+       return r(404) if !$ctx->{www}->{pi_cfg}->repo_objs($ctx->{ibx});
        require PublicInbox::ViewVCS;
        PublicInbox::ViewVCS::show($ctx, $oid, $filename);
 }
@@ -325,7 +330,7 @@ sub get_altid_dump {
 sub need {
        my ($ctx, $extra) = @_;
        require PublicInbox::WwwStream;
-       PublicInbox::WwwStream::html_oneshot($ctx, 501, \<<EOF);
+       PublicInbox::WwwStream::html_oneshot($ctx, 501, <<EOF);
 <pre>$extra is not available for this public-inbox
 <a\nhref="../">Return to index</a></pre>
 EOF
@@ -447,6 +452,10 @@ sub msg_page {
 
        # legacy, but no redirect for compatibility:
        'f/' eq $e and return get_mid_html($ctx);
+       if ($e eq 'd/') {
+               require PublicInbox::View;
+               return PublicInbox::View::diff_msg($ctx);
+       }
        r404($ctx);
 }
 
@@ -478,7 +487,7 @@ sub serve_mbox_range {
 
 sub news_www {
        my ($self) = @_;
-       $self->{news_www} ||= do {
+       $self->{news_www} //= do {
                require PublicInbox::NewsWWW;
                PublicInbox::NewsWWW->new($self->{pi_cfg});
        }
@@ -486,16 +495,21 @@ sub news_www {
 
 sub cgit {
        my ($self) = @_;
-       $self->{cgit} ||= do {
-               my $pi_cfg = $self->{pi_cfg};
-
-               if (defined($pi_cfg->{'publicinbox.cgitrc'})) {
+       $self->{cgit} //=
+               (defined($self->{pi_cfg}->{'publicinbox.cgitrc'}) ? do {
                        require PublicInbox::Cgit;
-                       PublicInbox::Cgit->new($pi_cfg);
-               } else {
+                       PublicInbox::Cgit->new($self->{pi_cfg});
+               } : undef) // do {
                        require Plack::Util;
                        Plack::Util::inline_object(call => sub { r404() });
-               }
+               };
+}
+
+sub coderepo {
+       my ($self) = @_;
+       $self->{coderepo} //= do {
+               require PublicInbox::WwwCoderepo;
+               PublicInbox::WwwCoderepo->new($self->{pi_cfg});
        }
 }
 
@@ -628,24 +642,25 @@ sub style {
        };
 }
 
-# /$INBOX/$KEY.css endpoint
+# /$INBOX/$KEY.css and /+/$KEY.css endpoints
 # CSS is configured globally for all inboxes, but we access them on
 # a per-inbox basis.  This allows administrators to setup per-inbox
 # static routes to intercept the request before it hits PSGI
+# inbox == undef => top-level WwwListing
 sub get_css ($$$) {
        my ($ctx, $inbox, $key) = @_;
-       my $r404 = invalid_inbox($ctx, $inbox);
+       my $r404 = defined($inbox) ? invalid_inbox($ctx, $inbox) : undef;
        return $r404 if $r404;
        my $self = $ctx->{www};
-       my $css_map = $self->{-css_map} || stylesheets_prepare($self, '');
+       my $css_map = $self->{-css_map} ||
+               stylesheets_prepare($self, defined($inbox) ? '' : '+/');
        my $css = $css_map->{$key};
-       if (!defined($css) && $key eq 'userContent') {
+       if (!defined($css) && defined($inbox) && $key eq 'userContent') {
                my $env = $ctx->{env};
                $css = PublicInbox::UserContent::sample($ctx->{ibx}, $env);
        }
        defined $css or return r404();
-       my $h = [ 'Content-Length', bytes::length($css),
-               'Content-Type', 'text/css' ];
+       my $h = [ 'Content-Length', length($css), 'Content-Type', 'text/css' ];
        PublicInbox::GitHTTPBackend::cache_one_year($h);
        [ 200, $h, [ $css ] ];
 }
@@ -654,9 +669,19 @@ sub get_description {
        my ($ctx, $inbox) = @_;
        invalid_inbox($ctx, $inbox) || do {
                my $d = $ctx->{ibx}->description . "\n";
-               [ 200, [ 'Content-Length', bytes::length($d),
+               utf8::encode($d);
+               [ 200, [ 'Content-Length', length($d),
                        'Content-Type', 'text/plain' ], [ $d ] ];
        };
 }
 
+sub event_step { # called via requeue
+       my ($self) = @_;
+       # gzf = PublicInbox::GzipFilter == $ctx
+       my $gzf = shift(@{$self->{-low_prio_q}}) // return;
+       PublicInbox::DS::requeue($self) if scalar(@{$self->{-low_prio_q}});
+       my $http = $gzf->{env}->{'psgix.io'}; # PublicInbox::HTTP
+       $http->next_step($gzf->can('async_next'));
+}
+
 1;