]> Sergey Matveev's repositories - public-inbox.git/commitdiff
view: introduce WwwStream interface
authorEric Wong <e@80x24.org>
Fri, 17 Jun 2016 21:32:59 +0000 (21:32 +0000)
committerEric Wong <e@80x24.org>
Sat, 18 Jun 2016 00:22:22 +0000 (00:22 +0000)
This will allow us to commonalize HTML generation in the future
and is the start of moving existing HTML generation to a "pull"
streaming model (from the existing "push" one).

Using the getline/close pull model is superior to the existing
$fh->write streaming as it allows us to throttle response
generation based on backpressure from slow clients.

lib/PublicInbox/View.pm
lib/PublicInbox/WwwStream.pm [new file with mode: 0644]
t/view.t

index 534f85ef9b8110ca86e992d18118be2499786309..e7e387d3069f0f5f04daf1873b6bd09ec40fa7c0 100644 (file)
@@ -15,6 +15,7 @@ use PublicInbox::Linkify;
 use PublicInbox::MID qw/mid_clean id_compress mid2path mid_mime/;
 use PublicInbox::MsgIter;
 use PublicInbox::Address;
+use PublicInbox::WwwStream;
 require POSIX;
 
 use constant INDENT => '  ';
@@ -22,31 +23,22 @@ use constant TCHILD => '` ';
 sub th_pfx ($) { $_[0] == 0 ? '' : TCHILD };
 
 # public functions: (unstable)
-# TODO: stream this, since threading is expensive but also oh-so-important
 sub msg_html {
        my ($ctx, $mime, $footer) = @_;
-       $footer = defined($footer) ? "\n$footer" : '';
        my $hdr = $mime->header_obj;
-       my $n = 0;
-       Plack::Util::inline_object(
-               close => sub {}, # noop
-               getline => sub {
-                       my $nr = $n++;
-                       if ($nr == 0) {
-                               headers_to_html_header($hdr, $ctx) .
-                                       multipart_text_as_html($mime, '') .
-                                       '</pre><hr />'
-                       } elsif ($nr == 1) {
-                               '<pre>' .
-                                       html_footer($hdr, 1, $ctx) .
-                                       '</pre>' . msg_reply($ctx, $hdr) .
-                                       '<hr /><pre>'.  $footer .
-                                       '</pre></body></html>'
-                       } else {
-                               undef
-                       }
+       my $tip = _msg_html_prepare($hdr, $ctx);
+       PublicInbox::WwwStream->new($ctx, sub {
+               my ($nr, undef) = @_;
+               if ($nr == 1) {
+                       $tip . multipart_text_as_html($mime, '') .
+                               '</pre><hr />'
+               } elsif ($nr == 2) {
+                       '<pre>' . html_footer($hdr, 1, $ctx) .
+                       '</pre>' . msg_reply($ctx, $hdr) . '<hr />'
+               } else {
+                       undef
                }
-       )
+       });
 }
 
 # /$INBOX/$MESSAGE_ID/#R
@@ -318,18 +310,15 @@ sub add_text_body {
        $s;
 }
 
-sub headers_to_html_header {
+sub _msg_html_prepare {
        my ($hdr, $ctx) = @_;
        my $srch = $ctx->{srch} if $ctx;
        my $atom = '';
-       my $rv = '';
-       my $upfx = '';
+       my $rv = "<pre\nid=b>"; # anchor for body start
 
        if ($srch) {
-               $atom = qq{<link\nrel=alternate\ntitle="Atom feed"\n} .
-                       qq!href="${upfx}t.atom"\ntype="application/atom+xml"/>!;
+               $ctx->{-upfx} = '../';
        }
-
        my @title;
        my $mid = $hdr->header_raw('Message-ID');
        $mid = PublicInbox::Hval->new_msgid($mid);
@@ -352,15 +341,11 @@ sub headers_to_html_header {
                $rv .= "$h: " . $v->as_html . "\n";
 
        }
+       $ctx->{-title_html} = join(' - ', @title);
        $rv .= 'Message-ID: &lt;' . $mid->as_html . '&gt; ';
-       $rv .= "(<a\nhref=\"${upfx}raw\">raw</a>)\n";
+       $rv .= "(<a\nhref=\"raw\">raw</a>)\n";
        $rv .= _parent_headers($hdr, $srch);
        $rv .= "\n";
-
-       ("<html><head><title>".  join(' - ', @title) . "</title>$atom".
-        PublicInbox::Hval::STYLE .
-        "</head><body><pre\nid=b>" . # anchor for body start
-        $rv);
 }
 
 sub thread_skel {
diff --git a/lib/PublicInbox/WwwStream.pm b/lib/PublicInbox/WwwStream.pm
new file mode 100644 (file)
index 0000000..62a4fe2
--- /dev/null
@@ -0,0 +1,88 @@
+# Copyright (C) 2016 all contributors <meta@public-inbox.org>
+# License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
+#
+# HTML body stream for which yields getline+close methods
+package PublicInbox::WwwStream;
+use strict;
+use warnings;
+use PublicInbox::Hval qw(ascii_html);
+use URI;
+use constant PI_URL => 'https://public-inbox.org/README.html';
+
+sub new {
+       my ($class, $ctx, $cb) = @_;
+       bless { nr => 0, cb => $cb, ctx => $ctx }, $class;
+}
+
+sub _html_top ($) {
+       my ($self) = @_;
+       my $ctx = $self->{ctx};
+       my $obj = $ctx->{-inbox};
+       my $desc = ascii_html($obj->description);
+       my $title = $ctx->{-title_html} || $desc;
+       my $upfx = $ctx->{-upfx} || '';
+       my $atom = $ctx->{-atom} || $upfx.'new.atom';
+       my $top = "<b>$desc</b> (<a\nhref=\"$atom\">Atom feed</a>)";
+       if ($obj->search) {
+               $top = qq{<form\naction="$upfx"><pre>$top} .
+                         qq{ <input\nname=q\ntype=text />} .
+                         qq{<input\ntype=submit\nvalue=search />} .
+                         q{</pre></form>}
+       } else {
+               $top = '<pre>' . $top . '</pre>';
+       }
+       "<html><head><title>$title</title>" .
+               "<link\nrel=alternate\ntitle=\"Atom feed\"\n".
+               "href=\"$atom\"\ntype=\"application/atom+xml\"/>" .
+               PublicInbox::Hval::STYLE .
+               "</head><body>$top";
+}
+
+sub _html_end {
+       my ($self) = @_;
+       my $urls = 'Archives are clone-able:';
+       my $ctx = $self->{ctx};
+       my $obj = $ctx->{-inbox};
+       my $desc = ascii_html($obj->description);
+       my @urls = @{$obj->cloneurl};
+       my %seen = map { $_ => 1 } @urls;
+
+       # FIXME: cleanup
+       my $env = $ctx->{env};
+       my $scheme = $env->{'psgi.url_scheme'};
+       my $host_port = $env->{HTTP_HOST} ||
+                       "$env->{SERVER_NAME}:$env->{SERVER_PORT}";
+       my $http = "$scheme://$host_port".($env->{SCRIPT_NAME} || '/');
+       $http = URI->new($http . $obj->{name})->canonical->as_string;
+       $seen{$http} or unshift @urls, $http;
+       if (scalar(@urls) == 1) {
+               $urls .= " git clone --mirror $urls[0]";
+       } else {
+               $urls .= "\n" .
+                       join("\n", map { "\tgit clone --mirror $_" } @urls);
+       }
+       my $url = PublicInbox::Hval::prurl($ctx->{env}, PI_URL);
+       '<pre>'.join("\n",
+               '- ' . $desc,
+               $urls,
+               'served with software from public-inbox: '
+                       ."<a\nhref=\"$url\">$url</a>",
+       ).'</pre></body></html>';
+}
+
+sub getline {
+       my ($self) = @_;
+       my $nr = $self->{nr}++;
+
+       return _html_top($self) if $nr == 0;
+
+       if (my $mid = $self->{cb}) { # middle
+               $mid = $mid->($nr, $self->{ctx}) and return $mid;
+       }
+
+       delete $self->{cb} ? _html_end($self) : undef;
+}
+
+sub close {}
+
+1;
index 6c0859915e89c9ae2d1384d69c2bd35a5c8d5ed0..4ce3c7739018ddf3f5d060471043d729320ef55c 100644 (file)
--- a/t/view.t
+++ b/t/view.t
@@ -5,12 +5,24 @@ use warnings;
 use Test::More;
 use Email::MIME;
 use PublicInbox::View;
+use Plack::Util;
+
+# FIXME: make this test less fragile
+my $ctx = {
+       env => { HTTP_HOST => 'example.com', 'psgi.url_scheme' => 'http' },
+       -inbox => Plack::Util::inline_object(
+               name => 'test',
+               search => sub { undef },
+               cloneurl => sub {[]},
+               description => sub { '' }),
+};
+$ctx->{-inbox}->{-primary_address} = 'test@example.com';
 
 sub msg_html ($) {
        my ($mime) = @_;
 
        my $s = '';
-       my $body = PublicInbox::View::msg_html(undef, $mime);
+       my $body = PublicInbox::View::msg_html($ctx, $mime);
        while (defined(my $buf = $body->getline)) {
                $s .= $buf;
        }