]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/WwwAtomStream.pm
wwwatomstream: simplify feed_update callers
[public-inbox.git] / lib / PublicInbox / WwwAtomStream.pm
index 38eba2a044832b93c8d55672a92151c24a59da57..c494fa22679add475dd98f7d698ead5a8c98a30d 100644 (file)
@@ -1,7 +1,10 @@
-# Copyright (C) 2016-2018 all contributors <meta@public-inbox.org>
+# Copyright (C) 2016-2020 all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Atom body stream for which yields getline+close methods
+# public-inbox-httpd favors "getline" response bodies to take a
+# "pull"-based approach to feeding slow clients (as opposed to a
+# more common "push" model)
 package PublicInbox::WwwAtomStream;
 use strict;
 use warnings;
@@ -9,34 +12,43 @@ use warnings;
 use POSIX qw(strftime);
 use Digest::SHA qw(sha1_hex);
 use PublicInbox::Address;
-use PublicInbox::Hval qw(ascii_html);
-use PublicInbox::MID qw/mid_clean mid_escape/;
+use PublicInbox::Hval qw(ascii_html mid_href);
 use PublicInbox::MsgTime qw(msg_timestamp);
+use PublicInbox::GzipFilter qw(gzf_maybe);
 
 # called by PSGI server after getline:
 sub close {}
 
 sub new {
        my ($class, $ctx, $cb) = @_;
-       $ctx->{emit_header} = 1;
        $ctx->{feed_base_url} = $ctx->{-inbox}->base_url($ctx->{env});
-       bless { cb => $cb || *close, ctx => $ctx }, $class;
+       bless { cb => $cb || \&close, ctx => $ctx, emit_header => 1 }, $class;
 }
 
 sub response {
        my ($class, $ctx, $code, $cb) = @_;
-       [ $code, [ 'Content-Type', 'application/atom+xml' ],
-         $class->new($ctx, $cb) ]
+       my $h = [ 'Content-Type' => 'application/atom+xml' ];
+       my $self = $class->new($ctx, $cb);
+       $self->{gzf} = gzf_maybe($h, $ctx->{env});
+       [ $code, $h, $self ]
 }
 
 # called once for each message by PSGI server
 sub getline {
        my ($self) = @_;
-       if (my $middle = $self->{cb}) {
-               my $smsg = $middle->();
-               return feed_entry($self, $smsg) if $smsg;
-       }
-       delete $self->{cb} ? '</feed>' : undef;
+       my $buf = do {
+               if (my $middle = $self->{cb}) {
+                       my $smsg = $middle->($self->{ctx});
+                       feed_entry($self, $smsg) if $smsg;
+               }
+       } // (delete($self->{cb}) ? '</feed>' : undef);
+
+       # gzf may be GzipFilter, `undef' or `0'
+       my $gzf = $self->{gzf} or return $buf;
+
+       return $gzf->translate($buf) if defined $buf;
+       $self->{gzf} = 0; # next call to ->getline returns $buf (== undef)
+       $gzf->translate(undef);
 }
 
 # private
@@ -50,6 +62,15 @@ sub title_tag {
        "<title$type>$title</title>";
 }
 
+sub to_uuid ($) {
+       my ($any) = @_;
+       utf8::encode($any); # really screwed up In-Reply-To fields exist
+       $any = sha1_hex($any);
+       my $h = '[a-f0-9]';
+       my (@uuid5) = ($any =~ m!\A($h{8})($h{4})($h{4})($h{4})($h{12})!o);
+       'urn:uuid:' . join('-', @uuid5);
+}
+
 sub atom_header {
        my ($ctx, $title) = @_;
        my $ibx = $ctx->{-inbox};
@@ -57,18 +78,22 @@ sub atom_header {
        my $search_q = $ctx->{search_query};
        my $self_url = $base_url;
        my $mid = $ctx->{mid};
+       my $page_id;
        if (defined $mid) { # per-thread
-               $self_url .= mid_escape($mid).'/t.atom';
+               $self_url .= mid_href($mid).'/t.atom';
+               $page_id = to_uuid("t\n".$mid)
        } elsif (defined $search_q) {
                my $query = $search_q->{'q'};
                $title = title_tag("$query - search results");
                $base_url .= '?' . $search_q->qs_html(x => undef);
                $self_url .= '?' . $search_q->qs_html;
+               $page_id = to_uuid("q\n".$query);
        } else {
                $title = title_tag($ibx->description);
                $self_url .= 'new.atom';
+               $page_id = "mailto:$ibx->{-primary_address}";
        }
-       my $mtime = (stat($ibx->{mainrepo}))[9] || time;
+       my $mtime = (stat($ibx->{inboxdir}))[9] || time;
 
        qq(<?xml version="1.0" encoding="us-ascii"?>\n) .
        qq(<feed\nxmlns="http://www.w3.org/2005/Atom"\n) .
@@ -77,41 +102,30 @@ sub atom_header {
        qq(<link\nrel="alternate"\ntype="text/html") .
                qq(\nhref="$base_url"/>) .
        qq(<link\nrel="self"\nhref="$self_url"/>) .
-       qq(<id>mailto:$ibx->{-primary_address}</id>) .
-       feed_updated(gmtime($mtime));
-}
-
-sub mid2uuid ($) {
-       my ($mid) = @_;
-       utf8::encode($mid); # really screwed up In-Reply-To fields exist
-       $mid = sha1_hex($mid);
-       my $h = '[a-f0-9]';
-       my (@uuid5) = ($mid =~ m!\A($h{8})($h{4})($h{4})($h{4})($h{12})!o);
-       'urn:uuid:' . join('-', @uuid5);
+       qq(<id>$page_id</id>) .
+       feed_updated($mtime);
 }
 
 # returns undef or string
 sub feed_entry {
        my ($self, $smsg) = @_;
        my $ctx = $self->{ctx};
-       my $mime = $smsg->{mime};
-       my $hdr = $mime->header_obj;
-       my $mid = $smsg->mid;
+       my $eml = $ctx->{-inbox}->smsg_eml($smsg) or return '';
+       my $hdr = $eml->header_obj;
+       my $mid = $smsg->{mid};
        my $irt = PublicInbox::View::in_reply_to($hdr);
-       my $uuid = mid2uuid($mid);
+       my $uuid = to_uuid($mid);
        my $base = $ctx->{feed_base_url};
        if (defined $irt) {
-               my $irt_uuid = mid2uuid($irt);
-               $irt = mid_escape($irt);
+               my $irt_uuid = to_uuid($irt);
+               $irt = mid_href($irt);
                $irt = qq(<thr:in-reply-to\nref="$irt_uuid"\n).
                        qq(href="$base$irt/"/>);
        } else {
                $irt = '';
        }
-       my $href = $base . mid_escape($mid) . '/';
-       my $t = msg_timestamp($hdr);
-       my @t = gmtime(defined $t ? $t : time);
-       my $updated = feed_updated(@t);
+       my $href = $base . mid_href($mid) . '/';
+       my $updated = feed_updated(msg_timestamp($hdr));
 
        my $title = $hdr->header('Subject');
        $title = '(no subject)' unless defined $title && $title ne '';
@@ -124,7 +138,7 @@ sub feed_entry {
        $email = ascii_html($email);
 
        my $s = '';
-       if (delete $ctx->{emit_header}) {
+       if (delete $self->{emit_header}) {
                $s .= atom_header($ctx, $title);
        }
        $s .= "<entry><author><name>$name</name><email>$email</email>" .
@@ -133,13 +147,16 @@ sub feed_entry {
                "<id>$uuid</id>$irt" .
                qq{<content\ntype="xhtml">} .
                qq{<div\nxmlns="http://www.w3.org/1999/xhtml">} .
-               qq(<pre\nstyle="white-space:pre-wrap">) .
-               PublicInbox::View::multipart_text_as_html($mime, $href) .
-               '</pre></div></content></entry>';
+               qq(<pre\nstyle="white-space:pre-wrap">);
+       $ctx->{obuf} = \$s;
+       $ctx->{mhref} = $href;
+       PublicInbox::View::multipart_text_as_html($eml, $ctx);
+       delete $ctx->{obuf};
+       $s .= '</pre></div></content></entry>';
 }
 
 sub feed_updated {
-       '<updated>' . strftime('%Y-%m-%dT%H:%M:%SZ', @_) . '</updated>';
+       '<updated>' . strftime('%Y-%m-%dT%H:%M:%SZ', gmtime(@_)) . '</updated>';
 }
 
 1;