]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/WwwAtomStream.pm
gzip_filter: delay async wcb call
[public-inbox.git] / lib / PublicInbox / WwwAtomStream.pm
index 58330922881b92cbe779d5b22b11c79457d0c8fd..82895db6373e85da077048cf2257332fb7e3b025 100644 (file)
-# Copyright (C) 2016-2020 all contributors <meta@public-inbox.org>
+# Copyright (C) 2016-2021 all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
-# Atom body stream for which yields getline+close methods
-# public-inbox-httpd favors "getline" response bodies to take a
-# "pull"-based approach to feeding slow clients (as opposed to a
-# more common "push" model)
+# Atom body stream for HTTP responses
+# See PublicInbox::GzipFilter for details.
 package PublicInbox::WwwAtomStream;
 use strict;
-use warnings;
+use parent 'PublicInbox::GzipFilter';
 
 use POSIX qw(strftime);
 use Digest::SHA qw(sha1_hex);
 use PublicInbox::Address;
 use PublicInbox::Hval qw(ascii_html mid_href);
 use PublicInbox::MsgTime qw(msg_timestamp);
-use PublicInbox::GzipFilter qw(gzf_maybe);
-use PublicInbox::GitAsyncCat;
-
-# called by generic PSGI server after getline,
-# and also by PublicInbox::HTTP::close
-sub close { !!delete($_[0]->{http_out}) }
 
 sub new {
        my ($class, $ctx, $cb) = @_;
-       $ctx->{feed_base_url} = $ctx->{-inbox}->base_url($ctx->{env});
-       $ctx->{cb} = $cb || \&close;
+       $ctx->{feed_base_url} = $ctx->{ibx}->base_url($ctx->{env});
+       $ctx->{cb} = $cb || \&PublicInbox::GzipFilter::close;
        $ctx->{emit_header} = 1;
        bless $ctx, $class;
 }
 
-# called by PublicInbox::DS::write
-sub atom_async_next {
+sub async_next ($) {
        my ($http) = @_; # PublicInbox::HTTP
-       atom_async_step($http->{forward});
-}
-
-# this is public-inbox-httpd-specific
-sub atom_blob_cb { # git->cat_async callback
-       my ($bref, $oid, $type, $size, $ctx) = @_;
-       my $http = $ctx->{env}->{'psgix.io'} or return; # client abort
-       my $smsg = delete $ctx->{smsg} or die 'BUG: no smsg';
-       if (!defined($oid)) {
-               # it's possible to have TOCTOU if an admin runs
-               # public-inbox-(edit|purge), just move onto the next message
-               return $http->next_step(\&atom_async_next);
-       } else {
-               $smsg->{blob} eq $oid or die "BUG: $smsg->{blob} != $oid";
-       }
-       my $buf = feed_entry($ctx, $smsg, PublicInbox::Eml->new($bref));
-       if (my $gzf = $ctx->{gzf}) {
-               $buf = $gzf->translate($buf);
-       }
-       # PublicInbox::HTTP::{Chunked,Identity}::write
-       $ctx->{http_out}->write($buf);
-
-       $http->next_step(\&atom_async_next);
+       my $ctx = $http->{forward} or return;
+       eval {
+               if (my $smsg = $ctx->{smsg} = $ctx->{cb}->($ctx)) {
+                       $ctx->smsg_blob($smsg);
+               } else {
+                       $ctx->write('</feed>');
+                       $ctx->close;
+               }
+       };
+       warn "E: $@" if $@;
 }
 
-sub atom_async_step { # this is public-inbox-httpd-specific
-       my ($ctx) = @_;
-       if (my $smsg = $ctx->{smsg} = $ctx->{cb}->($ctx)) {
-               git_async_cat($ctx->{-inbox}->git, $smsg->{blob},
-                               \&atom_blob_cb, $ctx);
-       } elsif (my $out = delete $ctx->{http_out}) {
-               if (my $gzf = delete $ctx->{gzf}) {
-                       $out->write($gzf->zflush);
-               }
-               $out->close;
-       }
+sub async_eml { # for async_blob_cb
+       my ($ctx, $eml) = @_;
+       my $smsg = delete $ctx->{smsg};
+       $ctx->write(feed_entry($ctx, $smsg, $eml));
 }
 
 sub response {
        my ($class, $ctx, $code, $cb) = @_;
        my $res_hdr = [ 'Content-Type' => 'application/atom+xml' ];
        $class->new($ctx, $cb);
-       $ctx->{gzf} = gzf_maybe($res_hdr, $ctx->{env});
-       if ($ctx->{env}->{'pi-httpd.async'}) {
-               sub {
-                       my ($wcb) = @_; # -httpd provided write callback
-                       $ctx->{http_out} = $wcb->([200, $res_hdr]);
-                       $ctx->{env}->{'psgix.io'}->{forward} = $ctx;
-                       atom_async_step($ctx); # start stepping
-               };
-       } else {
-               [ $code, $res_hdr, $ctx ];
-       }
+       $ctx->psgi_response($code, $res_hdr);
 }
 
 # called once for each message by PSGI server
 sub getline {
        my ($self) = @_;
-       my $buf = do {
-               if (my $middle = $self->{cb}) {
-                       if (my $smsg = $middle->($self)) {
-                               my $eml = $self->{-inbox}->smsg_eml($smsg) or
-                                               return '';
-                               feed_entry($self, $smsg, $eml);
-                       } else {
-                               undef;
-                       }
-               }
-       } // (delete($self->{cb}) ? '</feed>' : undef);
-
-       # gzf may be GzipFilter, `undef' or `0'
-       my $gzf = $self->{gzf} or return $buf;
-
-       return $gzf->translate($buf) if defined $buf;
-       $self->{gzf} = 0; # next call to ->getline returns $buf (== undef)
-       $gzf->translate(undef);
+       my $cb = $self->{cb} or return;
+       while (my $smsg = $cb->($self)) {
+               my $eml = $self->{ibx}->smsg_eml($smsg) or next;
+               return $self->translate(feed_entry($self, $smsg, $eml));
+       }
+       delete $self->{cb};
+       $self->zflush('</feed>');
 }
 
 # private
@@ -132,7 +82,7 @@ sub to_uuid ($) {
 
 sub atom_header {
        my ($ctx, $title) = @_;
-       my $ibx = $ctx->{-inbox};
+       my $ibx = $ctx->{ibx};
        my $base_url = $ctx->{feed_base_url};
        my $search_q = $ctx->{search_query};
        my $self_url = $base_url;
@@ -150,7 +100,11 @@ sub atom_header {
        } else {
                $title = title_tag($ibx->description);
                $self_url .= 'new.atom';
-               $page_id = "mailto:$ibx->{-primary_address}";
+               if (defined(my $addr = $ibx->{-primary_address})) {
+                       $page_id = "mailto:$addr";
+               } else {
+                       $page_id = to_uuid($self_url);
+               }
        }
        qq(<?xml version="1.0" encoding="us-ascii"?>\n) .
        qq(<feed\nxmlns="http://www.w3.org/2005/Atom"\n) .
@@ -166,9 +120,8 @@ sub atom_header {
 # returns undef or string
 sub feed_entry {
        my ($ctx, $smsg, $eml) = @_;
-       my $hdr = $eml->header_obj;
        my $mid = $smsg->{mid};
-       my $irt = PublicInbox::View::in_reply_to($hdr);
+       my $irt = PublicInbox::View::in_reply_to($eml);
        my $uuid = to_uuid($mid);
        my $base = $ctx->{feed_base_url};
        if (defined $irt) {
@@ -180,22 +133,19 @@ sub feed_entry {
                $irt = '';
        }
        my $href = $base . mid_href($mid) . '/';
-       my $updated = feed_updated(msg_timestamp($hdr));
+       my $updated = feed_updated(msg_timestamp($eml));
 
-       my $title = $hdr->header('Subject');
+       my $title = $eml->header('Subject');
        $title = '(no subject)' unless defined $title && $title ne '';
        $title = title_tag($title);
 
-       my $from = $hdr->header('From') or return;
+       my $from = $eml->header('From') // $eml->header('Sender') //
+               $ctx->{ibx}->{-primary_address};
        my ($email) = PublicInbox::Address::emails($from);
-       my $name = join(', ',PublicInbox::Address::names($from));
-       $name = ascii_html($name);
-       $email = ascii_html($email);
+       my $name = ascii_html(join(', ', PublicInbox::Address::names($from)));
+       $email = ascii_html($email // $ctx->{ibx}->{-primary_address});
 
-       my $s = '';
-       if (delete $ctx->{emit_header}) {
-               $s .= atom_header($ctx, $title);
-       }
+       my $s = delete($ctx->{emit_header}) ? atom_header($ctx, $title) : '';
        $s .= "<entry><author><name>$name</name><email>$email</email>" .
                "</author>$title$updated" .
                qq(<link\nhref="$href"/>).
@@ -211,7 +161,8 @@ sub feed_entry {
 }
 
 sub feed_updated {
-       '<updated>' . strftime('%Y-%m-%dT%H:%M:%SZ', gmtime(@_)) . '</updated>';
+       my ($t) = @_;
+       '<updated>' . strftime('%Y-%m-%dT%H:%M:%SZ', gmtime($t)) . '</updated>';
 }
 
 1;