]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/View.pm
www: favor reading more from SQLite, and less from Xapian
[public-inbox.git] / lib / PublicInbox / View.pm
index c151f221cc9ea1667fafd20253157c1bc9d7c7a5..94058ed09ecd8039c678e271ace689a3b131f44d 100644 (file)
@@ -15,6 +15,7 @@ use PublicInbox::Address;
 use PublicInbox::WwwStream;
 use PublicInbox::Reply;
 require POSIX;
+use Time::Local qw(timegm);
 
 use constant INDENT => '  ';
 use constant TCHILD => '` ';
@@ -57,20 +58,16 @@ sub msg_page {
        my ($ctx) = @_;
        my $mid = $ctx->{mid};
        my $ibx = $ctx->{-inbox};
-       my ($first, $more, $head, $tail, $db);
+       my ($first, $more);
        my $smsg;
        if (my $srch = $ibx->search) {
-               $srch->retry_reopen(sub {
-                       ($head, $tail, $db) = $srch->each_smsg_by_mid($mid);
-                       for (; !defined($first) && $head != $tail; $head++) {
-                               my @args = ($head, $db, $mid);
-                               $smsg = PublicInbox::SearchMsg->get(@args);
-                               $first = $ibx->msg_by_smsg($smsg);
-                       }
-                       if ($head != $tail) {
-                               $more = [ $head, $tail, $db ];
-                       }
-               });
+               my ($id, $prev);
+               $smsg = $srch->next_by_mid($mid, \$id, \$prev);
+               $first = $ibx->msg_by_smsg($smsg) if $smsg;
+               if ($first) {
+                       my $next = $srch->next_by_mid($mid, \$id, \$prev);
+                       $more = [ $id, $prev, $next ] if $next;
+               }
                return unless $first;
        } else {
                $first = $ibx->msg_by_mid($mid) or return;
@@ -81,18 +78,11 @@ sub msg_page {
 sub msg_html_more {
        my ($ctx, $more, $nr) = @_;
        my $str = eval {
-               my $smsg;
-               my ($head, $tail, $db) = @$more;
+               my ($id, $prev, $smsg) = @$more;
                my $mid = $ctx->{mid};
-               for (; !defined($smsg) && $head != $tail; $head++) {
-                       my $m = PublicInbox::SearchMsg->get($head, $db, $mid);
-                       $smsg = $ctx->{-inbox}->smsg_mime($m);
-               }
-               if ($head == $tail) { # done
-                       @$more = ();
-               } else {
-                       $more->[0] = $head;
-               }
+               $smsg = $ctx->{-inbox}->smsg_mime($smsg);
+               my $next = $ctx->{srch}->next_by_mid($mid, \$id, \$prev);
+               @$more = $next ? ($id, $prev, $next) : ();
                if ($smsg) {
                        my $mime = $smsg->{mime};
                        my $upfx = '../' . mid_escape($smsg->mid) . '/';
@@ -408,9 +398,7 @@ sub thread_html {
        my ($ctx) = @_;
        my $mid = $ctx->{mid};
        my $srch = $ctx->{srch};
-       my $sres = $srch->get_thread($mid);
-       my $msgs = $sres->{msgs};
-       my $nr = $sres->{total};
+       my ($nr, $msgs) = $srch->get_thread($mid);
        return missing_thread($ctx) if $nr == 0;
        my $skel = '<hr><pre>';
        $skel .= $nr == 1 ? 'only message in thread' : 'end of thread';
@@ -649,8 +637,7 @@ sub thread_skel {
        my ($dst, $ctx, $hdr, $tpfx) = @_;
        my $srch = $ctx->{srch};
        my $mid = mids($hdr)->[0];
-       my $sres = $srch->get_thread($mid);
-       my $nr = $sres->{total};
+       my ($nr, $msgs) = $srch->get_thread($mid);
        my $expand = qq(expand[<a\nhref="${tpfx}T/#u">flat</a>) .
                        qq(|<a\nhref="${tpfx}t/#u">nested</a>]  ) .
                        qq(<a\nhref="${tpfx}t.mbox.gz">mbox.gz</a>  ) .
@@ -680,12 +667,11 @@ sub thread_skel {
        $ctx->{prev_attr} = '';
        $ctx->{prev_level} = 0;
        $ctx->{dst} = $dst;
-       $sres = $sres->{msgs};
 
        # reduce hash lookups in skel_dump
        my $ibx = $ctx->{-inbox};
        $ctx->{-obfs_ibx} = $ibx->{obfuscate} ? $ibx : undef;
-       walk_thread(thread_results($ctx, $sres), $ctx, *skel_dump);
+       walk_thread(thread_results($ctx, $msgs), $ctx, *skel_dump);
 
        $ctx->{parent_msg} = $parent;
 }
@@ -1036,59 +1022,82 @@ sub dump_topics {
        200;
 }
 
-sub index_nav { # callback for WwwStream
-       my (undef, $ctx) = @_;
-       delete $ctx->{qp} or return;
-       my ($next, $prev);
-       $next = $prev = '    ';
-       my $latest = '';
+sub ts2str ($) {
+       my ($ts) = @_;
+       POSIX::strftime('%Y%m%d%H%M%S', gmtime($ts));
+}
 
-       my $next_o = $ctx->{-next_o};
-       if ($next_o) {
-               $next = qq!<a\nhref="?o=$next_o"\nrel=next>next</a>!;
-       }
-       if (my $cur_o = $ctx->{-cur_o}) {
-               $latest = qq! <a\nhref=.>latest</a>!;
-
-               my $o = $cur_o - ($next_o - $cur_o);
-               if ($o > 0) {
-                       $prev = qq!<a\nhref="?o=$o"\nrel=prev>prev</a>!;
-               } elsif ($o == 0) {
-                       $prev = qq!<a\nhref=.\nrel=prev>prev</a>!;
-               }
+sub str2ts ($) {
+       my ($yyyy, $mon, $dd, $hh, $mm, $ss) = unpack('A4A2A2A2A2A2', $_[0]);
+       timegm($ss, $mm, $hh, $dd, $mon - 1, $yyyy);
+}
+
+sub pagination_footer ($$) {
+       my ($ctx, $latest) = @_;
+       delete $ctx->{qp} or return;
+       my $next = $ctx->{next_page} || '';
+       my $prev = $ctx->{prev_page} || '';
+       if ($prev) {
+               $next = $next ? "$next " : '     ';
+               $prev .= qq! <a\nhref='$latest'>latest</a>!;
        }
-       "<hr><pre>page: $next $prev$latest</pre>";
+       "<hr><pre>page: $next$prev</pre>";
 }
 
-sub index_topics {
+sub index_nav { # callback for WwwStream
+       my (undef, $ctx) = @_;
+       pagination_footer($ctx, '.')
+}
+
+sub paginate_recent ($) {
        my ($ctx) = @_;
-       my ($off) = (($ctx->{qp}->{o} || '0') =~ /(\d+)/);
-       my $lim = 200;
-       my $opts = { offset => $off, limit => $lim };
+       my $t = $ctx->{qp}->{t} || '';
+       my $lim = 200; # this is our window
+       my $opts = { limit => $lim };
+       my ($after, $before);
 
-       $ctx->{order} = [];
-       my $srch = $ctx->{srch};
+       # Xapian uses '..' but '-' is perhaps friendier to URL linkifiers
+       # if only $after exists "YYYYMMDD.." because "." could be skipped
+       # if interpreted as an end-of-sentence
+       $t =~ s/\A(\d{8,14})-// and $after = str2ts($1);
+       $t =~ /\A(\d{8,14})\z/ and $before = str2ts($1);
 
-       my $qs = '';
-       # this complicated bit cuts loading time by over 400ms on my system:
-       if ($off == 0) {
-               my ($min, $max) = $ctx->{-inbox}->mm->minmax;
-               my $n = $max - $lim;
-               $n = $min if $n < $min;
-               for (; $qs eq '' && $n >= $min; --$n) {
-                       my $smsg = $srch->lookup_article($n) or next;
-                       $qs = POSIX::strftime('d:%Y%m%d..', gmtime($smsg->ts));
+       my $ibx = $ctx->{-inbox};
+       my $msgs = $ibx->recent($opts, $after, $before);
+       my $nr = scalar @$msgs;
+       if ($nr < $lim && defined($after)) {
+               $after = $before = undef;
+               $msgs = $ibx->recent($opts);
+               $nr = scalar @$msgs;
+       }
+       my $more = $nr == $lim;
+       my ($newest, $oldest);
+       if ($nr) {
+               $newest = $msgs->[0]->{ts};
+               $oldest = $msgs->[-1]->{ts};
+               # if we only had $after, our SQL query in ->recent ordered
+               if ($newest < $oldest) {
+                       ($oldest, $newest) = ($newest, $oldest);
+                       $more = 0 if defined($after) && $after < $oldest;
                }
        }
+       if (defined($oldest) && $more) {
+               my $s = ts2str($oldest);
+               $ctx->{next_page} = qq!<a\nhref="?t=$s"\nrel=next>next</a>!;
+       }
+       if (defined($newest) && (defined($before) || defined($after))) {
+               my $s = ts2str($newest);
+               $ctx->{prev_page} = qq!<a\nhref="?t=$s-"\nrel=prev>prev</a>!;
+       }
+       $msgs;
+}
 
-       my $sres = $srch->query($qs, $opts);
-       $sres = $sres->{msgs};
-       my $nr = scalar @$sres;
-       if ($nr) {
-               walk_thread(thread_results($ctx, $sres), $ctx, *acc_topic);
+sub index_topics {
+       my ($ctx) = @_;
+       my $msgs = paginate_recent($ctx);
+       if (@$msgs) {
+               walk_thread(thread_results($ctx, $msgs), $ctx, *acc_topic);
        }
-       $ctx->{-next_o} = $off + $nr;
-       $ctx->{-cur_o} = $off;
        PublicInbox::WwwStream->response($ctx, dump_topics($ctx), *index_nav);
 }