]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/View.pm
view: drop redundant References: display code
[public-inbox.git] / lib / PublicInbox / View.pm
index 81e83d97738256511a530bc4093bfd2793267eb8..58851edc59f5226bc47a4c6ba3f7627a19ba3e00 100644 (file)
@@ -1,38 +1,47 @@
-# Copyright (C) 2014-2015 all contributors <meta@public-inbox.org>
-# License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
+# Copyright (C) 2014-2018 all contributors <meta@public-inbox.org>
+# License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Used for displaying the HTML web interface.
 # See Documentation/design_www.txt for this.
 package PublicInbox::View;
 use strict;
 use warnings;
-use Date::Parse qw/str2time/;
+use PublicInbox::MsgTime qw(msg_datestamp);
 use PublicInbox::Hval qw/ascii_html obfuscate_addrs/;
 use PublicInbox::Linkify;
-use PublicInbox::MID qw/mid_clean id_compress mid_mime mid_escape/;
+use PublicInbox::MID qw/id_compress mid_escape mids references/;
 use PublicInbox::MsgIter;
 use PublicInbox::Address;
 use PublicInbox::WwwStream;
 use PublicInbox::Reply;
 require POSIX;
+use Time::Local qw(timegm);
 
+use constant COLS => 72;
 use constant INDENT => '  ';
 use constant TCHILD => '` ';
 sub th_pfx ($) { $_[0] == 0 ? '' : TCHILD };
 
 # public functions: (unstable)
+
 sub msg_html {
-       my ($ctx, $mime) = @_;
+       my ($ctx, $mime, $more, $smsg) = @_;
        my $hdr = $mime->header_obj;
        my $ibx = $ctx->{-inbox};
-       my $obfs_ibx = $ibx->{obfuscate} ? $ibx : undef;
-       my $tip = _msg_html_prepare($hdr, $ctx, $obfs_ibx);
+       my $obfs_ibx = $ctx->{-obfs_ibx} = $ibx->{obfuscate} ? $ibx : undef;
+       my $tip = _msg_html_prepare($hdr, $ctx, $more, 0);
+       my $end = 2;
        PublicInbox::WwwStream->response($ctx, 200, sub {
                my ($nr, undef) = @_;
                if ($nr == 1) {
-                       $tip . multipart_text_as_html($mime, '', $obfs_ibx) .
+                       # $more cannot be true w/o $smsg being defined:
+                       my $upfx = $more ? '../'.mid_escape($smsg->mid).'/' : '';
+                       $tip . multipart_text_as_html($mime, $upfx, $obfs_ibx) .
                                '</pre><hr>'
-               } elsif ($nr == 2) {
+               } elsif ($more && @$more) {
+                       ++$end;
+                       msg_html_more($ctx, $more, $nr);
+               } elsif ($nr == $end) {
                        # fake an EOF if generating the footer fails;
                        # we want to at least show the message if something
                        # here crashes:
@@ -46,6 +55,53 @@ sub msg_html {
        });
 }
 
+sub msg_page {
+       my ($ctx) = @_;
+       my $mid = $ctx->{mid};
+       my $ibx = $ctx->{-inbox};
+       my ($first, $more);
+       my $smsg;
+       if (my $srch = $ibx->search) {
+               my ($id, $prev);
+               $smsg = $srch->next_by_mid($mid, \$id, \$prev);
+               $first = $ibx->msg_by_smsg($smsg) if $smsg;
+               if ($first) {
+                       my $next = $srch->next_by_mid($mid, \$id, \$prev);
+                       $more = [ $id, $prev, $next ] if $next;
+               }
+               return unless $first;
+       } else {
+               $first = $ibx->msg_by_mid($mid) or return;
+       }
+       msg_html($ctx, PublicInbox::MIME->new($first), $more, $smsg);
+}
+
+sub msg_html_more {
+       my ($ctx, $more, $nr) = @_;
+       my $str = eval {
+               my ($id, $prev, $smsg) = @$more;
+               my $mid = $ctx->{mid};
+               $smsg = $ctx->{-inbox}->smsg_mime($smsg);
+               my $next = $ctx->{srch}->next_by_mid($mid, \$id, \$prev);
+               @$more = $next ? ($id, $prev, $next) : ();
+               if ($smsg) {
+                       my $mime = $smsg->{mime};
+                       my $upfx = '../' . mid_escape($smsg->mid) . '/';
+                       _msg_html_prepare($mime->header_obj, $ctx, $more, $nr) .
+                               multipart_text_as_html($mime, $upfx,
+                                                       $ctx->{-obfs_ibx}) .
+                               '</pre><hr>'
+               } else {
+                       '';
+               }
+       };
+       if ($@) {
+               warn "Error lookup up additional messages: $@\n";
+               $str = '<pre>Error looking up additional messages</pre>';
+       }
+       $str;
+}
+
 # /$INBOX/$MESSAGE_ID/#R
 sub msg_reply {
        my ($ctx, $hdr) = @_;
@@ -61,7 +117,8 @@ sub msg_reply {
                $info = qq(\n  List information: <a\nhref="$url">$url</a>\n);
        }
 
-       my ($arg, $link) = PublicInbox::Reply::mailto_arg_link($ibx, $hdr);
+       my ($arg, $link, $reply_to_all) =
+                       PublicInbox::Reply::mailto_arg_link($ibx, $hdr);
 
        # mailto: link only works if address obfuscation is disabled
        if ($link) {
@@ -69,9 +126,10 @@ sub msg_reply {
 
 * If your mail client supports setting the <b>In-Reply-To</b> header
   via mailto: links, try the <a
-href="$link">mailto: link</a></pre>
+href="$link">mailto: link</a>
 EOF
        }
+
        push @$arg, '/path/to/YOUR_REPLY';
        $arg = ascii_html(join(" \\\n    ", '', @$arg));
        <<EOF
@@ -83,34 +141,46 @@ href=#t>this message</a> via plain-text email
 using any one of the following methods:
 
 * Save the following mbox file, import it into your mail client,
-  and reply-to-all from there: <a
+  and $reply_to_all from there: <a
 href=raw>mbox</a>
 
   Avoid top-posting and favor interleaved quoting:
   <a
 href="$p_url">$p_url</a>
 $info
-* Reply to all the recipients using the <b>--to</b>, <b>--cc</b>,
-  and <b>--in-reply-to</b> switches of git-send-email(1):
+* Reply using the <b>--to</b>, <b>--cc</b>, and <b>--in-reply-to</b>
+  switches of git-send-email(1):
 
   git send-email$arg
 
   <a
 href="$se_url">$se_url</a>
-$link
+$link</pre>
 EOF
 }
 
 sub in_reply_to {
        my ($hdr) = @_;
-       my %mid = map { $_ => 1 } $hdr->header_raw('Message-ID');
-       my @refs = (($hdr->header_raw('References') || '') =~ /<([^>]+)>/g);
-       push(@refs, (($hdr->header_raw('In-Reply-To') || '') =~ /<([^>]+)>/g));
-       while (defined(my $irt = pop @refs)) {
-               next if $mid{"<$irt>"};
-               return $irt;
-       }
-       undef;
+       my $refs = references($hdr);
+       $refs->[-1];
+}
+
+sub fold_addresses ($) {
+       return $_[0] if length($_[0]) <= COLS;
+       # try to fold on commas after non-word chars before $lim chars,
+       # Try to get the "," preceeded by ">" or ")", but avoid folding
+       # on the comma where somebody uses "Lastname, Firstname".
+       # We also try to keep the last and penultimate addresses in
+       # the list on the same line if possible, hence the extra \z
+       # Fall back to folding on spaces at $lim + 1 chars
+       my $lim = COLS - 8; # 8 = "\t" display width
+       my $too_long = $lim + 1;
+       $_[0] =~ s/\s*\z//s; # Email::Simple doesn't strip trailing spaces
+       $_[0] = join("\n\t",
+               ($_[0] =~ /(.{0,$lim}\W(?:,|\z)|
+                               .{1,$lim}(?:,|\z)|
+                               .{1,$lim}|
+                               .{$too_long,}?)(?:\s|\z)/xgo));
 }
 
 sub _hdr_names_html ($$) {
@@ -127,12 +197,10 @@ sub nr_to_s ($$$) {
 
 # this is already inside a <pre>
 sub index_entry {
-       my ($mime, $ctx, $more) = @_;
+       my ($smsg, $ctx, $more) = @_;
        my $srch = $ctx->{srch};
-       my $hdr = $mime->header_obj;
-       my $subj = $hdr->header('Subject');
-
-       my $mid_raw = mid_clean(mid_mime($mime));
+       my $subj = $smsg->subject;
+       my $mid_raw = $smsg->mid;
        my $id = id_compress($mid_raw, 1);
        my $id_m = 'm'.$id;
 
@@ -147,21 +215,33 @@ sub index_entry {
        $rv .= $subj . "\n";
        $rv .= _th_index_lite($mid_raw, \$irt, $id, $ctx);
        my @tocc;
-       foreach my $f (qw(To Cc)) {
-               my $dst = _hdr_names_html($hdr, $f);
-               if ($dst ne '') {
-                       obfuscate_addrs($obfs_ibx, $dst) if $obfs_ibx;
-                       push @tocc, "$f: $dst";
-               }
-       }
+       my $mime = $smsg->{mime};
+       my $hdr = $mime->header_obj;
        my $from = _hdr_names_html($hdr, 'From');
        obfuscate_addrs($obfs_ibx, $from) if $obfs_ibx;
-       $rv .= "From: $from @ "._msg_date($hdr)." UTC";
+       $rv .= "From: $from @ ".fmt_ts($smsg->ds)." UTC";
        my $upfx = $ctx->{-upfx};
        my $mhref = $upfx . mid_escape($mid_raw) . '/';
        $rv .= qq{ (<a\nhref="$mhref">permalink</a> / };
        $rv .= qq{<a\nhref="${mhref}raw">raw</a>)\n};
-       $rv .= '  '.join('; +', @tocc) . "\n" if @tocc;
+       my $to = fold_addresses(_hdr_names_html($hdr, 'To'));
+       my $cc = fold_addresses(_hdr_names_html($hdr, 'Cc'));
+       my ($tlen, $clen) = (length($to), length($cc));
+       my $to_cc = '';
+       if (($tlen + $clen) > COLS) {
+               $to_cc .= '  To: '.$to."\n" if $tlen;
+               $to_cc .= '  Cc: '.$cc."\n" if $clen;
+       } else {
+               if ($tlen) {
+                       $to_cc .= '  To: '.$to;
+                       $to_cc .= '; <b>+Cc:</b> '.$cc if $clen;
+               } else {
+                       $to_cc .= '  Cc: '.$cc if $clen;
+               }
+               $to_cc .= "\n";
+       }
+       obfuscate_addrs($obfs_ibx, $to_cc) if $obfs_ibx;
+       $rv .= $to_cc;
 
        my $mapping = $ctx->{mapping};
        if (!$mapping && (defined($irt) || defined($irt = in_reply_to($hdr)))) {
@@ -299,30 +379,30 @@ sub pre_thread  {
 }
 
 sub thread_index_entry {
-       my ($ctx, $level, $mime) = @_;
+       my ($ctx, $level, $smsg) = @_;
        my ($beg, $end) = thread_adj_level($ctx, $level);
-       $beg . '<pre>' . index_entry($mime, $ctx, 0) . '</pre>' . $end;
+       $beg . '<pre>' . index_entry($smsg, $ctx, 0) . '</pre>' . $end;
 }
 
 sub stream_thread ($$) {
        my ($rootset, $ctx) = @_;
        my $inbox = $ctx->{-inbox};
-       my $mime;
        my @q = map { (0, $_) } @$rootset;
        my $level;
+       my $smsg;
        while (@q) {
                $level = shift @q;
                my $node = shift @q or next;
                my $cl = $level + 1;
                unshift @q, map { ($cl, $_) } @{$node->{children}};
-               $mime = $inbox->msg_by_smsg($node->{smsg}) and last;
+               $smsg = $inbox->smsg_mime($node->{smsg}) and last;
        }
-       return missing_thread($ctx) unless $mime;
+       return missing_thread($ctx) unless $smsg;
 
        $ctx->{-obfs_ibx} = $inbox->{obfuscate} ? $inbox : undef;
-       $mime = PublicInbox::MIME->new($mime);
-       $ctx->{-title_html} = ascii_html($mime->header('Subject'));
-       $ctx->{-html_tip} = thread_index_entry($ctx, $level, $mime);
+       $ctx->{-title_html} = ascii_html($smsg->subject);
+       $ctx->{-html_tip} = thread_index_entry($ctx, $level, $smsg);
+       $smsg = undef;
        PublicInbox::WwwStream->response($ctx, 200, sub {
                return unless $ctx;
                while (@q) {
@@ -330,10 +410,8 @@ sub stream_thread ($$) {
                        my $node = shift @q or next;
                        my $cl = $level + 1;
                        unshift @q, map { ($cl, $_) } @{$node->{children}};
-                       my $mid = $node->{id};
-                       if ($mime = $inbox->msg_by_smsg($node->{smsg})) {
-                               $mime = PublicInbox::MIME->new($mime);
-                               return thread_index_entry($ctx, $level, $mime);
+                       if ($smsg = $inbox->smsg_mime($node->{smsg})) {
+                               return thread_index_entry($ctx, $level, $smsg);
                        } else {
                                return ghost_index_entry($ctx, $level, $node);
                        }
@@ -349,9 +427,7 @@ sub thread_html {
        my ($ctx) = @_;
        my $mid = $ctx->{mid};
        my $srch = $ctx->{srch};
-       my $sres = $srch->get_thread($mid);
-       my $msgs = load_results($srch, $sres);
-       my $nr = $sres->{total};
+       my ($nr, $msgs) = $srch->get_thread($mid);
        return missing_thread($ctx) if $nr == 0;
        my $skel = '<hr><pre>';
        $skel .= $nr == 1 ? 'only message in thread' : 'end of thread';
@@ -370,7 +446,7 @@ sub thread_html {
        $ctx->{mapping} = {};
        $ctx->{s_nr} = "$nr+ messages in thread";
 
-       my $rootset = thread_results($msgs, $srch);
+       my $rootset = thread_results($ctx, $msgs);
 
        # reduce hash lookups in pre_thread->skel_dump
        my $inbox = $ctx->{-inbox};
@@ -381,24 +457,21 @@ sub thread_html {
        return stream_thread($rootset, $ctx) unless $ctx->{flat};
 
        # flat display: lazy load the full message from smsg
-       my $mime;
-       while ($mime = shift @$msgs) {
-               $mime = $inbox->msg_by_smsg($mime) and last;
+       my $smsg;
+       while (my $m = shift @$msgs) {
+               $smsg = $inbox->smsg_mime($m) and last;
        }
-       return missing_thread($ctx) unless $mime;
-       $mime = PublicInbox::MIME->new($mime);
-       $ctx->{-title_html} = ascii_html($mime->header('Subject'));
-       $ctx->{-html_tip} = '<pre>'.index_entry($mime, $ctx, scalar @$msgs);
-       $mime = undef;
+       return missing_thread($ctx) unless $smsg;
+       $ctx->{-title_html} = ascii_html($smsg->subject);
+       $ctx->{-html_tip} = '<pre>'.index_entry($smsg, $ctx, scalar @$msgs);
+       $smsg = undef;
        PublicInbox::WwwStream->response($ctx, 200, sub {
                return unless $msgs;
-               while ($mime = shift @$msgs) {
-                       $mime = $inbox->msg_by_smsg($mime) and last;
-               }
-               if ($mime) {
-                       $mime = PublicInbox::MIME->new($mime);
-                       return index_entry($mime, $ctx, scalar @$msgs);
+               $smsg = undef;
+               while (my $m = shift @$msgs) {
+                       $smsg = $inbox->smsg_mime($m) and last;
                }
+               return index_entry($smsg, $ctx, scalar @$msgs) if $smsg;
                $msgs = undef;
                $skel;
        });
@@ -527,43 +600,78 @@ sub add_text_body {
 }
 
 sub _msg_html_prepare {
-       my ($hdr, $ctx, $obfs_ibx) = @_;
+       my ($hdr, $ctx, $more, $nr) = @_;
        my $srch = $ctx->{srch} if $ctx;
        my $atom = '';
-       my $rv = "<pre\nid=b>"; # anchor for body start
-
+       my $obfs_ibx = $ctx->{-obfs_ibx};
+       my $rv = '';
+       my $mids = mids($hdr);
+       my $multiple = scalar(@$mids) > 1; # zero, one, infinity
+       if ($nr == 0) {
+               if ($more) {
+                       $rv .=
+"<pre>WARNING: multiple messages refer to this Message-ID\n</pre>";
+               }
+               $rv .= "<pre\nid=b>"; # anchor for body start
+       } else {
+               $rv .= '<pre>';
+       }
        if ($srch) {
                $ctx->{-upfx} = '../';
        }
        my @title;
-       my $mid = mid_clean($hdr->header_raw('Message-ID'));
-       $mid = PublicInbox::Hval->new_msgid($mid);
-       foreach my $h (qw(From To Cc Subject Date)) {
-               my $v = $hdr->header($h);
-               defined($v) && ($v ne '') or next;
+       my $v;
+       if (defined($v = $hdr->header('From'))) {
                $v = PublicInbox::Hval->new($v);
-
-               if ($h eq 'From') {
-                       my @n = PublicInbox::Address::names($v->raw);
-                       $title[1] = ascii_html(join(', ', @n));
-                       obfuscate_addrs($obfs_ibx, $title[1]) if $obfs_ibx;
-               } elsif ($h eq 'Subject') {
-                       $title[0] = $v->as_html;
-                       if ($srch) {
-                               $rv .= qq($h: <a\nhref="#r"\nid=t>);
-                               $rv .= $v->as_html . "</a>\n";
-                               next;
-                       }
-               }
+               my @n = PublicInbox::Address::names($v->raw);
+               $title[1] = ascii_html(join(', ', @n));
                $v = $v->as_html;
+               if ($obfs_ibx) {
+                       obfuscate_addrs($obfs_ibx, $v);
+                       obfuscate_addrs($obfs_ibx, $title[1]);
+               }
+               $rv .= "From: $v\n" if $v ne '';
+       }
+       foreach my $h (qw(To Cc)) {
+               defined($v = $hdr->header($h)) or next;
+               fold_addresses($v);
+               $v = ascii_html($v);
                obfuscate_addrs($obfs_ibx, $v) if $obfs_ibx;
-               $rv .= "$h: $v\n";
-
+               $rv .= "$h: $v\n" if $v ne '';
+       }
+       if (defined($v = $hdr->header('Subject')) && ($v ne '')) {
+               $v = ascii_html($v);
+               obfuscate_addrs($obfs_ibx, $v) if $obfs_ibx;
+               if ($srch) {
+                       $rv .= qq(Subject: <a\nhref="#r"\nid=t>$v</a>\n);
+               } else {
+                       $rv .= "Subject: $v\n";
+               }
+               $title[0] = $v;
+       } else { # dummy anchor for thread skeleton at bottom of page
+               $rv .= qq(<a\nhref="#r"\nid=t></a>) if $srch;
+               $title[0] = '(no subject)';
+       }
+       if (defined($v = $hdr->header('Date'))) {
+               $v = ascii_html($v);
+               obfuscate_addrs($obfs_ibx, $v) if $obfs_ibx; # possible :P
+               $rv .= "Date: $v\n";
        }
-       $title[0] ||= '(no subject)';
        $ctx->{-title_html} = join(' - ', @title);
-       $rv .= 'Message-ID: &lt;' . $mid->as_html . '&gt; ';
-       $rv .= "(<a\nhref=\"raw\">raw</a>)\n";
+       foreach (@$mids) {
+               my $mid = PublicInbox::Hval->new_msgid($_) ;
+               my $mhtml = $mid->as_html;
+               if ($multiple) {
+                       my $href = $mid->{href};
+                       $rv .= "Message-ID: ";
+                       $rv .= "<a\nhref=\"../$href/\">";
+                       $rv .= "&lt;$mhtml&gt;</a> ";
+                       $rv .= "(<a\nhref=\"../$href/raw\">raw</a>)\n";
+               } else {
+                       $rv .= "Message-ID: &lt;$mhtml&gt; ";
+                       $rv .= "(<a\nhref=\"raw\">raw</a>)\n";
+               }
+       }
        $rv .= _parent_headers($hdr, $srch);
        $rv .= "\n";
 }
@@ -571,29 +679,29 @@ sub _msg_html_prepare {
 sub thread_skel {
        my ($dst, $ctx, $hdr, $tpfx) = @_;
        my $srch = $ctx->{srch};
-       my $mid = mid_clean($hdr->header_raw('Message-ID'));
-       my $sres = $srch->get_thread($mid);
-       my $nr = $sres->{total};
-       my $expand = qq(<a\nhref="${tpfx}T/#u">expand</a> ) .
-                       qq(/ <a\nhref="${tpfx}t.mbox.gz">mbox.gz</a> ) .
-                       qq(<a\nhref="${tpfx}t.atom">Atom feed</a>);
+       my $mid = mids($hdr)->[0];
+       my ($nr, $msgs) = $srch->get_thread($mid);
+       my $expand = qq(expand[<a\nhref="${tpfx}T/#u">flat</a>) .
+                       qq(|<a\nhref="${tpfx}t/#u">nested</a>]  ) .
+                       qq(<a\nhref="${tpfx}t.mbox.gz">mbox.gz</a>  ) .
+                       qq(<a\nhref="${tpfx}t.atom">Atom feed</a>);
 
        my $parent = in_reply_to($hdr);
        $$dst .= "\n<b>Thread overview: </b>";
        if ($nr <= 1) {
                if (defined $parent) {
-                       $$dst .= "($expand)\n ";
+                       $$dst .= "$expand\n ";
                        $$dst .= ghost_parent("$tpfx../", $parent) . "\n";
                } else {
-                       $$dst .= "[no followups, yet] ($expand)\n";
+                       $$dst .= "[no followups] $expand\n";
                }
                $ctx->{next_msg} = undef;
                $ctx->{parent_msg} = $parent;
                return;
        }
 
-       $$dst .= "$nr+ messages in thread ($expand";
-       $$dst .= qq! / <a\nhref="#b">[top]</a>)\n!;
+       $$dst .= "$nr+ messages $expand";
+       $$dst .= qq!  <a\nhref="#b">top</a>\n!;
 
        my $subj = $hdr->header('Subject');
        defined $subj or $subj = '';
@@ -602,12 +710,11 @@ sub thread_skel {
        $ctx->{prev_attr} = '';
        $ctx->{prev_level} = 0;
        $ctx->{dst} = $dst;
-       $sres = load_results($srch, $sres);
 
        # reduce hash lookups in skel_dump
        my $ibx = $ctx->{-inbox};
        $ctx->{-obfs_ibx} = $ibx->{obfuscate} ? $ibx : undef;
-       walk_thread(thread_results($sres, $srch), $ctx, *skel_dump);
+       walk_thread(thread_results($ctx, $msgs), $ctx, *skel_dump);
 
        $ctx->{parent_msg} = $parent;
 }
@@ -616,7 +723,8 @@ sub _parent_headers {
        my ($hdr, $srch) = @_;
        my $rv = '';
 
-       my $irt = in_reply_to($hdr);
+       my $refs = references($hdr);
+       my $irt = pop @$refs;
        if (defined $irt) {
                my $v = PublicInbox::Hval->new_msgid($irt);
                my $html = $v->as_html;
@@ -629,22 +737,9 @@ sub _parent_headers {
        # we show the thread skeleton at the bottom, instead.
        return $rv if $srch;
 
-       my $refs = $hdr->header_raw('References');
-       if ($refs) {
-               # avoid redundant URLs wasting bandwidth
-               my %seen;
-               $seen{$irt} = 1 if defined $irt;
-               my @refs;
-               my @raw_refs = ($refs =~ /<([^>]+)>/g);
-               foreach my $ref (@raw_refs) {
-                       next if $seen{$ref};
-                       $seen{$ref} = 1;
-                       push @refs, linkify_ref_nosrch($ref);
-               }
-
-               if (@refs) {
-                       $rv .= 'References: '. join("\n\t", @refs) . "\n";
-               }
+       if (@$refs) {
+               @$refs = map { linkify_ref_nosrch($_) } @$refs;
+               $rv .= 'References: '. join("\n\t", @$refs) . "\n";
        }
        $rv;
 }
@@ -723,22 +818,10 @@ sub indent_for {
        $level ? INDENT x ($level - 1) : '';
 }
 
-sub load_results {
-       my ($srch, $sres) = @_;
-       my $msgs = delete $sres->{msgs};
-       $srch->retry_reopen(sub { [ map { $_->mid; $_ } @$msgs ] });
-}
-
-sub msg_timestamp {
-       my ($hdr) = @_;
-       my $ts = eval { str2time($hdr->header('Date')) };
-       defined($ts) ? $ts : 0;
-}
-
 sub thread_results {
-       my ($msgs, $srch) = @_;
+       my ($ctx, $msgs) = @_;
        require PublicInbox::SearchThread;
-       PublicInbox::SearchThread::thread($msgs, *sort_ts, $srch);
+       PublicInbox::SearchThread::thread($msgs, *sort_ds, $ctx->{-inbox});
 }
 
 sub missing_thread {
@@ -749,8 +832,7 @@ sub missing_thread {
 
 sub _msg_date {
        my ($hdr) = @_;
-       my $ts = $hdr->header('X-PI-TS') || msg_timestamp($hdr);
-       fmt_ts($ts);
+       fmt_ts(msg_datestamp($hdr));
 }
 
 sub fmt_ts { POSIX::strftime('%Y-%m-%d %k:%M', gmtime($_[0])) }
@@ -786,7 +868,7 @@ sub skel_dump {
        my $obfs_ibx = $ctx->{-obfs_ibx};
        obfuscate_addrs($obfs_ibx, $f) if $obfs_ibx;
 
-       my $d = fmt_ts($smsg->{ts}) . ' ' . indent_for($level) . th_pfx($level);
+       my $d = fmt_ts($smsg->{ds}) . ' ' . indent_for($level) . th_pfx($level);
        my $attr = $f;
        $ctx->{first_level} ||= $level;
 
@@ -867,10 +949,10 @@ sub _skel_ghost {
        $$dst .= $d;
 }
 
-sub sort_ts {
+sub sort_ds {
        [ sort {
-               (eval { $a->topmost->{smsg}->ts } || 0) <=>
-               (eval { $b->topmost->{smsg}->ts } || 0)
+               (eval { $a->topmost->{smsg}->ds } || 0) <=>
+               (eval { $b->topmost->{smsg}->ds } || 0)
        } @{$_[0]} ];
 }
 
@@ -880,22 +962,22 @@ sub acc_topic {
        my ($ctx, $level, $node) = @_;
        my $srch = $ctx->{srch};
        my $mid = $node->{id};
-       my $x = $node->{smsg} || $srch->lookup_mail($mid);
-       my ($subj, $ts);
+       my $x = $node->{smsg} || $ctx->{-inbox}->smsg_by_mid($mid);
+       my ($subj, $ds);
        my $topic;
        if ($x) {
                $subj = $x->subject;
                $subj = $srch->subject_normalized($subj);
-               $ts = $x->ts;
+               $ds = $x->ds;
                if ($level == 0) {
-                       $topic = [ $ts, 1, { $subj => $mid }, $subj ];
+                       $topic = [ $ds, 1, { $subj => $mid }, $subj ];
                        $ctx->{-cur_topic} = $topic;
                        push @{$ctx->{order}}, $topic;
                        return;
                }
 
                $topic = $ctx->{-cur_topic}; # should never be undef
-               $topic->[0] = $ts if $ts > $topic->[0];
+               $topic->[0] = $ds if $ds > $topic->[0];
                $topic->[1]++;
                my $seen = $topic->[2];
                if (scalar(@$topic) == 3) { # parent was a ghost
@@ -914,7 +996,7 @@ sub acc_topic {
 
 sub dump_topics {
        my ($ctx) = @_;
-       my $order = delete $ctx->{order}; # [ ts, subj1, subj2, subj3, ... ]
+       my $order = delete $ctx->{order}; # [ ds, subj1, subj2, subj3, ... ]
        if (!@$order) {
                $ctx->{-html_tip} = '<pre>[No topics in range]</pre>';
                return 404;
@@ -927,14 +1009,14 @@ sub dump_topics {
 
        # sort by recency, this allows new posts to "bump" old topics...
        foreach my $topic (sort { $b->[0] <=> $a->[0] } @$order) {
-               my ($ts, $n, $seen, $top, @ex) = @$topic;
+               my ($ds, $n, $seen, $top, @ex) = @$topic;
                @$topic = ();
                next unless defined $top;  # ghost topic
                my $mid = delete $seen->{$top};
                my $href = mid_escape($mid);
                my $prev_subj = [ split(/ /, $top) ];
                $top = PublicInbox::Hval->new($top)->as_html;
-               $ts = fmt_ts($ts);
+               $ds = fmt_ts($ds);
 
                # $n isn't the total number of posts on the topic,
                # just the number of posts in the current results window
@@ -950,7 +1032,7 @@ sub dump_topics {
                my $mbox = qq(<a\nhref="$href/t.mbox.gz">mbox.gz</a>);
                my $atom = qq(<a\nhref="$href/t.atom">Atom</a>);
                my $s = "<a\nhref=\"$href/T/$anchor\"><b>$top</b></a>\n" .
-                       " $ts UTC $n - $mbox / $atom\n";
+                       " $ds UTC $n - $mbox / $atom\n";
                for (my $i = 0; $i < scalar(@ex); $i += 2) {
                        my $level = $ex[$i];
                        my $subj = $ex[$i + 1];
@@ -971,45 +1053,81 @@ sub dump_topics {
        200;
 }
 
+sub ts2str ($) {
+       my ($ts) = @_;
+       POSIX::strftime('%Y%m%d%H%M%S', gmtime($ts));
+}
+
+sub str2ts ($) {
+       my ($yyyy, $mon, $dd, $hh, $mm, $ss) = unpack('A4A2A2A2A2A2', $_[0]);
+       timegm($ss, $mm, $hh, $dd, $mon - 1, $yyyy);
+}
+
+sub pagination_footer ($$) {
+       my ($ctx, $latest) = @_;
+       delete $ctx->{qp} or return;
+       my $next = $ctx->{next_page} || '';
+       my $prev = $ctx->{prev_page} || '';
+       if ($prev) {
+               $next = $next ? "$next " : '     ';
+               $prev .= qq! <a\nhref='$latest'>latest</a>!;
+       }
+       "<hr><pre>page: $next$prev</pre>";
+}
+
 sub index_nav { # callback for WwwStream
        my (undef, $ctx) = @_;
-       delete $ctx->{qp} or return;
-       my ($next, $prev);
-       $next = $prev = '    ';
-       my $latest = '';
+       pagination_footer($ctx, '.')
+}
 
-       my $next_o = $ctx->{-next_o};
-       if ($next_o) {
-               $next = qq!<a\nhref="?o=$next_o"\nrel=next>next</a>!;
+sub paginate_recent ($$) {
+       my ($ctx, $lim) = @_;
+       my $t = $ctx->{qp}->{t} || '';
+       my $opts = { limit => $lim };
+       my ($after, $before);
+
+       # Xapian uses '..' but '-' is perhaps friendier to URL linkifiers
+       # if only $after exists "YYYYMMDD.." because "." could be skipped
+       # if interpreted as an end-of-sentence
+       $t =~ s/\A(\d{8,14})-// and $after = str2ts($1);
+       $t =~ /\A(\d{8,14})\z/ and $before = str2ts($1);
+
+       my $ibx = $ctx->{-inbox};
+       my $msgs = $ibx->recent($opts, $after, $before);
+       my $nr = scalar @$msgs;
+       if ($nr < $lim && defined($after)) {
+               $after = $before = undef;
+               $msgs = $ibx->recent($opts);
+               $nr = scalar @$msgs;
        }
-       if (my $cur_o = $ctx->{-cur_o}) {
-               $latest = qq! <a\nhref=.>latest</a>!;
-
-               my $o = $cur_o - ($next_o - $cur_o);
-               if ($o > 0) {
-                       $prev = qq!<a\nhref="?o=$o"\nrel=prev>prev</a>!;
-               } elsif ($o == 0) {
-                       $prev = qq!<a\nhref=.\nrel=prev>prev</a>!;
+       my $more = $nr == $lim;
+       my ($newest, $oldest);
+       if ($nr) {
+               $newest = $msgs->[0]->{ts};
+               $oldest = $msgs->[-1]->{ts};
+               # if we only had $after, our SQL query in ->recent ordered
+               if ($newest < $oldest) {
+                       ($oldest, $newest) = ($newest, $oldest);
+                       $more = 0 if defined($after) && $after < $oldest;
                }
        }
-       "<hr><pre>page: $next $prev$latest</pre>";
+       if (defined($oldest) && $more) {
+               my $s = ts2str($oldest);
+               $ctx->{next_page} = qq!<a\nhref="?t=$s"\nrel=next>next</a>!;
+       }
+       if (defined($newest) && (defined($before) || defined($after))) {
+               my $s = ts2str($newest);
+               $ctx->{prev_page} = qq!<a\nhref="?t=$s-"\nrel=prev>prev</a>!;
+       }
+       $msgs;
 }
 
 sub index_topics {
        my ($ctx) = @_;
-       my ($off) = (($ctx->{qp}->{o} || '0') =~ /(\d+)/);
-       my $opts = { offset => $off, limit => 200 };
-
-       $ctx->{order} = [];
-       my $srch = $ctx->{srch};
-       my $sres = $srch->query('', $opts);
-       my $nr = scalar @{$sres->{msgs}};
-       if ($nr) {
-               $sres = load_results($srch, $sres);
-               walk_thread(thread_results($sres, $srch), $ctx, *acc_topic);
+       my $msgs = paginate_recent($ctx, 200); # 200 is our window
+       if (@$msgs) {
+               walk_thread(thread_results($ctx, $msgs), $ctx, *acc_topic);
        }
-       $ctx->{-next_o} = $off+ $nr;
-       $ctx->{-cur_o} = $off;
        PublicInbox::WwwStream->response($ctx, dump_topics($ctx), *index_nav);
 }