]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/View.pm
search: s/count/total/ for results
[public-inbox.git] / lib / PublicInbox / View.pm
index c40a2a75c8ab119345c5fd7bfdcd97ce74fd2d3d..8105affecffa7fa8412b8c0f8013ce18e14de0d2 100644 (file)
@@ -9,7 +9,7 @@ use Encode qw/find_encoding/;
 use Encode::MIME::Header;
 use Email::MIME::ContentType qw/parse_content_type/;
 use PublicInbox::Hval;
-use PublicInbox::MID qw/mid_clean mid_compressed/;
+use PublicInbox::MID qw/mid_clean mid_compressed mid2path/;
 use Digest::SHA;
 require POSIX;
 
@@ -31,10 +31,11 @@ sub msg_html {
        } else {
                $footer = '';
        }
-       headers_to_html_header($mime, $full_pfx) .
+       headers_to_html_header($mime, $full_pfx, $srch) .
                multipart_text_as_html($mime, $full_pfx) .
-               '</pre><hr />' . PRE_WRAP .
-               html_footer($mime, 1, $full_pfx, $srch) . $footer .
+               '</pre><hr /><pre>' .
+               html_footer($mime, 1, $full_pfx, $srch) .
+               $footer .
                '</pre></body></html>';
 }
 
@@ -48,16 +49,15 @@ sub feed_entry {
 # state = [ time, seen = {}, first_commit, page_nr = 0 ]
 sub index_entry {
        my (undef, $mime, $level, $state) = @_;
-       my (undef, $seen, $first_commit) = @$state;
+       my ($srch, $seen, $first_commit) = @$state;
        my $midx = $state->[3]++;
        my ($prev, $next) = ($midx - 1, $midx + 1);
-       my $rv = '';
        my $part_nr = 0;
-       my $enc_msg = enc_for($mime->header("Content-Type"));
+       my $enc = enc_for($mime->header("Content-Type"));
        my $subj = $mime->header('Subject');
        my $header_obj = $mime->header_obj;
 
-       my $mid_raw = $header_obj->header_raw('Message-ID');
+       my $mid_raw = $header_obj->header('Message-ID');
        my $id = anchor_for($mid_raw);
        $seen->{$id} = "#$id"; # save the anchor for later
 
@@ -69,49 +69,59 @@ sub index_entry {
 
        $from = PublicInbox::Hval->new_oneline($from)->as_html;
        $subj = PublicInbox::Hval->new_oneline($subj)->as_html;
-       my $pfx = ('  ' x $level);
        my $root_anchor = $seen->{root_anchor};
-       my $path;
        my $more = 'permalink';
-       if ($root_anchor) {
-               $path = '../';
-               $subj = "<u\nid=\"u\">$subj</u>" if $root_anchor eq $id;
+       my $path = $root_anchor ? '../' : '';
+       my $href = $mid->as_href;
+       my $irt = $header_obj->header('In-Reply-To');
+       my ($anchor_idx, $anchor, $t_anchor);
+       if (defined $irt) {
+               $anchor_idx = anchor_for($irt);
+               $anchor = $seen->{$anchor_idx};
+               $t_anchor = T_ANCHOR;
        } else {
-               $path = '';
+               $t_anchor = '';
+       }
+       if (defined $srch) {
+               $subj = "<a\nhref=\"${path}t/$href.html#u\">$subj</a>";
+       }
+       if ($root_anchor && $root_anchor eq $id) {
+               $subj = "<u\nid=\"u\">$subj</u>";
        }
 
        my $ts = $mime->header('X-PI-TS');
-       my $fmt = '%Y-%m-%d %H:%M UTC';
+       unless (defined $ts) {
+               $ts = msg_timestamp($mime);
+       }
+       my $fmt = '%Y-%m-%d %H:%M';
        $ts = POSIX::strftime($fmt, gmtime($ts));
 
-       $rv .= "$pfx<b\nid=\"$id\">$subj</b>\n$pfx";
-       $rv .= "- by $from @ $ts - ";
-       $rv .= "<a\nid=\"s$midx\"\nhref=\"#s$next\">next</a>";
+       my $rv = "<table\nsummary=l$level><tr>";
+       if ($level) {
+               $rv .= '<td><pre>' . ('  ' x $level) . '</pre></td>';
+       }
+       $rv .= "<td\nid=s$midx>" . PRE_WRAP;
+       $rv .= "<b\nid=\"$id\">$subj</b>\n";
+       $rv .= "- by $from @ $ts UTC - ";
+       $rv .= "<a\nhref=\"#s$next\">next</a>";
        if ($prev >= 0) {
                $rv .= "/<a\nhref=\"#s$prev\">prev</a>";
        }
        $rv .= "\n\n";
 
-       my $irt = $header_obj->header_raw('In-Reply-To');
-       my ($anchor_idx, $anchor, $t_anchor);
-       if (defined $irt) {
-               $anchor_idx = anchor_for($irt);
-               $anchor = $seen->{$anchor_idx};
-               $t_anchor = T_ANCHOR;
-       } else {
-               $t_anchor = '';
-       }
-       my $href = $mid->as_href;
+       my ($fhref, $more_ref);
        my $mhref = "${path}m/$href.html";
-       my $fhref = "${path}f/$href.html";
+       if ($level > 0) {
+               $fhref = "${path}f/$href.html";
+               $more_ref = \$more;
+       }
        # scan through all parts, looking for displayable text
        $mime->walk_parts(sub {
-               $rv .= index_walk($_[0], $pfx, $enc_msg, $part_nr, $fhref,
-                                 \$more);
-               $part_nr++;
+               $rv .= index_walk($_[0], $enc, \$part_nr, $fhref, $more_ref);
        });
+       $mime->body_set('');
 
-       $rv .= "\n$pfx<a\nhref=\"$mhref\">$more</a> ";
+       $rv .= "\n<a\nhref=\"$mhref\">$more</a> ";
        my $txt = "${path}m/$href.txt";
        $rv .= "<a\nhref=\"$txt\">raw</a> ";
        $rv .= html_footer($mime, 0);
@@ -126,11 +136,12 @@ sub index_entry {
                $rv .= " <a\nhref=\"$anchor\">parent</a>";
        }
 
-       if ($first_commit) {
-               $rv .= " <a\nhref=\"t/$href.html$t_anchor\">thread</a>";
+       if ($srch) {
+               $rv .= " <a\nhref=\"${path}t/$href.html$t_anchor\">" .
+                      "threadlink</a>";
        }
 
-       $rv . "\n\n";
+       $rv .= '</pre></td></tr></table>';
 }
 
 sub thread_html {
@@ -138,86 +149,54 @@ sub thread_html {
        my $mid = mid_compressed($ctx->{mid});
        my $res = $srch->get_thread($mid);
        my $rv = '';
-       require PublicInbox::GitCatFile;
-       my $git = PublicInbox::GitCatFile->new($ctx->{git_dir});
-       my $nr = scalar @{$res->{msgs}};
+       my $msgs = load_results($res);
+       my $nr = scalar @$msgs;
        return $rv if $nr == 0;
-       my @msgs;
-       while (my $smsg = shift @{$res->{msgs}}) {
-               my $m = $smsg->mid;
-
-               # Duplicated from WWW.pm
-               my ($x2, $x38) = ($m =~ /\A([a-f0-9]{2})([a-f0-9]{38})\z/);
-
-               unless (defined $x38) {
-                       require Digest::SHA;
-                       $m = Digest::SHA::sha1_hex($m);
-                       ($x2, $x38) = ($m =~ /\A([a-f0-9]{2})([a-f0-9]{38})\z/);
-               }
-
-               # FIXME: duplicated code from Feed.pm
-               my $mime = eval {
-                       my $str = $git->cat_file("HEAD:$x2/$x38");
-                       Email::MIME->new($str);
-               };
-               unless ($@) {
-                       my $t = eval { str2time($mime->header('Date')) };
-                       defined($t) or $t = 0;
-                       $mime->header_set('X-PI-TS', $t);
-                       push @msgs, $mime;
-               }
+       my $th = thread_results($msgs);
+       my $state = [ $srch, { root_anchor => anchor_for($mid) }, undef, 0 ];
+       {
+               require PublicInbox::GitCatFile;
+               my $git = PublicInbox::GitCatFile->new($ctx->{git_dir});
+               thread_entry(\$rv, $git, $state, $_, 0) for $th->rootset;
        }
-       require PublicInbox::Thread;
-       my $th = PublicInbox::Thread->new(@msgs);
-       $th->thread;
-       $th->order(*PublicInbox::Thread::sort_ts);
-       my $state = [ undef, { root_anchor => anchor_for($mid) }, undef, 0 ];
-       thread_entry(\$rv, $state, $_, 0) for $th->rootset;
        my $final_anchor = $state->[3];
-       my $next = "<a\nid=\"s$final_anchor\">end of thread</a>\n";
+       my $next = "<a\nid=\"s$final_anchor\">";
 
-       $rv .= "</pre><hr />" . PRE_WRAP . $next . $foot . "</pre>";
+       if ($final_anchor == 1) {
+               $next .= 'only message in thread';
+       } else {
+               $next .= 'end of thread';
+       }
+       $next .= "</a>, back to <a\nhref=\"../\">index</a>\n";
+
+       $rv .= "<hr />" . PRE_WRAP . $next . $foot . "</pre>";
 }
 
 # only private functions below.
 
 sub index_walk {
-       my ($part, $pfx, $enc_msg, $part_nr, $fhref, $more) = @_;
-       my $rv = '';
-       return $rv if $part->subparts; # walk_parts already recurses
-       my $ct = $part->content_type;
-
-       # account for filter bugs...
-       return if defined $ct && $ct =~ m!\btext/[xh]+tml\b!i;
+       my ($part, $enc, $part_nr, $fhref, $more) = @_;
+       my $s = add_text_body($enc, $part, $part_nr, $fhref);
 
-       my $enc = enc_for($ct, $enc_msg);
+       if ($more) {
+               # drop the remainder of git patches, they're usually better
+               # to review when the full message is viewed
+               $s =~ s!^---+\n.*\z!!ms and $$more = 'more...';
 
-       if ($part_nr > 0) {
-               my $fn = $part->filename;
-               defined($fn) or $fn = "part #" . ($part_nr + 1);
-               $rv .= $pfx . add_filename_line($enc->decode($fn));
+               # Drop signatures
+               $s =~ s/^-- \n.*\z//ms and $$more = 'more...';
        }
 
-       my $s = add_text_body_short($enc, $part, $part_nr, $fhref);
-
-       # drop the remainder of git patches, they're usually better
-       # to review when the full message is viewed
-       $s =~ s!^---+\n.*\z!!ms and $$more = 'more...';
-
-       # Drop signatures
-       $s =~ s/^-- \n.*\z//ms and $$more = 'more...';
-
-       # kill any leading or trailing whitespace
-       $s =~ s/\A\s+//s;
+       # kill any leading or trailing whitespace lines
+       $s =~ s/^\s*$//sgm;
        $s =~ s/\s+\z//s;
 
        if (length $s) {
-               # add prefix:
-               $s =~ s/^/$pfx/sgm;
-
-               $rv .= $s . "\n";
+               # kill per-line trailing whitespace
+               $s =~ s/[ \t]+$//sgm;
+               $s .= "\n" unless $s =~ /\n\z/s;
        }
-       $rv;
+       $s;
 }
 
 sub enc_for {
@@ -235,45 +214,25 @@ sub enc_for {
 }
 
 sub multipart_text_as_html {
-       my ($mime, $full_pfx) = @_;
+       my ($mime, $full_pfx, $srch) = @_;
        my $rv = "";
        my $part_nr = 0;
-       my $enc_msg = enc_for($mime->header("Content-Type"));
+       my $enc = enc_for($mime->header("Content-Type"));
 
        # scan through all parts, looking for displayable text
        $mime->walk_parts(sub {
                my ($part) = @_;
-               return if $part->subparts; # walk_parts already recurses
-               my $ct = $part->content_type;
-
-               # account for filter bugs...
-               return if defined $ct && $ct =~ m!\btext/[xh]+tml\b!i;
-
-               my $enc = enc_for($ct, $enc_msg);
-
-               if ($part_nr > 0) {
-                       my $fn = $part->filename;
-                       defined($fn) or $fn = "part #" . ($part_nr + 1);
-                       $rv .= add_filename_line($enc->decode($fn));
-               }
-
-               if (defined $full_pfx) {
-                       $rv .= add_text_body_short($enc, $part, $part_nr,
-                                               $full_pfx);
-               } else {
-                       $rv .= add_text_body_full($enc, $part, $part_nr);
-               }
-               $rv .= "\n" unless $rv =~ /\n\z/s;
-               ++$part_nr;
+               $rv .= add_text_body($enc, $part, \$part_nr, $full_pfx);
        });
+       $mime->body_set('');
        $rv;
 }
 
 sub add_filename_line {
-       my ($fn) = @_;
+       my ($enc, $fn) = @_;
        my $len = 72;
        my $pad = "-";
-
+       $fn = $enc->decode($fn);
        $len -= length($fn);
        $pad x= ($len/2) if ($len > 0);
        "$pad " . ascii_html($fn) . " $pad\n";
@@ -284,92 +243,132 @@ my $LINK_RE = qr!\b((?:ftp|https?|nntp)://[@\w\+\&\?\.\%\;/#=-]+)!;
 sub linkify {
        # no newlines added here since it'd break the splitting we do
        # to fold quotes
-       $_[0] =~ s!$LINK_RE!<a href="$1">$1</a>!g;
+       $_[0] =~ s!$LINK_RE!<a\nhref="$1">$1</a>!g;
 }
 
-sub add_text_body_short {
-       my ($enc, $part, $part_nr, $full_pfx) = @_;
-       my $n = 0;
-       my $s = ascii_html($enc->decode($part->body));
-       linkify($s);
-       $s =~ s!^((?:(?:&gt;[^\n]*)\n)+)!
-               my $cur = $1;
-               my @lines = split(/\n/, $cur);
-               if (@lines > MAX_INLINE_QUOTED) {
-                       # show a short snippet of quoted text
-                       $cur = join(' ', @lines);
-                       $cur =~ s/^&gt;\s*//;
-
-                       my @sum = split(/\s+/, $cur);
-                       $cur = '';
-                       do {
-                               my $tmp = shift(@sum);
-                               my $len = length($tmp) + length($cur);
-                               if ($len > MAX_TRUNC_LEN) {
-                                       @sum = ();
-                               } else {
-                                       $cur .= $tmp . ' ';
-                               }
-                       } while (@sum && length($cur) < MAX_TRUNC_LEN);
-                       $cur =~ s/ \z/ .../;
-                       "&gt; &lt;<a\nhref=\"${full_pfx}#q${part_nr}_" . $n++ .
-                               "\">$cur<\/a>&gt;\n";
-               } else {
-                       $cur;
+sub flush_quote {
+       my ($quot, $n, $part_nr, $full_pfx, $final) = @_;
+
+       if ($full_pfx) {
+               if (!$final && scalar(@$quot) <= MAX_INLINE_QUOTED) {
+                       # show quote inline
+                       my $rv = join("\n", map { linkify($_); $_ } @$quot);
+                       @$quot = ();
+                       return $rv . "\n";
                }
-       !emg;
-       $s;
+
+               # show a short snippet of quoted text and link to full version:
+               @$quot = map { s/^(?:&gt;\s*)+//gm; $_ } @$quot;
+               my $cur = join(' ', @$quot);
+               @$quot = split(/\s+/, $cur);
+               $cur = '';
+               do {
+                       my $tmp = shift(@$quot);
+                       my $len = length($tmp) + length($cur);
+                       if ($len > MAX_TRUNC_LEN) {
+                               @$quot = ();
+                       } else {
+                               $cur .= $tmp . ' ';
+                       }
+               } while (@$quot && length($cur) < MAX_TRUNC_LEN);
+               @$quot = ();
+               $cur =~ s/ \z/ .../s;
+               my $nr = ++$$n;
+               "&gt; [<a\nhref=\"$full_pfx#q${part_nr}_$nr\">$cur</a>]\n";
+       } else {
+               # show everything in the full version with anchor from
+               # short version (see above)
+               my $nr = ++$$n;
+               my $rv = "<a\nid=q${part_nr}_$nr></a>";
+               $rv .= join("\n", map { linkify($_); $_ } @$quot) . "\n";
+               @$quot = ();
+               $rv;
+       }
 }
 
-sub add_text_body_full {
-       my ($enc, $part, $part_nr) = @_;
+sub add_text_body {
+       my ($enc_msg, $part, $part_nr, $full_pfx) = @_;
+       return '' if $part->subparts;
+
+       my $ct = $part->content_type;
+       # account for filter bugs...
+       if (defined $ct && $ct =~ m!\btext/[xh]+tml\b!i) {
+               $part->body_set('');
+               return '';
+       }
+       my $enc = enc_for($ct, $enc_msg);
        my $n = 0;
-       my $s = ascii_html($enc->decode($part->body));
-       linkify($s);
-       $s =~ s!^((?:(?:&gt;[^\n]*)\n)+)!
-               my $cur = $1;
-               my @lines = split(/\n/, $cur);
-               if (@lines > MAX_INLINE_QUOTED) {
-                       "<a\nid=q${part_nr}_" . $n++ . ">$cur</a>";
+       my $nr = 0;
+       my $s = $part->body;
+       $part->body_set('');
+       $s = $enc->decode($s);
+       $s = ascii_html($s);
+       my @lines = split(/\n/, $s);
+       $s = '';
+
+       if ($$part_nr > 0) {
+               my $fn = $part->filename;
+               defined($fn) or $fn = "part #" . ($$part_nr + 1);
+               $s .= add_filename_line($enc, $fn);
+       }
+
+       my @quot;
+       while (defined(my $cur = shift @lines)) {
+               if ($cur !~ /^&gt;/) {
+                       # show the previously buffered quote inline
+                       if (scalar @quot) {
+                               $s .= flush_quote(\@quot, \$n, $$part_nr,
+                                                 $full_pfx, 0);
+                       }
+
+                       # regular line, OK
+                       linkify($cur);
+                       $s .= $cur;
+                       $s .= "\n";
                } else {
-                       $cur;
+                       push @quot, $cur;
                }
-       !emg;
+       }
+       $s .= flush_quote(\@quot, \$n, $$part_nr, $full_pfx, 1) if scalar @quot;
+       $s .= "\n" unless $s =~ /\n\z/s;
+       ++$$part_nr;
        $s;
 }
 
 sub headers_to_html_header {
-       my ($mime, $full_pfx) = @_;
+       my ($mime, $full_pfx, $srch) = @_;
 
        my $rv = "";
        my @title;
+       my $header_obj = $mime->header_obj;
+       my $mid = $header_obj->header('Message-ID');
+       $mid = PublicInbox::Hval->new_msgid($mid);
+       my $mid_href = $mid->as_href;
        foreach my $h (qw(From To Cc Subject Date)) {
                my $v = $mime->header($h);
                defined($v) && length($v) or next;
                $v = PublicInbox::Hval->new_oneline($v);
-               $rv .= "$h: " . $v->as_html . "\n";
 
                if ($h eq 'From') {
                        my @from = Email::Address->parse($v->raw);
-                       $v = $from[0]->name;
-                       unless (defined($v) && length($v)) {
-                               $v = '<' . $from[0]->address . '>';
-                       }
-                       $title[1] = ascii_html($v);
+                       $title[1] = ascii_html($from[0]->name);
                } elsif ($h eq 'Subject') {
                        $title[0] = $v->as_html;
+                       if ($srch) {
+                               $rv .= "$h: <a\nhref=\"../t/$mid_href.html\">";
+                               $rv .= $v->as_html . "</a>\n";
+                               next;
+                       }
                }
+               $rv .= "$h: " . $v->as_html . "\n";
+
        }
 
-       my $header_obj = $mime->header_obj;
-       my $mid = $header_obj->header_raw('Message-ID');
-       $mid = PublicInbox::Hval->new_msgid($mid);
        $rv .= 'Message-ID: &lt;' . $mid->as_html . '&gt; ';
-       my $href = $mid->as_href;
-       $href = "../m/$href" unless $full_pfx;
-       $rv .= "(<a\nhref=\"$href.txt\">raw</a>)\n";
+       $mid_href = "../m/$mid_href" unless $full_pfx;
+       $rv .= "(<a\nhref=\"$mid_href.txt\">raw</a>)\n";
 
-       my $irt = $header_obj->header_raw('In-Reply-To');
+       my $irt = $header_obj->header('In-Reply-To');
        if (defined $irt) {
                my $v = PublicInbox::Hval->new_msgid($irt);
                my $html = $v->as_html;
@@ -378,12 +377,21 @@ sub headers_to_html_header {
                $rv .= "<a\nhref=\"$href.html\">$html</a>&gt;\n";
        }
 
-       my $refs = $header_obj->header_raw('References');
+       my $refs = $header_obj->header('References');
        if ($refs) {
-               $refs =~ s/\s*\Q$irt\E\s*// if (defined $irt);
-               my @refs = ($refs =~ /<([^>]+)>/g);
+               # avoid redundant URLs wasting bandwidth
+               my %seen;
+               $seen{mid_clean($irt)} = 1 if defined $irt;
+               my @refs;
+               my @raw_refs = ($refs =~ /<([^>]+)>/g);
+               foreach my $ref (@raw_refs) {
+                       next if $seen{$ref};
+                       $seen{$ref} = 1;
+                       push @refs, linkify_ref($ref);
+               }
+
                if (@refs) {
-                       $rv .= 'References: '. linkify_refs(@refs) . "\n";
+                       $rv .= 'References: '. join(' ', @refs) . "\n";
                }
        }
 
@@ -413,7 +421,7 @@ sub html_footer {
 
        my $subj = $mime->header('Subject') || '';
        $subj = "Re: $subj" unless $subj =~ /\bRe:/;
-       my $mid = $mime->header_obj->header_raw('Message-ID');
+       my $mid = $mime->header_obj->header('Message-ID');
        my $irt = uri_escape_utf8($mid);
        delete $cc{$to};
        $to = uri_escape_utf8($to);
@@ -424,17 +432,19 @@ sub html_footer {
 
        my $idx = $standalone ? " <a\nhref=\"../\">index</a>" : '';
        if ($idx && $srch) {
-               $irt = $mime->header_obj->header_raw('In-Reply-To') || '';
+               $irt = $mime->header_obj->header('In-Reply-To') || '';
                $mid = mid_compressed(mid_clean($mid));
                my $t_anchor = length $irt ? T_ANCHOR : '';
-               $idx = " <a\nhref=\"../t/$mid.html$t_anchor\">thread</a>$idx";
-               my $res = $srch->get_replies($mid);
-               if (my $c = $res->{count}) {
-                       $c = $c == 1 ? '1 reply' : "$c replies";
+               $idx = " <a\nhref=\"../t/$mid.html$t_anchor\">".
+                      "threadlink</a>$idx";
+               my $res = $srch->get_followups($mid);
+               if (my $c = $res->{total}) {
+                       $c = $c == 1 ? '1 followup' : "$c followups";
                        $idx .= "\n$c:\n";
-                       thread_replies(\$idx, $mime, $res);
+                       $res->{srch} = $srch;
+                       thread_followups(\$idx, $mime, $res);
                } else {
-                       $idx .= "\n(no replies yet)\n";
+                       $idx .= "\n(no followups, yet)\n";
                }
                if ($irt) {
                        $irt = PublicInbox::Hval->new_msgid($irt);
@@ -450,29 +460,33 @@ sub html_footer {
        "$irt<a\nhref=\"" . ascii_html($href) . '">reply</a>' . $idx;
 }
 
-sub linkify_refs {
-       join(' ', map {
-               my $v = PublicInbox::Hval->new_msgid($_);
-               my $html = $v->as_html;
-               my $href = $v->as_href;
-               "&lt;<a\nhref=\"$href.html\">$html</a>&gt;";
-       } @_);
+sub linkify_ref {
+       my $v = PublicInbox::Hval->new_msgid($_[0]);
+       my $html = $v->as_html;
+       my $href = $v->as_href;
+       "&lt;<a\nhref=\"$href.html\">$html</a>&gt;";
 }
 
 sub anchor_for {
        my ($msgid) = @_;
-       'm' . mid_compressed(mid_clean($msgid));
+       my $id = $msgid;
+       if ($id !~ /\A[a-f0-9]{40}\z/) {
+               $id = mid_compressed(mid_clean($id), 1);
+       }
+       'm' . $id;
 }
 
 sub simple_dump {
        my ($dst, $root, $node, $level) = @_;
-       my $pfx = '  ' x $level;
-       $$dst .= $pfx;
+       return unless $node;
+       # $root = [ Root Message-ID, \%seen, $srch ];
        if (my $x = $node->message) {
                my $mid = $x->header('Message-ID');
                if ($root->[0] ne $mid) {
+                       my $pfx = '  ' x $level;
+                       $$dst .= $pfx;
                        my $s = $x->header('Subject');
-                       my $h = hash_subj($s);
+                       my $h = $root->[2]->subject_path($s);
                        if ($root->[1]->{$h}) {
                                $s = '';
                        } else {
@@ -494,29 +508,20 @@ sub simple_dump {
                        }
                }
        }
-       simple_dump($dst, $root, $node->child, $level + 1) if $node->child;
-       simple_dump($dst, $root, $node->next, $level) if $node->next;
+       simple_dump($dst, $root, $node->child, $level+1);
+       simple_dump($dst, $root, $node->next, $level);
 }
 
-sub hash_subj {
-       my ($subj) = @_;
-       $subj =~ s/\A\s+//;
-       $subj =~ s/\s+\z//;
-       $subj =~ s/^(?:re|aw):\s*//i; # remove reply prefix (aw: German)
-       $subj =~ s/\s+/ /;
-       Digest::SHA::sha1($subj);
-}
-
-sub thread_replies {
+sub thread_followups {
        my ($dst, $root, $res) = @_;
-       my @msgs = map { $_->mini_mime } @{$res->{msgs}};
-       require PublicInbox::Thread;
        $root->header_set('X-PI-TS', '0');
-       my $th = PublicInbox::Thread->new($root, @msgs);
-       $th->thread;
-       $th->order(*PublicInbox::Thread::sort_ts);
-       $root = [ $root->header('Message-ID'),
-                 { hash_subj($root->header('Subject')) => 1 } ];
+       my $msgs = load_results($res);
+       push @$msgs, $root;
+       my $th = thread_results($msgs);
+       my $srch = $res->{srch};
+       my $subj = $srch->subject_path($root->header('Subject'));
+       my %seen = ($subj => 1);
+       $root = [ $root->header('Message-ID'), \%seen, $srch ];
        simple_dump($dst, $root, $_, 0) for $th->rootset;
 }
 
@@ -524,25 +529,52 @@ sub thread_html_head {
        my ($mime) = @_;
        my $s = PublicInbox::Hval->new_oneline($mime->header('Subject'));
        $s = $s->as_html;
-       "<html><head><title>$s</title></head><body>" . PRE_WRAP
-
+       "<html><head><title>$s</title></head><body>";
 }
 
 sub thread_entry {
-       my ($dst, $state, $node, $level) = @_;
+       my ($dst, $git, $state, $node, $level) = @_;
+       return unless $node;
        # $state = [ $search_res, $seen, undef, 0 (msg_nr) ];
        # $seen is overloaded with 3 types of fields:
-       #       1) "root" => Message-ID,
+       #       1) "root_anchor" => anchor_for(Message-ID),
        #       2) seen subject hashes: sha1(subject) => 1
        #       3) anchors hashes: "#$sha1_hex" (same as $seen in index_entry)
        if (my $mime = $node->message) {
-               if (length($$dst) == 0) {
-                       $$dst .= thread_html_head($mime);
+
+               # lazy load the full message from mini_mime:
+               my $path = mid2path(mid_clean($mime->header('Message-ID')));
+               $mime = eval { Email::MIME->new($git->cat_file("HEAD:$path")) };
+               if ($mime) {
+                       if (length($$dst) == 0) {
+                               $$dst .= thread_html_head($mime);
+                       }
+                       $$dst .= index_entry(undef, $mime, $level, $state);
                }
-               $$dst .= index_entry(undef, $mime, $level, $state);
        }
-       thread_entry($dst, $state, $node->child, $level + 1) if $node->child;
-       thread_entry($dst, $state, $node->next, $level) if $node->next;
+       thread_entry($dst, $git, $state, $node->child, $level + 1);
+       thread_entry($dst, $git, $state, $node->next, $level);
+}
+
+sub load_results {
+       my ($res) = @_;
+
+       [ map { $_->mini_mime } @{delete $res->{msgs}} ];
+}
+
+sub msg_timestamp {
+       my ($mime) = @_;
+       my $ts = eval { str2time($mime->header('Date')) };
+       defined($ts) ? $ts : 0;
+}
+
+sub thread_results {
+       my ($msgs) = @_;
+       require PublicInbox::Thread;
+       my $th = PublicInbox::Thread->new(@$msgs);
+       $th->thread;
+       $th->order(*PublicInbox::Thread::sort_ts);
+       $th
 }
 
 1;