]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/View.pm
huge refactor of encoding handling
[public-inbox.git] / lib / PublicInbox / View.pm
index 2efbf1b54d771ad7ad48e0c0d32a75db99bc3816..0a8ab549c97b878c8f2fa215b6a1230acec1850d 100644 (file)
@@ -3,16 +3,23 @@
 package PublicInbox::View;
 use strict;
 use warnings;
+use PublicInbox::Hval;
 use URI::Escape qw/uri_escape/;
-use CGI qw/escapeHTML/;
-use Encode qw/decode encode/;
+use Encode qw/find_encoding/;
 use Encode::MIME::Header;
+use Email::MIME::ContentType qw/parse_content_type/;
+use constant MAX_INLINE_QUOTED => 5;
+use constant MAX_TRUNC_LEN => 72;
+*ascii_html = *PublicInbox::Hval::ascii_html;
+
+my $enc_utf8 = find_encoding('UTF-8');
+my $enc_mime = find_encoding('MIME-Header');
 
 # public functions:
 sub as_html {
        my ($class, $mime, $full_pfx) = @_;
 
-       headers_to_html_header($mime) .
+       headers_to_html_header($mime, $full_pfx) .
                multipart_text_as_html($mime, $full_pfx) .
                '</pre></body></html>';
 }
@@ -26,28 +33,42 @@ sub as_feed_entry {
 
 # only private functions below.
 
+sub enc_for {
+       my ($ct) = @_;
+       defined $ct or return $enc_utf8;
+       my $ct_parsed = parse_content_type($ct);
+       if ($ct_parsed) {
+               if (my $charset = $ct_parsed->{attributes}->{charset}) {
+                       my $enc = find_encoding($charset);
+                       return $enc if $enc;
+               }
+       }
+       $enc_utf8;
+}
+
 sub multipart_text_as_html {
        my ($mime, $full_pfx) = @_;
        my $rv = "";
        my $part_nr = 0;
+       my $enc_msg = enc_for($mime->header("Content-Type"));
 
        # scan through all parts, looking for displayable text
        $mime->walk_parts(sub {
                my ($part) = @_;
                return if $part->subparts; # walk_parts already recurses
-
-               my $fn = $part->filename;
+               my $enc = enc_for($part->content_type) || $enc_msg || $enc_utf8;
 
                if ($part_nr > 0) {
+                       my $fn = $part->filename;
                        defined($fn) or $fn = "part #" . ($part_nr + 1);
-                       $rv .= add_filename_line($fn);
+                       $rv .= add_filename_line($enc->decode($fn));
                }
 
                if (defined $full_pfx) {
-                       $rv .= add_text_body_short($part, $part_nr,
+                       $rv .= add_text_body_short($enc, $part, $part_nr,
                                                $full_pfx);
                } else {
-                       $rv .= add_text_body_full($part, $part_nr);
+                       $rv .= add_text_body_full($enc, $part, $part_nr);
                }
                $rv .= "\n" unless $rv =~ /\n\z/s;
                ++$part_nr;
@@ -62,29 +83,35 @@ sub add_filename_line {
 
        $len -= length($fn);
        $pad x= ($len/2) if ($len > 0);
-       "$pad " . escapeHTML($fn) . " $pad\n";
+       "$pad " . ascii_html($fn) . " $pad\n";
 }
 
 sub add_text_body_short {
-       my ($part, $part_nr, $full_pfx) = @_;
+       my ($enc, $part, $part_nr, $full_pfx) = @_;
        my $n = 0;
-       my $s = escapeHTML($part->body);
-       $s =~ s!^((?:(?:&gt;[^\n]+)\n)+)!
+       my $s = ascii_html($enc->decode($part->body));
+       $s =~ s!^((?:(?:&gt;[^\n]*)\n)+)!
                my $cur = $1;
                my @lines = split(/\n/, $cur);
-               if (@lines > 1) {
+               if (@lines > MAX_INLINE_QUOTED) {
                        # show a short snippet of quoted text
                        $cur = join(' ', @lines);
-                       $cur =~ s/&gt; ?//g;
+                       $cur =~ s/^&gt;\s*//;
 
                        my @sum = split(/\s+/, $cur);
                        $cur = '';
                        do {
-                               $cur .= shift(@sum) . ' ';
-                       } while (@sum && length($cur) < 68);
-                       $cur=~ s/ \z/ .../;
+                               my $tmp = shift(@sum);
+                               my $len = length($tmp) + length($cur);
+                               if ($len > MAX_TRUNC_LEN) {
+                                       @sum = ();
+                               } else {
+                                       $cur .= $tmp . ' ';
+                               }
+                       } while (@sum && length($cur) < MAX_TRUNC_LEN);
+                       $cur =~ s/ \z/ .../;
                        "&gt; &lt;<a href=\"${full_pfx}#q${part_nr}_" . $n++ .
-                               "\">$cur<\/a>&gt;";
+                               "\">$cur<\/a>&gt;\n";
                } else {
                        $cur;
                }
@@ -93,13 +120,13 @@ sub add_text_body_short {
 }
 
 sub add_text_body_full {
-       my ($part, $part_nr) = @_;
+       my ($enc, $part, $part_nr) = @_;
        my $n = 0;
-       my $s = escapeHTML($part->body);
-       $s =~ s!^((?:(?:&gt;[^\n]+)\n)+)!
+       my $s = ascii_html($enc->decode($part->body));
+       $s =~ s!^((?:(?:&gt;[^\n]*)\n)+)!
                my $cur = $1;
                my @lines = split(/\n/, $cur);
-               if (@lines > 1) {
+               if (@lines > MAX_INLINE_QUOTED) {
                        "<a name=q${part_nr}_" . $n++ . ">$cur</a>";
                } else {
                        $cur;
@@ -108,45 +135,44 @@ sub add_text_body_full {
        $s;
 }
 
-sub trim_message_id {
-       my ($mid) = @_;
-       $mid =~ s/\A<//;
-       $mid =~ s/>\z//;
-       my $html = escapeHTML($mid);
-       my $href = escapeHTML(uri_escape($mid));
-
-       ($html, $href);
-}
-
 sub headers_to_html_header {
-       my ($simple) = @_;
+       my ($mime, $full_pfx) = @_;
 
        my $rv = "";
        my @title;
        foreach my $h (qw(From To Cc Subject Date)) {
-               my $v = $simple->header($h);
-               defined $v or next;
-               $v = decode("MIME-Header", $v);
-               $v = encode("utf8", $v);
-               $v = escapeHTML($v);
-               $v =~ tr/\n/ /;
-               $rv .= "$h: $v\n";
-
-               if ($h eq "From" || $h eq "Subject") {
-                       push @title, $v;
+               my $v = $mime->header($h);
+               defined($v) && length($v) or next;
+               $v = PublicInbox::Hval->new_oneline($v);
+               $rv .= "$h: " . $v->as_html . "\n";
+
+               if ($h eq 'From') {
+                       my @from = Email::Address->parse($v->raw);
+                       $v = $from[0]->name;
+                       unless (defined($v) && length($v)) {
+                               $v = '<' . $from[0]->address . '>';
+                       }
+                       $title[1] = ascii_html($v);
+               } elsif ($h eq 'Subject') {
+                       $title[0] = $v->as_html;
                }
        }
 
-       my $mid = $simple->header('Message-ID');
+       my $header_obj = $mime->header_obj;
+       my $mid = $header_obj->header_raw('Message-ID');
        if (defined $mid) {
-               my ($html, $href) = trim_message_id($mid);
-               $rv .= "Message-ID: &lt;<a href=\"$href.html\">$html</a>&gt; ";
+               $mid = PublicInbox::Hval->new_msgid($mid);
+               $rv .= 'Message-ID: &lt;' . $mid->as_html . '&gt; ';
+               my $href = $mid->as_href;
+               $href = "../m/$href" unless $full_pfx;
                $rv .= "(<a href=\"$href.txt\">original</a>)\n";
        }
 
-       my $irp = $simple->header('In-Reply-To');
+       my $irp = $header_obj->header_raw('In-Reply-To');
        if (defined $irp) {
-               my ($html, $href) = trim_message_id($irp);
+               $irp = PublicInbox::Hval->new_msgid($irp);
+               my $html = $irp->as_html;
+               my $href = $irp->as_href;
                $rv .= "In-Reply-To: &lt;";
                $rv .= "<a href=\"$href.html\">$html</a>&gt;\n";
        }