lib/PublicInbox/Filter.pm

   1 # Copyright (C) 2013, Eric Wong <normalperson@yhbt.net> and all contributors
   2 # License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
   3 #
   4 # This only exposes one function: run
   5 # Note: the settings here are highly opinionated.  Obviously, this is
   6 # Free Software (AGPLv3), so you may change it if you host yourself.
   7 package PublicInbox::Filter;
   8 use strict;
   9 use warnings;
  10 use Email::MIME;
  11 use Email::MIME::ContentType qw/parse_content_type/;
  12 use Email::Filter;
  13 use IPC::Run;
  14 our $VERSION = '0.0.1';
  15
  16 # start with the same defaults as mailman
  17 our $BAD_EXT = qr/\.(?:exe|bat|cmd|com|pif|scr|vbs|cpl)\z/i;
  18 our $MIME_HTML = qr!\btext/html\b!i;
  19 our $MIME_TEXT_ANY = qr!\btext/[a-z0-9\+\._-]+\b!i;
  20
  21 # this is highly opinionated delivery
  22 # returns 0 only if there is nothing to deliver
  23 sub run {
  24         my ($class, $simple) = @_;
  25
  26         my $content_type = $simple->header("Content-Type") || "text/plain";
  27
  28         # kill potentially bad/confusing headers
  29         # Note: ssoma already does this, but since we mangle the message,
  30         # we should do this before it gets to ssoma.
  31         # We also kill Mail-{Followup,Reply}-To and Reply-To headers due to
  32         # the nature of public-inbox having no real subscribers.
  33         foreach my $d (qw(status lines content-length
  34                         mail-followup-to mail-reply-to reply-to)) {
  35                 $simple->header_set($d);
  36         }
  37
  38         if ($content_type =~ m!\btext/plain\b!i) {
  39                 return 1; # yay, nothing to do
  40         } elsif ($content_type =~ $MIME_HTML) {
  41                 # HTML-only, non-multipart
  42                 my $body = $simple->body;
  43                 my $ct_parsed = parse_content_type($content_type);
  44                 dump_html(\$body, $ct_parsed->{attributes}->{charset});
  45                 replace_body($simple, $body);
  46                 return 1;
  47         } elsif ($content_type =~ m!\bmultipart/!i) {
  48                 return strip_multipart($simple, $content_type);
  49         } else {
  50                 replace_body($simple, "$content_type message scrubbed");
  51                 return 0;
  52         }
  53 }
  54
  55 sub replace_part {
  56         my ($simple, $part, $type) = ($_[0], $_[1], $_[3]);
  57         # don't copy $_[2], that's the body (it may be huge)
  58
  59         # Email::MIME insists on setting Date:, so just set it consistently
  60         # to avoid conflicts to avoid git merge conflicts in a split brain
  61         # situation.
  62         unless (defined $part->header('Date')) {
  63                 my $date = $simple->header('Date') ||
  64                            'Thu, 01 Jan 1970 00:00:00 +0000';
  65                 $part->header_set('Date', $date);
  66         }
  67
  68         $part->charset_set(undef);
  69         $part->name_set(undef);
  70         $part->filename_set(undef);
  71         $part->format_set(undef);
  72         $part->encoding_set('8bit');
  73         $part->disposition_set(undef);
  74         $part->content_type_set($type);
  75         $part->body_set($_[2]);
  76 }
  77
  78 # converts one part of a multipart message to text
  79 sub html_part_to_text {
  80         my ($simple, $part) = @_;
  81         my $body = $part->body;
  82         my $ct_parsed = parse_content_type($part->content_type);
  83         dump_html(\$body, $ct_parsed->{attributes}->{charset});
  84         replace_part($simple, $part, $body, 'text/plain');
  85 }
  86
  87 # modifies $_[0] in place
  88 sub dump_html {
  89         my ($body, $charset) = @_;
  90         $charset ||= 'US-ASCII';
  91         my @cmd = qw(lynx -stdin -stderr -dump);
  92         my $out = "";
  93         my $err = "";
  94
  95         # be careful about remote command injection!
  96         if ($charset =~ /\A[A-Za-z0-9\-]+\z/) {
  97                 push @cmd, "-assume_charset=$charset";
  98         }
  99         if (IPC::Run::run(\@cmd, $body, \$out, \$err)) {
 100                 $$body = $out;
 101         } else {
 102                 # give them an ugly version:
 103                 $$body = "public-inbox HTML conversion failed: $err\n" .
 104                          $$body . "\n";
 105         }
 106 }
 107
 108 # this is to correct user errors and not expected to cover all corner cases
 109 # if users don't want to hit this, they should be sending text/plain messages
 110 # unfortunately, too many people send HTML mail and we'll attempt to convert
 111 # it to something safer, smaller and harder-to-track.
 112 sub strip_multipart {
 113         my ($simple, $content_type) = @_;
 114         my $mime = Email::MIME->new($simple->as_string);
 115
 116         my (@html, @keep);
 117         my $rejected = 0;
 118         my $ok = 1;
 119
 120         # scan through all parts once
 121         $mime->walk_parts(sub {
 122                 my ($part) = @_;
 123                 return if $part->subparts; # walk_parts already recurses
 124
 125                 # some extensions are just bad, reject them outright
 126                 my $fn = $part->filename;
 127                 if (defined($fn) && $fn =~ $BAD_EXT) {
 128                         $rejected++;
 129                         return;
 130                 }
 131
 132                 my $part_type = $part->content_type;
 133                 if ($part_type =~ m!\btext/plain\b!i) {
 134                         push @keep, $part;
 135                 } elsif ($part_type =~ $MIME_HTML) {
 136                         push @html, $part;
 137                 } elsif ($part_type =~ $MIME_TEXT_ANY) {
 138                         # Give other text attachments the benefit of the doubt,
 139                         # here?  Could be source code or script the user wants
 140                         # help with.
 141
 142                         push @keep, $part;
 143                 } elsif ($part_type =~ m!\Aapplication/octet-stream\z!i) {
 144                         # unfortunately, some mailers don't set correct types,
 145                         # let messages of unknown type through but do not
 146                         # change the sender-specified type
 147                         if (recheck_type_ok($part)) {
 148                                 push @keep, $part;
 149                         } else {
 150                                 $rejected++;
 151                         }
 152                 } elsif ($part_type =~ m!\Aapplication/pgp-signature\z!i) {
 153                         # PGP signatures are not huge, we may keep them.
 154                         # They can only be valid if it's the last element,
 155                         # so we keep them iff the message is unmodified:
 156                         if ($rejected == 0 && !@html) {
 157                                 push @keep, $part;
 158                         }
 159                 } else {
 160                         # reject everything else, including non-PGP signatures
 161                         $rejected++;
 162                 }
 163         });
 164
 165         if ($content_type =~ m!\bmultipart/alternative\b!i) {
 166                 if (scalar @keep == 1) {
 167                         return collapse($simple, $keep[0]);
 168                 }
 169         } else { # convert HTML parts to plain text
 170                 foreach my $part (@html) {
 171                         html_part_to_text($simple, $part);
 172                         push @keep, $part;
 173                 }
 174         }
 175
 176         if (@keep == 0) {
 177                 @keep = (Email::MIME->create(
 178                         attributes => {
 179                                 content_type => 'text/plain',
 180                                 charset => 'US-ASCII',
 181                                 encoding => '8bit',
 182                         },
 183                         body_str => 'all attachments scrubbed by '. __PACKAGE__
 184                 ));
 185                 $ok = 0;
 186         }
 187         if (scalar(@html) || $rejected) {
 188                 $mime->parts_set(\@keep);
 189                 $simple->body_set($mime->body_raw);
 190                 mark_changed($simple);
 191         } # else: no changes
 192
 193         return $ok;
 194 }
 195
 196 sub mark_changed {
 197         my ($simple) = @_;
 198         $simple->header_set("X-Content-Filtered-By", __PACKAGE__ ." $VERSION");
 199 }
 200
 201 sub collapse {
 202         my ($simple, $part) = @_;
 203         $simple->header_set("Content-Type", $part->content_type);
 204         $simple->body_set($part->body_raw);
 205         mark_changed($simple);
 206         return 1;
 207 }
 208
 209 sub replace_body {
 210         my $simple = $_[0];
 211         $simple->body_set($_[1]);
 212         $simple->header_set("Content-Type", "text/plain");
 213         if ($simple->header("Content-Transfer-Encoding")) {
 214                 $simple->header_set("Content-Transfer-Encoding", undef);
 215         }
 216         mark_changed($simple);
 217 }
 218
 219 # Check for display-able text, no messed up binaries
 220 # Note: we can not rewrite the message with the detected mime type
 221 sub recheck_type_ok {
 222         my ($part) = @_;
 223         my $s = $part->body;
 224         ((bytes::length($s) < 0x10000) &&
 225                 ($s =~ /\A([\P{XPosixPrint}\f\n\r\t]+)\z/))
 226 }
 227
 228 1;