t/lei_to_mail.t

   1 #!perl -w
   2 # Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use v5.10.1;
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::Eml;
   9 use Fcntl qw(SEEK_SET);
  10 use PublicInbox::Spawn qw(popen_rd which);
  11 use List::Util qw(shuffle);
  12 require_mods(qw(DBD::SQLite));
  13 require PublicInbox::MboxReader;
  14 require PublicInbox::LeiOverview;
  15 require PublicInbox::LEI;
  16 use_ok 'PublicInbox::LeiToMail';
  17 my $from = "Content-Length: 10\nSubject: x\n\nFrom hell\n";
  18 my $noeol = "Subject: x\n\nFrom hell";
  19 my $crlf = $noeol;
  20 $crlf =~ s/\n/\r\n/g;
  21 my $kw = [qw(seen answered flagged)];
  22 my $smsg = { kw => $kw, blob => '0'x40 };
  23 my @MBOX = qw(mboxcl2 mboxrd mboxcl mboxo);
  24 for my $mbox (@MBOX) {
  25         my $m = "eml2$mbox";
  26         my $cb = PublicInbox::LeiToMail->can($m);
  27         my $s = $cb->(PublicInbox::Eml->new($from), $smsg);
  28         is(substr($$s, -1, 1), "\n", "trailing LF in normal $mbox");
  29         my $eml = PublicInbox::Eml->new($s);
  30         is($eml->header('Status'), 'OR', "Status: set by $m");
  31         is($eml->header('X-Status'), 'AF', "X-Status: set by $m");
  32         if ($mbox eq 'mboxcl2') {
  33                 like($eml->body_raw, qr/^From /, "From not escaped $m");
  34         } else {
  35                 like($eml->body_raw, qr/^>From /, "From escaped once by $m");
  36         }
  37         my @cl = $eml->header('Content-Length');
  38         if ($mbox =~ /mboxcl/) {
  39                 is(scalar(@cl), 1, "$m only has one Content-Length header");
  40                 is($cl[0] + length("\n"),
  41                         length($eml->body_raw), "$m Content-Length matches");
  42         } else {
  43                 is(scalar(@cl), 0, "$m clobbered Content-Length");
  44         }
  45         $s = $cb->(PublicInbox::Eml->new($noeol), $smsg);
  46         is(substr($$s, -1, 1), "\n",
  47                 "trailing LF added by $m when original lacks EOL");
  48         $eml = PublicInbox::Eml->new($s);
  49         if ($mbox eq 'mboxcl2') {
  50                 is($eml->body_raw, "From hell\n", "From not escaped by $m");
  51         } else {
  52                 is($eml->body_raw, ">From hell\n", "From escaped once by $m");
  53         }
  54         $s = $cb->(PublicInbox::Eml->new($crlf), $smsg);
  55         is(substr($$s, -2, 2), "\r\n",
  56                 "trailing CRLF added $m by original lacks EOL");
  57         $eml = PublicInbox::Eml->new($s);
  58         if ($mbox eq 'mboxcl2') {
  59                 is($eml->body_raw, "From hell\r\n", "From not escaped by $m");
  60         } else {
  61                 is($eml->body_raw, ">From hell\r\n", "From escaped once by $m");
  62         }
  63         if ($mbox =~ /mboxcl/) {
  64                 is($eml->header('Content-Length') + length("\r\n"),
  65                         length($eml->body_raw), "$m Content-Length matches");
  66         } elsif ($mbox eq 'mboxrd') {
  67                 $s = $cb->($eml, $smsg);
  68                 $eml = PublicInbox::Eml->new($s);
  69                 is($eml->body_raw,
  70                         ">>From hell\r\n\r\n", "From escaped again by $m");
  71         }
  72 }
  73
  74 my ($tmpdir, $for_destroy) = tmpdir();
  75 local $ENV{TMPDIR} = $tmpdir;
  76 open my $err, '>>', "$tmpdir/lei.err" or BAIL_OUT $!;
  77 my $lei = bless { 2 => $err }, 'PublicInbox::LEI';
  78 my $commit = sub {
  79         $_[0] = undef; # wcb
  80         delete $lei->{1};
  81 };
  82 my $buf = <<'EOM';
  83 From: x@example.com
  84 Subject: x
  85
  86 blah
  87 EOM
  88 my $fn = "$tmpdir/x.mbox";
  89 my ($mbox) = shuffle(@MBOX); # pick one, shouldn't matter
  90 my $wcb_get = sub {
  91         my ($fmt, $dst) = @_;
  92         delete $lei->{dedupe};
  93         $lei->{ovv} = bless {
  94                 fmt => $fmt,
  95                 dst => $dst
  96         }, 'PublicInbox::LeiOverview';
  97         my $l2m = PublicInbox::LeiToMail->new($lei);
  98         SKIP: {
  99                 require_mods('Storable', 1);
 100                 my $dup = Storable::thaw(Storable::freeze($l2m));
 101                 is_deeply($dup, $l2m, "$fmt round-trips through storable");
 102         }
 103         my $zpipe = $l2m->pre_augment($lei);
 104         $l2m->do_augment($lei);
 105         $l2m->post_augment($lei, $zpipe);
 106         $l2m->write_cb($lei);
 107 };
 108
 109 my $deadbeef = { blob => 'deadbeef', kw => [ qw(seen) ] };
 110 my $orig = do {
 111         my $wcb = $wcb_get->($mbox, $fn);
 112         is(ref $wcb, 'CODE', 'write_cb returned callback');
 113         ok(-f $fn && !-s _, 'empty file created');
 114         $wcb->(\(my $dup = $buf), $deadbeef);
 115         $commit->($wcb);
 116         open my $fh, '<', $fn or BAIL_OUT $!;
 117         my $raw = do { local $/; <$fh> };
 118         like($raw, qr/^blah\n/sm, 'wrote content');
 119         unlink $fn or BAIL_OUT $!;
 120
 121         local $lei->{opt} = { jobs => 2 };
 122         $wcb = $wcb_get->($mbox, $fn);
 123         ok(-f $fn && !-s _, 'truncated mbox destination');
 124         $wcb->(\($dup = $buf), $deadbeef);
 125         $commit->($wcb);
 126         open $fh, '<', $fn or BAIL_OUT $!;
 127         is(do { local $/; <$fh> }, $raw, 'jobs > 1');
 128         $raw;
 129 };
 130 for my $zsfx (qw(gz bz2 xz)) { # XXX should we support zst, zz, lzo, lzma?
 131         my $zsfx2cmd = PublicInbox::LeiToMail->can('zsfx2cmd');
 132         SKIP: {
 133                 my $cmd = eval { $zsfx2cmd->($zsfx, 0, $lei) };
 134                 skip $@, 3 if $@;
 135                 my $dc_cmd = eval { $zsfx2cmd->($zsfx, 1, $lei) };
 136                 ok($dc_cmd, "decompressor for .$zsfx");
 137                 my $f = "$fn.$zsfx";
 138                 my $wcb = $wcb_get->($mbox, $f);
 139                 $wcb->(\(my $dup = $buf), $deadbeef);
 140                 $commit->($wcb);
 141                 my $uncompressed = xqx([@$dc_cmd, $f]);
 142                 is($uncompressed, $orig, "$zsfx works unlocked");
 143
 144                 local $lei->{opt} = { jobs => 2 }; # for atomic writes
 145                 unlink $f or BAIL_OUT "unlink $!";
 146                 $wcb = $wcb_get->($mbox, $f);
 147                 $wcb->(\($dup = $buf), $deadbeef);
 148                 $commit->($wcb);
 149                 is(xqx([@$dc_cmd, $f]), $orig, "$zsfx matches with lock");
 150
 151                 local $lei->{opt} = { augment => 1 };
 152                 $wcb = $wcb_get->($mbox, $f);
 153                 $wcb->(\($dup = $buf . "\nx\n"), $deadbeef);
 154                 $commit->($wcb);
 155
 156                 my $cat = popen_rd([@$dc_cmd, $f]);
 157                 my @raw;
 158                 PublicInbox::MboxReader->$mbox($cat,
 159                         sub { push @raw, shift->as_string });
 160                 like($raw[1], qr/\nblah\n\nx\n\z/s, "augmented $zsfx");
 161                 like($raw[0], qr/\nblah\n\z/s, "original preserved $zsfx");
 162
 163                 local $lei->{opt} = { augment => 1, jobs => 2 };
 164                 $wcb = $wcb_get->($mbox, $f);
 165                 $wcb->(\($dup = $buf . "\ny\n"), $deadbeef);
 166                 $commit->($wcb);
 167
 168                 my @raw3;
 169                 $cat = popen_rd([@$dc_cmd, $f]);
 170                 PublicInbox::MboxReader->$mbox($cat,
 171                         sub { push @raw3, shift->as_string });
 172                 my $y = pop @raw3;
 173                 is_deeply(\@raw3, \@raw, 'previous messages preserved');
 174                 like($y, qr/\nblah\n\ny\n\z/s, "augmented $zsfx (atomic)");
 175         }
 176 }
 177
 178 my $as_orig = sub {
 179         my ($eml) = @_;
 180         $eml->header_set('Status');
 181         $eml->as_string;
 182 };
 183
 184 unlink $fn or BAIL_OUT $!;
 185 if ('default deduplication uses content_hash') {
 186         my $wcb = $wcb_get->('mboxo', $fn);
 187         $deadbeef->{kw} = [];
 188         $wcb->(\(my $x = $buf), $deadbeef) for (1..2);
 189         $commit->($wcb);
 190         my $cmp = '';
 191         open my $fh, '<', $fn or BAIL_OUT $!;
 192         PublicInbox::MboxReader->mboxo($fh, sub { $cmp .= $as_orig->(@_) });
 193         is($cmp, $buf, 'only one message written');
 194
 195         local $lei->{opt} = { augment => 1 };
 196         $wcb = $wcb_get->('mboxo', $fn);
 197         $wcb->(\($x = $buf . "\nx\n"), $deadbeef) for (1..2);
 198         $commit->($wcb);
 199         open $fh, '<', $fn or BAIL_OUT $!;
 200         my @x;
 201         PublicInbox::MboxReader->mboxo($fh, sub { push @x, $as_orig->(@_) });
 202         is(scalar(@x), 2, 'augmented mboxo');
 203         is($x[0], $cmp, 'original message preserved');
 204         is($x[1], $buf . "\nx\n", 'new message appended');
 205 }
 206
 207 { # stdout support
 208         open my $tmp, '+>', undef or BAIL_OUT $!;
 209         local $lei->{1} = $tmp;
 210         my $wcb = $wcb_get->('mboxrd', '/dev/stdout');
 211         $wcb->(\(my $x = $buf), $deadbeef);
 212         $commit->($wcb);
 213         seek($tmp, 0, SEEK_SET) or BAIL_OUT $!;
 214         my $cmp = '';
 215         PublicInbox::MboxReader->mboxrd($tmp, sub { $cmp .= $as_orig->(@_) });
 216         is($cmp, $buf, 'message written to stdout');
 217 }
 218
 219 SKIP: { # FIFO support
 220         use POSIX qw(mkfifo);
 221         my $fn = "$tmpdir/fifo";
 222         mkfifo($fn, 0600) or skip("mkfifo not supported: $!", 1);
 223         my $cat = popen_rd([which('cat'), $fn]);
 224         my $wcb = $wcb_get->('mboxo', $fn);
 225         $wcb->(\(my $x = $buf), $deadbeef);
 226         $commit->($wcb);
 227         my $cmp = '';
 228         PublicInbox::MboxReader->mboxo($cat, sub { $cmp .= $as_orig->(@_) });
 229         is($cmp, $buf, 'message written to FIFO');
 230 }
 231
 232 { # Maildir support
 233         my $md = "$tmpdir/maildir/";
 234         my $wcb = $wcb_get->('maildir', $md);
 235         is(ref($wcb), 'CODE', 'got Maildir callback');
 236         my $b4dc0ffee = { blob => 'badc0ffee', kw => [] };
 237         $wcb->(\(my $x = $buf), $b4dc0ffee);
 238
 239         my @f;
 240         PublicInbox::LeiToMail::maildir_each_file($md, sub { push @f, shift });
 241         open my $fh, $f[0] or BAIL_OUT $!;
 242         is(do { local $/; <$fh> }, $buf, 'wrote to Maildir');
 243
 244         $wcb = $wcb_get->('maildir', $md);
 245         my $deadcafe = { blob => 'deadcafe', kw => [] };
 246         $wcb->(\($x = $buf."\nx\n"), $deadcafe);
 247
 248         my @x = ();
 249         PublicInbox::LeiToMail::maildir_each_file($md, sub { push @x, shift });
 250         is(scalar(@x), 1, 'wrote one new file');
 251         ok(!-f $f[0], 'old file clobbered');
 252         open $fh, $x[0] or BAIL_OUT $!;
 253         is(do { local $/; <$fh> }, $buf."\nx\n", 'wrote new file to Maildir');
 254
 255         local $lei->{opt}->{augment} = 1;
 256         $wcb = $wcb_get->('maildir', $md);
 257         $wcb->(\($x = $buf."\ny\n"), $deadcafe);
 258         $wcb->(\($x = $buf."\ny\n"), $b4dc0ffee); # skipped by dedupe
 259         @f = ();
 260         PublicInbox::LeiToMail::maildir_each_file($md, sub { push @f, shift });
 261         is(scalar grep(/\A\Q$x[0]\E\z/, @f), 1, 'old file still there');
 262         my @new = grep(!/\A\Q$x[0]\E\z/, @f);
 263         is(scalar @new, 1, '1 new file written (b4dc0ffee skipped)');
 264         open $fh, $x[0] or BAIL_OUT $!;
 265         is(do { local $/; <$fh> }, $buf."\nx\n", 'old file untouched');
 266         open $fh, $new[0] or BAIL_OUT $!;
 267         is(do { local $/; <$fh> }, $buf."\ny\n", 'new file written');
 268 }
 269
 270 done_testing;