t/lei_to_mail.t

   1 #!perl -w
   2 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use v5.10.1;
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::Eml;
   9 use Fcntl qw(SEEK_SET);
  10 use PublicInbox::Spawn qw(popen_rd which);
  11 use List::Util qw(shuffle);
  12 require_mods(qw(DBD::SQLite));
  13 require PublicInbox::MboxReader;
  14 use_ok 'PublicInbox::LeiToMail';
  15 my $from = "Content-Length: 10\nSubject: x\n\nFrom hell\n";
  16 my $noeol = "Subject: x\n\nFrom hell";
  17 my $crlf = $noeol;
  18 $crlf =~ s/\n/\r\n/g;
  19 my $kw = [qw(seen answered flagged)];
  20 my @MBOX = qw(mboxcl2 mboxrd mboxcl mboxo);
  21 for my $mbox (@MBOX) {
  22         my $m = "eml2$mbox";
  23         my $cb = PublicInbox::LeiToMail->can($m);
  24         my $s = $cb->(PublicInbox::Eml->new($from), $kw);
  25         is(substr($$s, -1, 1), "\n", "trailing LF in normal $mbox");
  26         my $eml = PublicInbox::Eml->new($s);
  27         is($eml->header('Status'), 'R', "Status: set by $m");
  28         is($eml->header('X-Status'), 'AF', "X-Status: set by $m");
  29         if ($mbox eq 'mboxcl2') {
  30                 like($eml->body_raw, qr/^From /, "From not escaped $m");
  31         } else {
  32                 like($eml->body_raw, qr/^>From /, "From escaped once by $m");
  33         }
  34         my @cl = $eml->header('Content-Length');
  35         if ($mbox =~ /mboxcl/) {
  36                 is(scalar(@cl), 1, "$m only has one Content-Length header");
  37                 is($cl[0] + length("\n"),
  38                         length($eml->body_raw), "$m Content-Length matches");
  39         } else {
  40                 is(scalar(@cl), 0, "$m clobbered Content-Length");
  41         }
  42         $s = $cb->(PublicInbox::Eml->new($noeol), $kw);
  43         is(substr($$s, -1, 1), "\n",
  44                 "trailing LF added by $m when original lacks EOL");
  45         $eml = PublicInbox::Eml->new($s);
  46         if ($mbox eq 'mboxcl2') {
  47                 is($eml->body_raw, "From hell\n", "From not escaped by $m");
  48         } else {
  49                 is($eml->body_raw, ">From hell\n", "From escaped once by $m");
  50         }
  51         $s = $cb->(PublicInbox::Eml->new($crlf), $kw);
  52         is(substr($$s, -2, 2), "\r\n",
  53                 "trailing CRLF added $m by original lacks EOL");
  54         $eml = PublicInbox::Eml->new($s);
  55         if ($mbox eq 'mboxcl2') {
  56                 is($eml->body_raw, "From hell\r\n", "From not escaped by $m");
  57         } else {
  58                 is($eml->body_raw, ">From hell\r\n", "From escaped once by $m");
  59         }
  60         if ($mbox =~ /mboxcl/) {
  61                 is($eml->header('Content-Length') + length("\r\n"),
  62                         length($eml->body_raw), "$m Content-Length matches");
  63         } elsif ($mbox eq 'mboxrd') {
  64                 $s = $cb->($eml, $kw);
  65                 $eml = PublicInbox::Eml->new($s);
  66                 is($eml->body_raw,
  67                         ">>From hell\r\n\r\n", "From escaped again by $m");
  68         }
  69 }
  70
  71 my ($tmpdir, $for_destroy) = tmpdir();
  72 local $ENV{TMPDIR} = $tmpdir;
  73 open my $err, '>>', "$tmpdir/lei.err" or BAIL_OUT $!;
  74 my $lei = { 2 => $err };
  75 my $buf = <<'EOM';
  76 From: x@example.com
  77 Subject: x
  78
  79 blah
  80 EOM
  81 my $fn = "$tmpdir/x.mbox";
  82 my ($mbox) = shuffle(@MBOX); # pick one, shouldn't matter
  83 my $orig = do {
  84         my $wcb = PublicInbox::LeiToMail->write_cb("$mbox:$fn", $lei);
  85         is(ref $wcb, 'CODE', 'write_cb returned callback');
  86         ok(-f $fn && !-s _, 'empty file created');
  87         $wcb->(\(my $dup = $buf), 'deadbeef', [ qw(seen) ]);
  88         undef $wcb;
  89         open my $fh, '<', $fn or BAIL_OUT $!;
  90         my $raw = do { local $/; <$fh> };
  91         like($raw, qr/^blah\n/sm, 'wrote content');
  92         unlink $fn or BAIL_OUT $!;
  93
  94         local $lei->{opt} = { jobs => 2 };
  95         $wcb = PublicInbox::LeiToMail->write_cb("$mbox:$fn", $lei);
  96         ok(-f $fn && !-s _, 'truncated mbox destination');
  97         $lei->{dedupe}->prepare_dedupe;
  98         $wcb->(\($dup = $buf), 'deadbeef', [ qw(seen) ]);
  99         undef $wcb;
 100         open $fh, '<', $fn or BAIL_OUT $!;
 101         is($raw, do { local $/; <$fh> }, 'jobs > 1');
 102         $raw;
 103 };
 104 for my $zsfx (qw(gz bz2 xz)) { # XXX should we support zst, zz, lzo, lzma?
 105         my $zsfx2cmd = PublicInbox::LeiToMail->can('zsfx2cmd');
 106         SKIP: {
 107                 my $cmd = eval { $zsfx2cmd->($zsfx, 0, $lei) };
 108                 skip $@, 3 if $@;
 109                 my $dc_cmd = eval { $zsfx2cmd->($zsfx, 1, $lei) };
 110                 ok($dc_cmd, "decompressor for .$zsfx");
 111                 my $f = "$fn.$zsfx";
 112                 my $dst = "$mbox:$f";
 113                 my $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 114                 $wcb->(\(my $dup = $buf), 'deadbeef', [ qw(seen) ]);
 115                 undef $wcb;
 116                 my $uncompressed = xqx([@$dc_cmd, $f]);
 117                 is($uncompressed, $orig, "$zsfx works unlocked");
 118
 119                 local $lei->{opt} = { jobs => 2 }; # for atomic writes
 120                 unlink $f or BAIL_OUT "unlink $!";
 121                 $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 122                 $lei->{dedupe}->prepare_dedupe;
 123                 $wcb->(\($dup = $buf), 'deadbeef', [ qw(seen) ]);
 124                 undef $wcb;
 125                 is(xqx([@$dc_cmd, $f]), $orig, "$zsfx matches with lock");
 126
 127                 local $lei->{opt} = { augment => 1 };
 128                 $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 129                 $lei->{dedupe}->prepare_dedupe;
 130                 $wcb->(\($dup = $buf . "\nx\n"), 'deadbeef', [ qw(seen) ]);
 131                 undef $wcb; # commit
 132
 133                 my $cat = popen_rd([@$dc_cmd, $f]);
 134                 my @raw;
 135                 PublicInbox::MboxReader->$mbox($cat,
 136                         sub { push @raw, shift->as_string });
 137                 like($raw[1], qr/\nblah\n\nx\n\z/s, "augmented $zsfx");
 138                 like($raw[0], qr/\nblah\n\z/s, "original preserved $zsfx");
 139
 140                 local $lei->{opt} = { augment => 1, jobs => 2 };
 141                 $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 142                 $lei->{dedupe}->prepare_dedupe;
 143                 $wcb->(\($dup = $buf . "\ny\n"), 'deadbeef', [ qw(seen) ]);
 144                 undef $wcb; # commit
 145
 146                 my @raw3;
 147                 $cat = popen_rd([@$dc_cmd, $f]);
 148                 PublicInbox::MboxReader->$mbox($cat,
 149                         sub { push @raw3, shift->as_string });
 150                 my $y = pop @raw3;
 151                 is_deeply(\@raw3, \@raw, 'previous messages preserved');
 152                 like($y, qr/\nblah\n\ny\n\z/s, "augmented $zsfx (atomic)");
 153         }
 154 }
 155
 156 unlink $fn or BAIL_OUT $!;
 157 if ('default deduplication uses content_hash') {
 158         my $wcb = PublicInbox::LeiToMail->write_cb("mboxo:$fn", $lei);
 159         $wcb->(\(my $x = $buf), 'deadbeef', []) for (1..2);
 160         undef $wcb; # undef to commit changes
 161         my $cmp = '';
 162         open my $fh, '<', $fn or BAIL_OUT $!;
 163         PublicInbox::MboxReader->mboxo($fh, sub { $cmp .= shift->as_string });
 164         is($cmp, $buf, 'only one message written');
 165
 166         local $lei->{opt} = { augment => 1 };
 167         $wcb = PublicInbox::LeiToMail->write_cb("mboxo:$fn", $lei);
 168         $wcb->(\($x = $buf . "\nx\n"), 'deadbeef', []) for (1..2);
 169         undef $wcb; # undef to commit changes
 170         open $fh, '<', $fn or BAIL_OUT $!;
 171         my @x;
 172         PublicInbox::MboxReader->mboxo($fh, sub { push @x, shift->as_string });
 173         is(scalar(@x), 2, 'augmented mboxo');
 174         is($x[0], $cmp, 'original message preserved');
 175         is($x[1], $buf . "\nx\n", 'new message appended');
 176 }
 177
 178 { # stdout support
 179         open my $tmp, '+>', undef or BAIL_OUT $!;
 180         local $lei->{1} = $tmp;
 181         my $wcb = PublicInbox::LeiToMail->write_cb("mboxrd:/dev/stdout", $lei);
 182         $wcb->(\(my $x = $buf), 'deadbeef', []);
 183         undef $wcb; # commit
 184         seek($tmp, 0, SEEK_SET) or BAIL_OUT $!;
 185         my $cmp = '';
 186         PublicInbox::MboxReader->mboxrd($tmp, sub { $cmp .= shift->as_string });
 187         is($cmp, $buf, 'message written to stdout');
 188 }
 189
 190 SKIP: { # FIFO support
 191         use POSIX qw(mkfifo);
 192         my $fn = "$tmpdir/fifo";
 193         mkfifo($fn, 0600) or skip("mkfifo not supported: $!", 1);
 194         my $cat = popen_rd([which('cat'), $fn]);
 195         my $wcb = PublicInbox::LeiToMail->write_cb("mboxo:$fn", $lei);
 196         $wcb->(\(my $x = $buf), 'deadbeef', []);
 197         undef $wcb; # commit
 198         my $cmp = '';
 199         PublicInbox::MboxReader->mboxo($cat, sub { $cmp .= shift->as_string });
 200         is($cmp, $buf, 'message written to FIFO');
 201 }
 202
 203 { # Maildir support
 204         my $md = "$tmpdir/maildir/";
 205         my $wcb = PublicInbox::LeiToMail->write_cb("Maildir:$md", $lei);
 206         ok($wcb, 'got Maildir callback');
 207         $lei->{dedupe}->prepare_dedupe;
 208         $wcb->(\(my $x = $buf), 'badc0ffee', []);
 209         undef $wcb; # commit
 210
 211         my @f;
 212         PublicInbox::LeiToMail::_maildir_each_file($md, sub { push @f, shift });
 213         is(scalar(@f), 1, 'wrote one file');
 214         open my $fh, $f[0] or BAIL_OUT $!;
 215         is(do { local $/; <$fh> }, $buf, 'wrote to Maildir');
 216
 217         $wcb = PublicInbox::LeiToMail->write_cb("maildir:$md", $lei);
 218         $lei->{dedupe}->prepare_dedupe;
 219         $wcb->(\($x = $buf."\nx\n"), 'deadcafe', []);
 220         undef $wcb; # commit
 221
 222         my @x = ();
 223         PublicInbox::LeiToMail::_maildir_each_file($md, sub { push @x, shift });
 224         is(scalar(@x), 1, 'wrote one new file');
 225         ok(!-f $f[0], 'old file clobbered');
 226         open $fh, $x[0] or BAIL_OUT $!;
 227         is(do { local $/; <$fh> }, $buf."\nx\n", 'wrote new file to Maildir');
 228
 229         local $lei->{opt}->{augment} = 1;
 230         $wcb = PublicInbox::LeiToMail->write_cb("maildir:$md", $lei);
 231         $lei->{dedupe}->prepare_dedupe;
 232         $wcb->(\($x = $buf."\ny\n"), 'deadcafe', []);
 233         $wcb->(\($x = $buf."\ny\n"), 'b4dc0ffee', []); # skipped by dedupe
 234         undef $wcb; # commit
 235         @f = ();
 236         PublicInbox::LeiToMail::_maildir_each_file($md, sub { push @f, shift });
 237         is(scalar grep(/\A\Q$x[0]\E\z/, @f), 1, 'old file still there');
 238         my @new = grep(!/\A\Q$x[0]\E\z/, @f);
 239         is(scalar @new, 1, '1 new file written (b4dc0ffee skipped)');
 240         open $fh, $x[0] or BAIL_OUT $!;
 241         is(do { local $/; <$fh> }, $buf."\nx\n", 'old file untouched');
 242         open $fh, $new[0] or BAIL_OUT $!;
 243         is(do { local $/; <$fh> }, $buf."\ny\n", 'new file written');
 244 }
 245
 246 done_testing;