t/lei_to_mail.t

   1 #!perl -w
   2 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use v5.10.1;
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::Eml;
   9 use Fcntl qw(SEEK_SET);
  10 require_mods(qw(DBD::SQLite));
  11 use_ok 'PublicInbox::LeiToMail';
  12 my $from = "Content-Length: 10\nSubject: x\n\nFrom hell\n";
  13 my $noeol = "Subject: x\n\nFrom hell";
  14 my $crlf = $noeol;
  15 $crlf =~ s/\n/\r\n/g;
  16 my $kw = [qw(seen answered flagged)];
  17 for my $mbox (qw(mboxrd mboxo mboxcl mboxcl2)) {
  18         my $m = "eml2$mbox";
  19         my $cb = PublicInbox::LeiToMail->can($m);
  20         my $s = $cb->(PublicInbox::Eml->new($from), $kw);
  21         is(substr($$s, -1, 1), "\n", "trailing LF in normal $mbox");
  22         my $eml = PublicInbox::Eml->new($s);
  23         is($eml->header('Status'), 'R', "Status: set by $m");
  24         is($eml->header('X-Status'), 'AF', "X-Status: set by $m");
  25         if ($mbox eq 'mboxcl2') {
  26                 like($eml->body_raw, qr/^From /, "From not escaped $m");
  27         } else {
  28                 like($eml->body_raw, qr/^>From /, "From escaped once by $m");
  29         }
  30         my @cl = $eml->header('Content-Length');
  31         if ($mbox =~ /mboxcl/) {
  32                 is(scalar(@cl), 1, "$m only has one Content-Length header");
  33                 is($cl[0] + length("\n"),
  34                         length($eml->body_raw), "$m Content-Length matches");
  35         } else {
  36                 is(scalar(@cl), 0, "$m clobbered Content-Length");
  37         }
  38         $s = $cb->(PublicInbox::Eml->new($noeol), $kw);
  39         is(substr($$s, -1, 1), "\n",
  40                 "trailing LF added by $m when original lacks EOL");
  41         $eml = PublicInbox::Eml->new($s);
  42         if ($mbox eq 'mboxcl2') {
  43                 is($eml->body_raw, "From hell\n", "From not escaped by $m");
  44         } else {
  45                 is($eml->body_raw, ">From hell\n", "From escaped once by $m");
  46         }
  47         $s = $cb->(PublicInbox::Eml->new($crlf), $kw);
  48         is(substr($$s, -2, 2), "\r\n",
  49                 "trailing CRLF added $m by original lacks EOL");
  50         $eml = PublicInbox::Eml->new($s);
  51         if ($mbox eq 'mboxcl2') {
  52                 is($eml->body_raw, "From hell\r\n", "From not escaped by $m");
  53         } else {
  54                 is($eml->body_raw, ">From hell\r\n", "From escaped once by $m");
  55         }
  56         if ($mbox =~ /mboxcl/) {
  57                 is($eml->header('Content-Length') + length("\r\n"),
  58                         length($eml->body_raw), "$m Content-Length matches");
  59         } elsif ($mbox eq 'mboxrd') {
  60                 $s = $cb->($eml, $kw);
  61                 $eml = PublicInbox::Eml->new($s);
  62                 is($eml->body_raw,
  63                         ">>From hell\r\n\r\n", "From escaped again by $m");
  64         }
  65 }
  66
  67 my ($tmpdir, $for_destroy) = tmpdir();
  68 local $ENV{TMPDIR} = $tmpdir;
  69 open my $err, '>>', "$tmpdir/lei.err" or BAIL_OUT $!;
  70 my $lei = { 2 => $err };
  71 my $buf = <<'EOM';
  72 From: x@example.com
  73 Subject: x
  74
  75 blah
  76 EOM
  77 my $fn = "$tmpdir/x.mbox";
  78 my $orig = do {
  79         my $wcb = PublicInbox::LeiToMail->write_cb("mboxcl2:$fn", $lei);
  80         is(ref $wcb, 'CODE', 'write_cb returned callback');
  81         ok(-f $fn && !-s _, 'empty file created');
  82         $wcb->(\(my $dup = $buf), 'deadbeef', [ qw(seen) ]);
  83         undef $wcb;
  84         open my $fh, '<', $fn or BAIL_OUT $!;
  85         my $raw = do { local $/; <$fh> };
  86         like($raw, qr/^blah\n/sm, 'wrote content');
  87         unlink $fn or BAIL_OUT $!;
  88
  89         local $lei->{opt} = { jobs => 2 };
  90         $wcb = PublicInbox::LeiToMail->write_cb("mboxcl2:$fn", $lei);
  91         $lei->{dedupe}->prepare_dedupe;
  92         $wcb->(\($dup = $buf), 'deadbeef', [ qw(seen) ]);
  93         undef $wcb;
  94         open $fh, '<', $fn or BAIL_OUT $!;
  95         is($raw, do { local $/; <$fh> }, 'jobs > 1');
  96         $raw;
  97 };
  98 for my $zsfx (qw(gz bz2 xz)) { # XXX should we support zst, zz, lzo, lzma?
  99         my $zsfx2cmd = PublicInbox::LeiToMail->can('zsfx2cmd');
 100         SKIP: {
 101                 my $cmd = eval { $zsfx2cmd->($zsfx, 0, $lei) };
 102                 skip $@, 3 if $@;
 103                 my $dc_cmd = eval { $zsfx2cmd->($zsfx, 1, $lei) };
 104                 ok($dc_cmd, "decompressor for .$zsfx");
 105                 my $f = "$fn.$zsfx";
 106                 my $dst = "mboxcl2:$f";
 107                 my $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 108                 $wcb->(\(my $dup = $buf), 'deadbeef', [ qw(seen) ]);
 109                 undef $wcb;
 110                 my $uncompressed = xqx([@$dc_cmd, $f]);
 111                 is($uncompressed, $orig, "$zsfx works unlocked");
 112
 113                 local $lei->{opt} = { jobs => 2 }; # for atomic writes
 114                 unlink $f or BAIL_OUT "unlink $!";
 115                 $wcb = PublicInbox::LeiToMail->write_cb($dst, $lei);
 116                 $lei->{dedupe}->prepare_dedupe;
 117                 $wcb->(\($dup = $buf), 'deadbeef', [ qw(seen) ]);
 118                 undef $wcb;
 119                 is(xqx([@$dc_cmd, $f]), $orig, "$zsfx matches with lock");
 120         }
 121 }
 122
 123 unlink $fn or BAIL_OUT $!;
 124 require PublicInbox::MboxReader;
 125 if ('default deduplication uses content_hash') {
 126         my $wcb = PublicInbox::LeiToMail->write_cb("mboxo:$fn", $lei);
 127         $wcb->(\(my $x = $buf), 'deadbeef', []) for (1..2);
 128         undef $wcb; # undef to commit changes
 129         my $cmp = '';
 130         open my $fh, '<', $fn or BAIL_OUT $!;
 131         PublicInbox::MboxReader->mboxo($fh, sub { $cmp .= shift->as_string });
 132         is($cmp, $buf, 'only one message written');
 133 }
 134
 135 { # stdout support
 136         open my $tmp, '+>', undef or BAIL_OUT $!;
 137         local $lei->{1} = $tmp;
 138         my $wcb = PublicInbox::LeiToMail->write_cb("mboxrd:/dev/stdout", $lei);
 139         $wcb->(\(my $x = $buf), 'deadbeef', []);
 140         undef $wcb; # commit
 141         seek($tmp, 0, SEEK_SET) or BAIL_OUT $!;
 142         my $cmp = '';
 143         PublicInbox::MboxReader->mboxrd($tmp, sub { $cmp .= shift->as_string });
 144         is($cmp, $buf, 'message written to stdout');
 145 }
 146
 147 SKIP: { # FIFO support
 148         use PublicInbox::Spawn qw(popen_rd which);
 149         use POSIX qw(mkfifo);
 150         my $fn = "$tmpdir/fifo";
 151         mkfifo($fn, 0600) or skip("mkfifo not supported: $!", 1);
 152         my $cat = popen_rd([which('cat'), $fn]);
 153         my $wcb = PublicInbox::LeiToMail->write_cb("mboxo:$fn", $lei);
 154         $wcb->(\(my $x = $buf), 'deadbeef', []);
 155         undef $wcb; # commit
 156         my $cmp = '';
 157         PublicInbox::MboxReader->mboxo($cat, sub { $cmp .= shift->as_string });
 158         is($cmp, $buf, 'message written to FIFO');
 159 }
 160
 161 done_testing;