t/lei-convert.t

   1 #!perl -w
   2 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 use PublicInbox::MboxReader;
   6 use PublicInbox::MdirReader;
   7 use PublicInbox::NetReader;
   8 require_git 2.6;
   9 require_mods(qw(DBD::SQLite Search::Xapian Mail::IMAPClient Net::NNTP));
  10 my ($tmpdir, $for_destroy) = tmpdir;
  11 my $sock = tcp_server;
  12 my $cmd = [ '-imapd', '-W0', "--stdout=$tmpdir/i1", "--stderr=$tmpdir/i2" ];
  13 my ($ro_home, $cfg_path) = setup_public_inboxes;
  14 my $env = { PI_CONFIG => $cfg_path };
  15 my $tdi = start_script($cmd, $env, { 3 => $sock }) or BAIL_OUT("-imapd: $?");
  16 my $imap_host_port = tcp_host_port($sock);
  17 $sock = tcp_server;
  18 $cmd = [ '-nntpd', '-W0', "--stdout=$tmpdir/n1", "--stderr=$tmpdir/n2" ];
  19 my $tdn = start_script($cmd, $env, { 3 => $sock }) or BAIL_OUT("-nntpd: $?");
  20 my $nntp_host_port = tcp_host_port($sock);
  21 undef $sock;
  22
  23 test_lei({ tmpdir => $tmpdir }, sub {
  24         my $d = $ENV{HOME};
  25         lei_ok('convert', '-o', "mboxrd:$d/foo.mboxrd",
  26                 "imap://$imap_host_port/t.v2.0");
  27         ok(-f "$d/foo.mboxrd", 'mboxrd created from imap://');
  28
  29         lei_ok('convert', '-o', "mboxrd:$d/nntp.mboxrd",
  30                 "nntp://$nntp_host_port/t.v2");
  31         ok(-f "$d/nntp.mboxrd", 'mboxrd created from nntp://');
  32
  33         my (@mboxrd, @mboxcl2);
  34         open my $fh, '<', "$d/foo.mboxrd" or BAIL_OUT $!;
  35         PublicInbox::MboxReader->mboxrd($fh, sub { push @mboxrd, shift });
  36         ok(scalar(@mboxrd) > 1, 'got multiple messages');
  37
  38         open $fh, '<', "$d/nntp.mboxrd" or BAIL_OUT $!;
  39         my $i = 0;
  40         PublicInbox::MboxReader->mboxrd($fh, sub {
  41                 my ($eml) = @_;
  42                 is($eml->body, $mboxrd[$i]->body, "body matches #$i");
  43                 $i++;
  44         });
  45
  46         lei_ok('convert', '-o', "mboxcl2:$d/cl2", "mboxrd:$d/foo.mboxrd");
  47         ok(-s "$d/cl2", 'mboxcl2 non-empty') or diag $lei_err;
  48         open $fh, '<', "$d/cl2" or BAIL_OUT $!;
  49         PublicInbox::MboxReader->mboxcl2($fh, sub {
  50                 my $eml = shift;
  51                 $eml->header_set($_) for (qw(Content-Length Lines));
  52                 push @mboxcl2, $eml;
  53         });
  54         is_deeply(\@mboxcl2, \@mboxrd, 'mboxrd and mboxcl2 have same mail');
  55
  56         lei_ok('convert', '-o', "$d/md", "mboxrd:$d/foo.mboxrd");
  57         ok(-d "$d/md", 'Maildir created');
  58         my @md;
  59         PublicInbox::MdirReader::maildir_each_eml("$d/md", sub {
  60                 push @md, $_[1];
  61         });
  62         is(scalar(@md), scalar(@mboxrd), 'got expected emails in Maildir');
  63         @md = sort { ${$a->{bdy}} cmp ${$b->{bdy}} } @md;
  64         @mboxrd = sort { ${$a->{bdy}} cmp ${$b->{bdy}} } @mboxrd;
  65         my @rd_nostatus = map {
  66                 my $eml = PublicInbox::Eml->new(\($_->as_string));
  67                 $eml->header_set('Status');
  68                 $eml;
  69         } @mboxrd;
  70         is_deeply(\@md, \@rd_nostatus, 'Maildir output matches mboxrd');
  71
  72         my @bar;
  73         lei_ok('convert', '-o', "mboxrd:$d/bar.mboxrd", "$d/md");
  74         open $fh, '<', "$d/bar.mboxrd" or BAIL_OUT $!;
  75         PublicInbox::MboxReader->mboxrd($fh, sub { push @bar, shift });
  76         @bar = sort { ${$a->{bdy}} cmp ${$b->{bdy}} } @bar;
  77         is_deeply(\@mboxrd, \@bar,
  78                         'mboxrd round-tripped through Maildir w/ flags');
  79
  80         open my $in, '<', "$d/foo.mboxrd" or BAIL_OUT;
  81         my $rdr = { 0 => $in, 1 => \(my $out), 2 => \$lei_err };
  82         lei_ok([qw(convert --stdin -F mboxrd -o mboxrd:/dev/stdout)],
  83                 undef, $rdr);
  84         open $fh, '<', "$d/foo.mboxrd" or BAIL_OUT;
  85         my $exp = do { local $/; <$fh> };
  86         is($out, $exp, 'stdin => stdout');
  87 });
  88 done_testing;