xt/net_writer-imap.t

   1 #!perl -w
   2 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 use Sys::Hostname qw(hostname);
   6 use POSIX qw(strftime);
   7 use PublicInbox::OnDestroy;
   8 use PublicInbox::URIimap;
   9 use PublicInbox::Config;
  10 use PublicInbox::DS;
  11 use PublicInbox::InboxIdle;
  12 use Fcntl qw(O_EXCL O_WRONLY O_CREAT);
  13 my $imap_url = $ENV{TEST_IMAP_WRITE_URL} or
  14         plan skip_all => 'TEST_IMAP_WRITE_URL unset';
  15 my $uri = PublicInbox::URIimap->new($imap_url);
  16 defined($uri->path) and
  17         plan skip_all => "$imap_url should not be a mailbox (just host:port)";
  18 require_mods('Mail::IMAPClient');
  19 require_ok 'PublicInbox::NetWriter';
  20 my $host = (split(/\./, hostname))[0];
  21 my ($base) = ($0 =~ m!\b([^/]+)\.[^\.]+\z!);
  22 my $SEP = $ENV{IMAP_SEPARATOR} || '.';
  23 my $folder = "INBOX$SEP$base-$host-".strftime('%Y%m%d%H%M%S', gmtime(time)).
  24                 "-$$-".sprintf('%x', int(rand(0xffffffff)));
  25 my $nwr = PublicInbox::NetWriter->new;
  26 chop($imap_url) if substr($imap_url, -1) eq '/';
  27 my $folder_url = "$imap_url/$folder";
  28 my $folder_uri = PublicInbox::URIimap->new($folder_url);
  29 is($folder_uri->mailbox, $folder, 'folder correct') or
  30                 BAIL_OUT "BUG: bad $$uri";
  31 $nwr->add_url($$folder_uri);
  32 is($nwr->errors, undef, 'no errors');
  33 $nwr->{pi_cfg} = bless {}, 'PublicInbox::Config';
  34
  35 my $set_cred_helper = sub {
  36         my ($f, $cred_set) = @_;
  37         sysopen(my $fh, $f, O_CREAT|O_EXCL|O_WRONLY) or BAIL_OUT "open $f: $!";
  38         print $fh <<EOF or BAIL_OUT "print $f: $!";
  39 [credential]
  40         helper = $cred_set
  41 EOF
  42         close $fh or BAIL_OUT "close $f: $!";
  43 };
  44
  45 # allow testers with git-credential-store configured to reuse
  46 # stored credentials inside test_lei(sub {...}) when $ENV{HOME}
  47 # is overridden and localized.
  48 my ($cred_set, @cred_link, $tmpdir, $for_destroy);
  49 chomp(my $cred_helper = `git config credential.helper 2>/dev/null`);
  50 if ($cred_helper eq 'store') {
  51         my $config = $ENV{XDG_CONFIG_HOME} // "$ENV{HOME}/.config";
  52         for my $f ("$ENV{HOME}/.git-credentials", "$config/git/credentials") {
  53                 next unless -f $f;
  54                 @cred_link = ($f, '/.git-credentials');
  55                 last;
  56         }
  57         $cred_set = qq("$cred_helper");
  58 } elsif ($cred_helper =~ /\Acache(?:[ \t]|\z)/) {
  59         my $cache = $ENV{XDG_CACHE_HOME} // "$ENV{HOME}/.cache";
  60         for my $d ("$ENV{HOME}/.git-credential-cache",
  61                         "$cache/git/credential") {
  62                 next unless -d $d;
  63                 @cred_link = ($d, '/.git-credential-cache');
  64                 $cred_set = qq("$cred_helper");
  65                 last;
  66         }
  67 } elsif (!$cred_helper) { # make the test less painful if no creds configured
  68         ($tmpdir, $for_destroy) = tmpdir;
  69         my $d = "$tmpdir/.git-credential-cache";
  70         mkdir($d, 0700) or BAIL_OUT $!;
  71         $cred_set = "cache --timeout=60";
  72         @cred_link = ($d, '/.git-credential-cache');
  73 } else {
  74         diag "credential.helper=$cred_helper will not be used for this test";
  75 }
  76
  77 my $mics = do {
  78         local $ENV{HOME} = $tmpdir // $ENV{HOME};
  79         if ($tmpdir && $cred_set) {
  80                 $set_cred_helper->("$ENV{HOME}/.gitconfig", $cred_set)
  81         }
  82         $nwr->imap_common_init;
  83 };
  84 my $mic = (values %$mics)[0];
  85 my $cleanup = PublicInbox::OnDestroy->new($$, sub {
  86         if (defined($folder)) {
  87                 my $mic = $nwr->mic_get($uri);
  88                 $mic->delete($folder) or
  89                         fail "delete $folder <$folder_uri>: $@";
  90         }
  91         if ($tmpdir && -f "$tmpdir/.gitconfig") {
  92                 local $ENV{HOME} = $tmpdir;
  93                 system(qw(git credential-cache exit));
  94         }
  95 });
  96 my $imap_append = $nwr->can('imap_append');
  97 my $smsg = bless { kw => [ 'seen' ] }, 'PublicInbox::Smsg';
  98 $imap_append->($mic, $folder, undef, $smsg, eml_load('t/plack-qp.eml'));
  99 $nwr->{quiet} = 1;
 100 my $imap_slurp_all = sub {
 101         my ($url, $uid, $kw, $eml, $res) = @_;
 102         push @$res, [ $kw, $eml ];
 103 };
 104 $nwr->imap_each($folder_uri, $imap_slurp_all, my $res = []);
 105 is(scalar(@$res), 1, 'got appended message');
 106 my $plack_qp_eml = eml_load('t/plack-qp.eml');
 107 is_deeply($res, [ [ [ 'seen' ], $plack_qp_eml ] ],
 108         'uploaded message read back');
 109 $res = $mic = $mics = undef;
 110
 111 test_lei(sub {
 112         my ($ro_home, $cfg_path) = setup_public_inboxes;
 113         my $cfg = PublicInbox::Config->new($cfg_path);
 114         $cfg->each_inbox(sub {
 115                 my ($ibx) = @_;
 116                 lei_ok qw(add-external -q), $ibx->{inboxdir} or BAIL_OUT;
 117         });
 118
 119         # cred_link[0] may be on a different (hopefully encrypted) FS,
 120         # we only symlink to it here, so we don't copy any sensitive data
 121         # into the temporary directory
 122         if (@cred_link && !symlink($cred_link[0], $ENV{HOME}.$cred_link[1])) {
 123                 diag "symlink @cred_link: $! (non-fatal)";
 124                 $cred_set = undef;
 125         }
 126         $set_cred_helper->("$ENV{HOME}/.gitconfig", $cred_set) if $cred_set;
 127
 128         # don't combine these two:
 129         $ENV{TEST_IMAP_COMPRESS} and lei_ok qw(config imap.compress true);
 130         $ENV{TEST_IMAP_DEBUG} and lei_ok qw(config imap.debug true);
 131         my $proxy = $ENV{TEST_IMAP_PROXY};
 132         lei_ok(qw(config imap.proxy), $proxy) if $proxy;
 133
 134         lei_ok qw(q f:qp@example.com -o), $folder_url;
 135         $nwr->imap_each($folder_uri, $imap_slurp_all, my $res = []);
 136         is(scalar(@$res), 1, 'got one deduped result') or diag explain($res);
 137         is_deeply($res->[0]->[1], $plack_qp_eml,
 138                         'lei q wrote expected result');
 139
 140         my $mdir = "$ENV{HOME}/t.mdir";
 141         lei_ok 'convert', $folder_url, '-o', $mdir;
 142         my @mdfiles = glob("$mdir/*/*");
 143         is(scalar(@mdfiles), 1, '1 message from IMAP => Maildir conversion');
 144         is_deeply(eml_load($mdfiles[0]), $plack_qp_eml,
 145                 'conversion from IMAP to Maildir');
 146
 147         lei_ok qw(q f:matz -a -o), $folder_url;
 148         $nwr->imap_each($folder_uri, $imap_slurp_all, my $aug = []);
 149         is(scalar(@$aug), 2, '2 results after augment') or diag explain($aug);
 150         my $exp = $res->[0]->[1]->as_string;
 151         is(scalar(grep { $_->[1]->as_string eq $exp } @$aug), 1,
 152                         'original remains after augment');
 153         $exp = eml_load('t/iso-2202-jp.eml')->as_string;
 154         is(scalar(grep { $_->[1]->as_string eq $exp } @$aug), 1,
 155                         'new result shown after augment');
 156
 157         lei_ok qw(q s:thisbetternotgiveanyresult -o), $folder_url;
 158         $nwr->imap_each($folder_uri, $imap_slurp_all, my $empty = []);
 159         is(scalar(@$empty), 0, 'no results w/o augment');
 160
 161         my $f = 't/utf8.eml'; # <testmessage@example.com>
 162         $exp = eml_load($f);
 163         lei_ok qw(convert -F eml -o), $folder_url, $f;
 164         my (@uid, @res);
 165         $nwr->imap_each($folder_uri, sub {
 166                 my ($u, $uid, $kw, $eml) = @_;
 167                 push @uid, $uid;
 168                 push @res, [ $kw, $eml ];
 169         });
 170         is_deeply(\@res, [ [ [], $exp ] ], 'converted to IMAP destination');
 171         is(scalar(@uid), 1, 'got one UID back');
 172         lei_ok qw(q -o /dev/stdout m:testmessage@example.com --no-external);
 173         is_deeply(json_utf8->decode($lei_out), [undef],
 174                 'no results before import');
 175
 176         lei_ok qw(import -F eml), $f, \'import local copy w/o keywords';
 177
 178         lei_ok 'import', $folder_url; # populate mail_sync.sqlite3
 179         lei_ok qw(tag +kw:seen +kw:answered +kw:flagged), $f;
 180         lei_ok 'ls-mail-sync';
 181         my @ls = split(/\n/, $lei_out);
 182         is(scalar(@ls), 1, 'only one folder in ls-mail-sync') or xbail(\@ls);
 183         for my $l (@ls) {
 184                 like($l, qr/;UIDVALIDITY=\d+\z/, 'UIDVALIDITY');
 185         }
 186         lei_ok 'export-kw', $folder_url;
 187         $mic = $nwr->mic_for_folder($folder_uri);
 188         my $flags = $mic->flags($uid[0]);
 189         is_deeply([sort @$flags], [ qw(\\Answered \\Flagged \\Seen) ],
 190                 'IMAP flags set by export-kw') or diag explain($flags);
 191
 192         # ensure this imap_set_kw clobbers
 193         $nwr->imap_set_kw($mic, $uid[0], [ 'seen' ])->expunge or
 194                 BAIL_OUT "expunge $@";
 195         $mic = undef;
 196         @res = ();
 197         $nwr->imap_each($folder_uri, $imap_slurp_all, \@res);
 198         is_deeply(\@res, [ [ ['seen'], $exp ] ], 'seen flag set') or
 199                 diag explain(\@res);
 200
 201         lei_ok qw(q s:thisbetternotgiveanyresult -o), $folder_url,
 202                 \'clobber folder but import flag';
 203         $nwr->imap_each($folder_uri, $imap_slurp_all, $empty = []);
 204         is_deeply($empty, [], 'clobbered folder');
 205         lei_ok qw(q -o /dev/stdout m:testmessage@example.com --no-external);
 206         $res = json_utf8->decode($lei_out)->[0];
 207         is_deeply([@$res{qw(m kw)}], ['testmessage@example.com', ['seen']],
 208                 'kw set');
 209
 210         # prepare messages for watch
 211         $mic = $nwr->mic_for_folder($folder_uri);
 212         for my $kw (qw(Deleted Seen Answered Draft forwarded)) {
 213                 my $buf = <<EOM;
 214 From: x\@example.com
 215 Message-ID: <$kw\@test.example.com>
 216
 217 EOM
 218                 my $f = $kw eq 'forwarded' ? '$Forwarded' : "\\$kw";
 219                 $mic->append_string($folder_uri->mailbox, $buf, $f)
 220                         or BAIL_OUT "append $kw $@";
 221         }
 222         $mic->disconnect;
 223
 224         my $inboxdir = "$ENV{HOME}/wtest";
 225         my @cmd = (qw(-init -Lbasic wtest), $inboxdir,
 226                         qw(https://example.com/wtest wtest@example.com));
 227         run_script(\@cmd) or BAIL_OUT "init wtest";
 228         xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
 229                         'publicinbox.wtest.watch',
 230                         $folder_url) == 0 or BAIL_OUT "git config $?";
 231         my $watcherr = "$ENV{HOME}/watch.err";
 232         open my $err_wr, '>>', $watcherr or BAIL_OUT $!;
 233         my $pub_cfg = PublicInbox::Config->new;
 234         PublicInbox::DS->Reset;
 235         my $ii = PublicInbox::InboxIdle->new($pub_cfg);
 236         my $cb = sub { PublicInbox::DS->SetPostLoopCallback(sub {}) };
 237         my $obj = bless \$cb, 'PublicInbox::TestCommon::InboxWakeup';
 238         $pub_cfg->each_inbox(sub { $_[0]->subscribe_unlock('ident', $obj) });
 239         my $w = start_script(['-watch'], undef, { 2 => $err_wr });
 240         diag 'waiting for initial fetch...';
 241         PublicInbox::DS::event_loop();
 242         my $ibx = $pub_cfg->lookup_name('wtest');
 243         my $mm = $ibx->mm;
 244         ok(defined($mm->num_for('Seen@test.example.com')),
 245                 '-watch takes seen message');
 246         ok(defined($mm->num_for('Answered@test.example.com')),
 247                 '-watch takes answered message');
 248         ok(!defined($mm->num_for('Deleted@test.example.com')),
 249                 '-watch ignored \\Deleted');
 250         ok(!defined($mm->num_for('Draft@test.example.com')),
 251                 '-watch ignored \\Draft');
 252         ok(defined($mm->num_for('forwarded@test.example.com')),
 253                 '-watch takes forwarded message');
 254         undef $w; # done with watch
 255         lei_ok qw(import), $folder_url;
 256         lei_ok qw(q m:forwarded@test.example.com);
 257         is_deeply(json_utf8->decode($lei_out)->[0]->{kw}, ['forwarded'],
 258                 'forwarded kw imported from IMAP');
 259
 260         lei_ok qw(q m:testmessage --no-external -o), $folder_url;
 261         lei_ok qw(up), $folder_url;
 262         lei_ok qw(up --all=remote);
 263         $mic = $nwr->mic_get($uri);
 264         $mic->delete($folder) or fail "delete $folder <$folder_uri>: $@";
 265         $mic->expunge;
 266         undef $mic;
 267         undef $folder;
 268         ok(!lei(qw(export-kw), $folder_url),
 269                 'export-kw fails w/ non-existent folder');
 270
 271 });
 272
 273 undef $cleanup; # remove temporary folder
 274 done_testing;