]> Sergey Matveev's repositories - public-inbox.git/blobdiff - xt/net_writer-imap.t
imap+nntp: share COMPRESS implementation
[public-inbox.git] / xt / net_writer-imap.t
index da43592621f2e08ecfcfa574e2c016e7df67617c..333e0e3b7ee0a7de2eb5c6617fb7eba50bed5ba9 100644 (file)
@@ -7,6 +7,8 @@ use POSIX qw(strftime);
 use PublicInbox::OnDestroy;
 use PublicInbox::URIimap;
 use PublicInbox::Config;
+use PublicInbox::DS;
+use PublicInbox::InboxIdle;
 use Fcntl qw(O_EXCL O_WRONLY O_CREAT);
 my $imap_url = $ENV{TEST_IMAP_WRITE_URL} or
        plan skip_all => 'TEST_IMAP_WRITE_URL unset';
@@ -17,11 +19,13 @@ require_mods('Mail::IMAPClient');
 require_ok 'PublicInbox::NetWriter';
 my $host = (split(/\./, hostname))[0];
 my ($base) = ($0 =~ m!\b([^/]+)\.[^\.]+\z!);
-my $folder = "INBOX.$base-$host-".strftime('%Y%m%d%H%M%S', gmtime(time)).
+my $SEP = $ENV{IMAP_SEPARATOR} || '.';
+my $folder = "INBOX$SEP$base-$host-".strftime('%Y%m%d%H%M%S', gmtime(time)).
                "-$$-".sprintf('%x', int(rand(0xffffffff)));
 my $nwr = PublicInbox::NetWriter->new;
 chop($imap_url) if substr($imap_url, -1) eq '/';
-my $folder_uri = PublicInbox::URIimap->new("$imap_url/$folder");
+my $folder_url = "$imap_url/$folder";
+my $folder_uri = PublicInbox::URIimap->new($folder_url);
 is($folder_uri->mailbox, $folder, 'folder correct') or
                BAIL_OUT "BUG: bad $$uri";
 $nwr->add_url($$folder_uri);
@@ -79,8 +83,11 @@ my $mics = do {
 };
 my $mic = (values %$mics)[0];
 my $cleanup = PublicInbox::OnDestroy->new($$, sub {
-       my $mic = $nwr->mic_get($uri);
-       $mic->delete($folder) or fail "delete $folder <$folder_uri>: $@";
+       if (defined($folder)) {
+               my $mic = $nwr->mic_get($uri);
+               $mic->delete($folder) or
+                       fail "delete $folder <$folder_uri>: $@";
+       }
        if ($tmpdir && -f "$tmpdir/.gitconfig") {
                local $ENV{HOME} = $tmpdir;
                system(qw(git credential-cache exit));
@@ -91,7 +98,7 @@ my $smsg = bless { kw => [ 'seen' ] }, 'PublicInbox::Smsg';
 $imap_append->($mic, $folder, undef, $smsg, eml_load('t/plack-qp.eml'));
 $nwr->{quiet} = 1;
 my $imap_slurp_all = sub {
-       my ($u, $uid, $kw, $eml, $res) = @_;
+       my ($url, $uid, $kw, $eml, $res) = @_;
        push @$res, [ $kw, $eml ];
 };
 $nwr->imap_each($folder_uri, $imap_slurp_all, my $res = []);
@@ -118,13 +125,26 @@ test_lei(sub {
        }
        $set_cred_helper->("$ENV{HOME}/.gitconfig", $cred_set) if $cred_set;
 
-       lei_ok qw(q f:qp@example.com -o), $$folder_uri;
+       # don't combine these two:
+       $ENV{TEST_IMAP_COMPRESS} and lei_ok qw(config imap.compress true);
+       $ENV{TEST_IMAP_DEBUG} and lei_ok qw(config imap.debug true);
+       my $proxy = $ENV{TEST_IMAP_PROXY};
+       lei_ok(qw(config imap.proxy), $proxy) if $proxy;
+
+       lei_ok qw(q f:qp@example.com -o), $folder_url;
        $nwr->imap_each($folder_uri, $imap_slurp_all, my $res = []);
        is(scalar(@$res), 1, 'got one deduped result') or diag explain($res);
        is_deeply($res->[0]->[1], $plack_qp_eml,
                        'lei q wrote expected result');
 
-       lei_ok qw(q f:matz -a -o), $$folder_uri;
+       my $mdir = "$ENV{HOME}/t.mdir";
+       lei_ok 'convert', $folder_url, '-o', $mdir;
+       my @mdfiles = glob("$mdir/*/*");
+       is(scalar(@mdfiles), 1, '1 message from IMAP => Maildir conversion');
+       is_deeply(eml_load($mdfiles[0]), $plack_qp_eml,
+               'conversion from IMAP to Maildir');
+
+       lei_ok qw(q f:matz -a -o), $folder_url;
        $nwr->imap_each($folder_uri, $imap_slurp_all, my $aug = []);
        is(scalar(@$aug), 2, '2 results after augment') or diag explain($aug);
        my $exp = $res->[0]->[1]->as_string;
@@ -134,14 +154,120 @@ test_lei(sub {
        is(scalar(grep { $_->[1]->as_string eq $exp } @$aug), 1,
                        'new result shown after augment');
 
-       lei_ok qw(q s:thisbetternotgiveanyresult -o), $folder_uri->as_string;
+       lei_ok qw(q s:thisbetternotgiveanyresult -o), $folder_url;
        $nwr->imap_each($folder_uri, $imap_slurp_all, my $empty = []);
        is(scalar(@$empty), 0, 'no results w/o augment');
 
-       lei_ok qw(convert -F eml t/msg_iter-order.eml -o), $$folder_uri;
+       my $f = 't/utf8.eml'; # <testmessage@example.com>
+       $exp = eml_load($f);
+       lei_ok qw(convert -F eml -o), $folder_url, $f;
+       my (@uid, @res);
+       $nwr->imap_each($folder_uri, sub {
+               my ($u, $uid, $kw, $eml) = @_;
+               push @uid, $uid;
+               push @res, [ $kw, $eml ];
+       });
+       is_deeply(\@res, [ [ [], $exp ] ], 'converted to IMAP destination');
+       is(scalar(@uid), 1, 'got one UID back');
+       lei_ok qw(q -o /dev/stdout m:testmessage@example.com --no-external);
+       is_deeply(json_utf8->decode($lei_out), [undef],
+               'no results before import');
+
+       lei_ok qw(import -F eml), $f, \'import local copy w/o keywords';
+
+       lei_ok 'import', $folder_url; # populate mail_sync.sqlite3
+       lei_ok qw(tag +kw:seen +kw:answered +kw:flagged), $f;
+       lei_ok 'ls-mail-sync';
+       my @ls = split(/\n/, $lei_out);
+       is(scalar(@ls), 1, 'only one folder in ls-mail-sync') or xbail(\@ls);
+       for my $l (@ls) {
+               like($l, qr/;UIDVALIDITY=\d+\z/, 'UIDVALIDITY');
+       }
+       lei_ok 'export-kw', $folder_url;
+       $mic = $nwr->mic_for_folder($folder_uri);
+       my $flags = $mic->flags($uid[0]);
+       is_deeply([sort @$flags], [ qw(\\Answered \\Flagged \\Seen) ],
+               'IMAP flags set by export-kw') or diag explain($flags);
+
+       # ensure this imap_set_kw clobbers
+       $nwr->imap_set_kw($mic, $uid[0], [ 'seen' ])->expunge or
+               BAIL_OUT "expunge $@";
+       $mic = undef;
+       @res = ();
+       $nwr->imap_each($folder_uri, $imap_slurp_all, \@res);
+       is_deeply(\@res, [ [ ['seen'], $exp ] ], 'seen flag set') or
+               diag explain(\@res);
+
+       lei_ok qw(q s:thisbetternotgiveanyresult -o), $folder_url,
+               \'clobber folder but import flag';
        $nwr->imap_each($folder_uri, $imap_slurp_all, $empty = []);
-       is_deeply($empty, [ [ [], eml_load('t/msg_iter-order.eml') ] ],
-               'converted to IMAP destination');
+       is_deeply($empty, [], 'clobbered folder');
+       lei_ok qw(q -o /dev/stdout m:testmessage@example.com --no-external);
+       $res = json_utf8->decode($lei_out)->[0];
+       is_deeply([@$res{qw(m kw)}], ['testmessage@example.com', ['seen']],
+               'kw set');
+
+       # prepare messages for watch
+       $mic = $nwr->mic_for_folder($folder_uri);
+       for my $kw (qw(Deleted Seen Answered Draft forwarded)) {
+               my $buf = <<EOM;
+From: x\@example.com
+Message-ID: <$kw\@test.example.com>
+
+EOM
+               my $f = $kw eq 'forwarded' ? '$Forwarded' : "\\$kw";
+               $mic->append_string($folder_uri->mailbox, $buf, $f)
+                       or BAIL_OUT "append $kw $@";
+       }
+       $mic->disconnect;
+
+       my $inboxdir = "$ENV{HOME}/wtest";
+       my @cmd = (qw(-init -Lbasic wtest), $inboxdir,
+                       qw(https://example.com/wtest wtest@example.com));
+       run_script(\@cmd) or BAIL_OUT "init wtest";
+       xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
+                       'publicinbox.wtest.watch',
+                       $folder_url) == 0 or BAIL_OUT "git config $?";
+       my $watcherr = "$ENV{HOME}/watch.err";
+       open my $err_wr, '>>', $watcherr or BAIL_OUT $!;
+       my $pub_cfg = PublicInbox::Config->new;
+       PublicInbox::DS->Reset;
+       my $ii = PublicInbox::InboxIdle->new($pub_cfg);
+       my $cb = sub { PublicInbox::DS->SetPostLoopCallback(sub {}) };
+       my $obj = bless \$cb, 'PublicInbox::TestCommon::InboxWakeup';
+       $pub_cfg->each_inbox(sub { $_[0]->subscribe_unlock('ident', $obj) });
+       my $w = start_script(['-watch'], undef, { 2 => $err_wr });
+       diag 'waiting for initial fetch...';
+       PublicInbox::DS::event_loop();
+       my $ibx = $pub_cfg->lookup_name('wtest');
+       my $mm = $ibx->mm;
+       ok(defined($mm->num_for('Seen@test.example.com')),
+               '-watch takes seen message');
+       ok(defined($mm->num_for('Answered@test.example.com')),
+               '-watch takes answered message');
+       ok(!defined($mm->num_for('Deleted@test.example.com')),
+               '-watch ignored \\Deleted');
+       ok(!defined($mm->num_for('Draft@test.example.com')),
+               '-watch ignored \\Draft');
+       ok(defined($mm->num_for('forwarded@test.example.com')),
+               '-watch takes forwarded message');
+       undef $w; # done with watch
+       lei_ok qw(import), $folder_url;
+       lei_ok qw(q m:forwarded@test.example.com);
+       is_deeply(json_utf8->decode($lei_out)->[0]->{kw}, ['forwarded'],
+               'forwarded kw imported from IMAP');
+
+       lei_ok qw(q m:testmessage --no-external -o), $folder_url;
+       lei_ok qw(up), $folder_url;
+       lei_ok qw(up --all=remote);
+       $mic = $nwr->mic_get($uri);
+       $mic->delete($folder) or fail "delete $folder <$folder_uri>: $@";
+       $mic->expunge;
+       undef $mic;
+       undef $folder;
+       ok(!lei(qw(export-kw), $folder_url),
+               'export-kw fails w/ non-existent folder');
+
 });
 
 undef $cleanup; # remove temporary folder