]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/imapd.t
imapd: filter out unusable flags from search
[public-inbox.git] / t / imapd.t
index c7e0baaa10b18d3cbfbe5593afebbffccf0fccb8..8db72bd7bff43caf4ea91880a85c6a3af54bfb68 100644 (file)
--- a/t/imapd.t
+++ b/t/imapd.t
@@ -8,7 +8,8 @@ use Time::HiRes ();
 use PublicInbox::TestCommon;
 use PublicInbox::Config;
 use PublicInbox::Spawn qw(which);
-require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure));
+require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure
+       Email::Address::XS||Mail::Address Parse::RecDescent));
 my $imap_client = 'Mail::IMAPClient';
 my $can_compress = $imap_client->can('compress');
 if ($can_compress) { # hope this gets fixed upstream, soon
@@ -38,11 +39,9 @@ for my $V (@V) {
        my $url = "http://example.com/i$V";
        my $inboxdir = "$tmpdir/$name";
        my $folder = "inbox.i$V";
-       my $cmd = ['-init', "-V$V", "-L$level", $name, $inboxdir, $url, $addr];
+       my $cmd = ['-init', "-V$V", "-L$level", "--ng=$folder",
+               $name, $inboxdir, $url, $addr];
        run_script($cmd) or BAIL_OUT("init $name");
-       xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
-                       "publicinbox.$name.newsgroup", $folder) == 0 or
-                       BAIL_OUT("setting newsgroup $V");
        if ($V == 1) {
                xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
                        'publicinboxmda.spamcheck', 'none') == 0 or
@@ -86,12 +85,16 @@ my $post_auth_anon_capa = $mic->capability;
 is_deeply($post_auth_anon_capa, $post_login_capa,
        'auth anon has same capabilities');
 my $e;
+ok($mic->noop, 'NOOP');
+ok($mic->noop, 'NOOP (again)'); # for warnings
 ok(!$mic->examine('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
 ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
 my $mailbox1 = "inbox.i1.$first_range";
 ok($mic->select('inbox.i1'), 'SELECT on parent succeeds');
+ok($mic->noop, 'NOOP while selected');
+ok($mic->noop, 'NOOP again while selected'); # check warnings later
 ok($mic->select($mailbox1), 'SELECT succeeds');
 ok($mic->examine($mailbox1), 'EXAMINE succeeds');
 my @raw = $mic->status($mailbox1, qw(Messages uidnext uidvalidity));
@@ -104,7 +107,7 @@ my @orig_list = @raw = $mic->list;
 like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
        'got an inbox');
 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
-is(scalar(@raw), scalar(@V) + 4, 'default LIST response');
+is(scalar(@raw), scalar(@V) * 2 + 2, 'default LIST response');
 @raw = $mic->list('', 'inbox.i1');
 is(scalar(@raw), 2, 'limited LIST response');
 like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
@@ -119,9 +122,11 @@ $ret = $mic->search('uid 1:1') or BAIL_OUT "SEARCH FAIL $@";
 is_deeply($ret, [ 1 ], 'search UID 1:1 works');
 $ret = $mic->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
 is_deeply($ret, [ 1 ], 'search UID 1:* works');
+$ret = $mic->search('DELETED') or BAIL_OUT "SEARCH FAIL $@";
+is_deeply($ret, [], 'searching for DELETED returns nothing');
 
 SKIP: {
-       skip 'Xapian missing', 6 if $level eq 'basic';
+       skip 'Xapian missing', 8 if $level eq 'basic';
        my $x = $mic->search(qw(smaller 99999));
        is_deeply($x, [1], 'SMALLER works with Xapian (hit)');
        $x = $mic->search(qw(smaller 9));
@@ -134,8 +139,17 @@ SKIP: {
 
        $x = $mic->search(qw(HEADER Message-ID testmessage@example.com));
        is_deeply($x, [1], 'HEADER Message-ID works');
+
+       $x = $mic->search(qw(DRAFT HEADER Message-ID testmessage@example.com));
+       is_deeply($x, [], 'impossible (DRAFT) key filters out match');
+
        $x = $mic->search(qw(HEADER Message-ID miss));
        is_deeply($x, [], 'HEADER Message-ID can miss');
+
+       my @q = qw[OR HEADER Message-ID testmessage@example.com
+                       (OR FROM Ryan (OR TO Joe CC Scott))];
+       $x = $mic->search(join(' ', @q));
+       is_deeply($x, [1], 'nested query works');
 }
 
 is_deeply(scalar $mic->flags('1'), [], '->flags works');
@@ -147,10 +161,16 @@ is_deeply(scalar $mic->flags('1'), [], '->flags works');
        my $exp = $mic->fetch_hash(1, 'UID');
        $ret = $mic->fetch_hash('559:*', 'UID');
        is_deeply($ret, $exp, 'beginning range too big');
-       for my $r (qw(559:558 558:559)) {
-               $ret = $mic->fetch_hash($r, 'UID');
+       {
+               my @w; # Mail::IMAPClient hits a warning via overload
+               local $SIG{__WARN__} = sub { push @w, @_ };
+               $ret = $mic->fetch_hash(my $r = '559:558', 'UID');
                is_deeply($ret, {}, "out-of-range UID FETCH $r");
+               @w = grep(!/\boverload\.pm\b/, @w);
+               is_deeply(\@w, [], 'no unexpected warning');
        }
+       $ret = $mic->fetch_hash(my $r = '558:559', 'UID');
+       is_deeply($ret, {}, "out-of-range UID FETCH $r");
 }
 
 for my $r ('1:*', '1') {
@@ -216,8 +236,8 @@ for my $r ('1:*', '1') {
        is(lc($bs->bodytype), 'text', '->bodytype');
        is(lc($bs->bodyenc), '8bit', '->bodyenc');
 }
-
-is_deeply([$mic->has_capability('COMPRESS')], ['DEFLATE'], 'deflate cap');
+ok($mic->has_capability('COMPRESS') ||
+       $mic->has_capability('COMPRESS=DEFLATE'), 'deflate cap');
 SKIP: {
        skip 'Mail::IMAPClient too old for ->compress', 2 if !$can_compress;
        my $c = $imap_client->new(%mic_opt);
@@ -242,7 +262,7 @@ $pi_config->each_inbox(sub {
        my $mb = "$ng.$first_range";
        my $uidnext = $mic->uidnext($mb); # we'll fetch BODYSTRUCTURE on this
        ok($uidnext, 'got uidnext for later fetch');
-       is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
+       ok($mic->has_capability('IDLE'), "IDLE capa $name");
        ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
        ok($mic->examine($mb), "EXAMINE $ng succeeds");
        ok(my $idle_tag = $mic->idle, "IDLE succeeds on $ng");
@@ -350,6 +370,7 @@ EOF
        ok($mic->examine($ng), 'EXAMINE on dummy');
        @hits = $mic->search('SENTSINCE' => '18-Apr-2020');
        is_deeply(\@hits, [], 'search on dummy with condition works');
+       ok(!$mic->search('SENTSINCE' => '18-Abr-2020'), 'bad month fails');
 }); # each_inbox
 
 # message sequence numbers :<
@@ -385,12 +406,15 @@ SKIP: {
        is(scalar(@$x), 1, 'MSN SEARCH on Subject works after rm');
        $x = $mic->message_string($x->[0]);
        is($x, $ret->{2}->{RFC822}, 'message 2 unchanged');
+       $x = $mic->search(qw(text embedded));
+       is(scalar(@$x), 1, 'MSN SEARCH on TEXT works after rm');
 }
 
+# FIXME? no EXPUNGE response, yet
 my $r2 = $mic->fetch_hash('1:*', 'BODY.PEEK[]') or BAIL_OUT "FETCH $@";
 is(scalar keys %$r2, 2, 'did not get all 3 messages');
-is($r2->{1}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
-is($r2->{2}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
+is($r2->{2}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
+is($r2->{3}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
 $r2 = $mic->fetch_hash(2, 'BODY.PEEK[HEADER.FIELDS (message-id)]')
                        or BAIL_OUT "FETCH $@";
 is($r2->{2}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
@@ -424,9 +448,108 @@ ok($mic->logout, 'logged out');
        like(<$c>, qr/\Atagonly BAD Error in IMAP command/, 'tag-only line');
 }
 
+SKIP: {
+       use_ok 'PublicInbox::WatchMaildir';
+       use_ok 'PublicInbox::InboxIdle';
+       require_git('1.8.5', 1) or
+               skip('git 1.8.5+ needed for --urlmatch', 4);
+       my $old_env = { HOME => $ENV{HOME} };
+       my $home = "$tmpdir/watch_home";
+       mkdir $home or BAIL_OUT $!;
+       mkdir "$home/.public-inbox" or BAIL_OUT $!;
+       local $ENV{HOME} = $home;
+       my $name = 'watchimap';
+       my $addr = "i1\@example.com";
+       my $url = "http://example.com/i1";
+       my $inboxdir = "$tmpdir/watchimap";
+       my $cmd = ['-init', '-V2', '-Lbasic', $name, $inboxdir, $url, $addr];
+       my ($ihost, $iport) = ($sock->sockhost, $sock->sockport);
+       my $imapurl = "imap://$ihost:$iport/inbox.i1.0";
+       run_script($cmd) or BAIL_OUT("init $name");
+       xsys(qw(git config), "--file=$home/.public-inbox/config",
+                       "publicinbox.$name.watch",
+                       $imapurl) == 0 or BAIL_OUT "git config $?";
+       my $cfg = PublicInbox::Config->new;
+       PublicInbox::DS->Reset;
+       my $ii = PublicInbox::InboxIdle->new($cfg);
+       my $cb = sub { PublicInbox::DS->SetPostLoopCallback(sub {}) };
+       my $obj = bless \$cb, 'PublicInbox::TestCommon::InboxWakeup';
+       $cfg->each_inbox(sub { $_[0]->subscribe_unlock('ident', $obj) });
+       my $watcherr = "$tmpdir/watcherr";
+       open my $err_wr, '>>', $watcherr or BAIL_OUT $!;
+       open my $err, '<', $watcherr or BAIL_OUT $!;
+       my $w = start_script(['-watch'], undef, { 2 => $err_wr });
+
+       diag 'waiting for initial fetch...';
+       PublicInbox::DS->EventLoop;
+       diag 'inbox unlocked on initial fetch, waiting for IDLE';
+
+       tick until (grep(/I: \S+ idling/, <$err>));
+       open my $fh, '<', 't/iso-2202-jp.eml' or BAIL_OUT $!;
+       $old_env->{ORIGINAL_RECIPIENT} = $addr;
+       ok(run_script([qw(-mda --no-precheck)], $old_env, { 0 => $fh }),
+               'delivered a message for IDLE to kick -watch');
+       diag 'waiting for IMAP IDLE wakeup';
+       PublicInbox::DS->SetPostLoopCallback(undef);
+       PublicInbox::DS->EventLoop;
+       diag 'inbox unlocked on IDLE wakeup';
+
+       # try again with polling
+       xsys(qw(git config), "--file=$home/.public-inbox/config",
+               'imap.PollInterval', 0.11) == 0
+               or BAIL_OUT "git config $?";
+       $w->kill('HUP');
+       diag 'waiting for -watch reload + initial fetch';
+       tick until (grep(/I: will check/, <$err>));
+
+       open $fh, '<', 't/psgi_attach.eml' or BAIL_OUT $!;
+       ok(run_script([qw(-mda --no-precheck)], $old_env, { 0 => $fh }),
+               'delivered a message for -watch PollInterval');
+
+       diag 'waiting for PollInterval wakeup';
+       PublicInbox::DS->SetPostLoopCallback(undef);
+       PublicInbox::DS->EventLoop;
+       diag 'inbox unlocked (poll)';
+       $w->kill;
+       $w->join;
+       is($?, 0, 'no error in exited -watch process');
+
+       $cfg->each_inbox(sub { shift->unsubscribe_unlock('ident') });
+       $ii->close;
+       PublicInbox::DS->Reset;
+       seek($err, 0, 0);
+       my @err = grep(!/^I:/, <$err>);
+       is(@err, 0, 'no warnings/errors from -watch'.join(' ', @err));
+
+       if ($ENV{TEST_KILL_IMAPD}) { # not sure how reliable this test can be
+               xsys(qw(git config), "--file=$home/.public-inbox/config",
+                       qw(--unset imap.PollInterval)) == 0
+                       or BAIL_OUT "git config $?";
+               truncate($err_wr, 0) or BAIL_OUT $!;
+               my @t0 = times;
+               $w = start_script(['-watch'], undef, { 2 => $err_wr });
+               seek($err, 0, 0);
+               tick until (grep(/I: \S+ idling/, <$err>));
+               diag 'killing imapd, waiting for CPU spins';
+               my $delay = 0.11;
+               $td->kill(9);
+               tick $delay;
+               $w->kill;
+               $w->join;
+               is($?, 0, 'no error in exited -watch process');
+               my @t1 = times;
+               my $c = $t1[2] + $t1[3] - $t0[2] - $t0[3];
+               my $thresh = (0.9 * $delay);
+               diag "c=$c, threshold=$thresh";
+               ok($c < $thresh, 'did not burn much CPU');
+               is_deeply([grep(/ line \d+$/m, <$err>)], [],
+                               'no backtraces from errors');
+       }
+}
+
 $td->kill;
 $td->join;
-is($?, 0, 'no error in exited process');
+is($?, 0, 'no error in exited process') if !$ENV{TEST_KILL_IMAPD};
 open my $fh, '<', $err or BAIL_OUT("open $err failed: $!");
 my $eout = do { local $/; <$fh> };
 unlike($eout, qr/wide/i, 'no Wide character warnings');