]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/imapd.t
imap: wire up Xapian, MSN SEARCH and multi sequence-sets
[public-inbox.git] / t / imapd.t
index 3d0be3408467785a96dfa5eb0b22e35d1f18ab4a..e3cce2d30f07ee9aa4339e93b475a2a33a755a40 100644 (file)
--- a/t/imapd.t
+++ b/t/imapd.t
@@ -16,10 +16,13 @@ if ($can_compress) { # hope this gets fixed upstream, soon
        $imap_client = 'PublicInbox::IMAPClient';
 }
 
-my $level = '-Lbasic';
+require_ok 'PublicInbox::IMAP';
+my $first_range = '0';
+
+my $level = 'basic';
 SKIP: {
        require_mods('Search::Xapian', 1);
-       $level = '-Lmedium';
+       $level = 'medium';
 };
 
 my @V = (1);
@@ -35,7 +38,7 @@ for my $V (@V) {
        my $url = "http://example.com/i$V";
        my $inboxdir = "$tmpdir/$name";
        my $folder = "inbox.i$V";
-       my $cmd = ['-init', "-V$V", $level, $name, $inboxdir, $url, $addr];
+       my $cmd = ['-init', "-V$V", "-L$level", $name, $inboxdir, $url, $addr];
        run_script($cmd) or BAIL_OUT("init $name");
        xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
                        "publicinbox.$name.newsgroup", $folder) == 0 or
@@ -87,22 +90,24 @@ ok(!$mic->examine('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
 ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
-ok($mic->select('inbox.i1'), 'SELECT succeeds');
-ok($mic->examine('inbox.i1'), 'EXAMINE succeeds');
-my @raw = $mic->status('inbox.i1', qw(Messages uidnext uidvalidity));
+my $mailbox1 = "inbox.i1.$first_range";
+ok($mic->select('inbox.i1'), 'SELECT on parent succeeds');
+ok($mic->select($mailbox1), 'SELECT succeeds');
+ok($mic->examine($mailbox1), 'EXAMINE succeeds');
+my @raw = $mic->status($mailbox1, qw(Messages uidnext uidvalidity));
 is(scalar(@raw), 2, 'got status response');
-like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\x20
+like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\.$first_range\x20
        \(MESSAGES\x20\d+\x20UIDNEXT\x20\d+\x20UIDVALIDITY\x20\d+\)\r\n/sx);
 like($raw[1], qr/\A\S+ OK /, 'finished status response');
 
-@raw = $mic->list;
-like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+my @orig_list = @raw = $mic->list;
+like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
        'got an inbox');
 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
-is(scalar(@raw), scalar(@V) + 2, 'default LIST response');
+is(scalar(@raw), scalar(@V) + 4, 'default LIST response');
 @raw = $mic->list('', 'inbox.i1');
 is(scalar(@raw), 2, 'limited LIST response');
-like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
                'got an inbox.i1');
 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
 
@@ -115,7 +120,38 @@ is_deeply($ret, [ 1 ], 'search UID 1:1 works');
 $ret = $mic->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
 is_deeply($ret, [ 1 ], 'search UID 1:* works');
 
+SKIP: {
+       skip 'Xapian missing', 6 if $level eq 'basic';
+       my $x = $mic->search(qw(smaller 99999));
+       is_deeply($x, [1], 'SMALLER works with Xapian (hit)');
+       $x = $mic->search(qw(smaller 9));
+       is_deeply($x, [], 'SMALLER works with Xapian (miss)');
+
+       $x = $mic->search(qw(larger 99999));
+       is_deeply($x, [], 'LARGER works with Xapian (miss)');
+       $x = $mic->search(qw(larger 9));
+       is_deeply($x, [1], 'LARGER works with Xapian (hit)');
+
+       $x = $mic->search(qw(HEADER Message-ID testmessage@example.com));
+       is_deeply($x, [1], 'HEADER Message-ID works');
+       $x = $mic->search(qw(HEADER Message-ID miss));
+       is_deeply($x, [], 'HEADER Message-ID can miss');
+}
+
 is_deeply(scalar $mic->flags('1'), [], '->flags works');
+{
+       # RFC 3501 section 6.4.8 states:
+       # Also note that a UID range of 559:* always includes the
+       # UID of the last message in the mailbox, even if 559 is
+       # higher than any assigned UID value.
+       my $exp = $mic->fetch_hash(1, 'UID');
+       $ret = $mic->fetch_hash('559:*', 'UID');
+       is_deeply($ret, $exp, 'beginning range too big');
+       for my $r (qw(559:558 558:559)) {
+               $ret = $mic->fetch_hash($r, 'UID');
+               is_deeply($ret, {}, "out-of-range UID FETCH $r");
+       }
+}
 
 for my $r ('1:*', '1') {
        $ret = $mic->fetch_hash($r, 'RFC822') or BAIL_OUT "FETCH $@";
@@ -186,7 +222,7 @@ SKIP: {
        skip 'Mail::IMAPClient too old for ->compress', 2 if !$can_compress;
        my $c = $imap_client->new(%mic_opt);
        ok($c && $c->compress, 'compress enabled');
-       ok($c->examine('inbox.i1'), 'EXAMINE succeeds after COMPRESS');
+       ok($c->examine($mailbox1), 'EXAMINE succeeds after COMPRESS');
        $ret = $c->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
        is_deeply($ret, [ 1 ], 'search UID 1:* works after compression');
 }
@@ -203,11 +239,12 @@ $pi_config->each_inbox(sub {
        my $ng = $ibx->{newsgroup};
        my $mic = $imap_client->new(%mic_opt);
        ok($mic && $mic->login && $mic->IsAuthenticated, "authed $name");
-       my $uidnext = $mic->uidnext($ng); # we'll fetch BODYSTRUCTURE on this
+       my $mb = "$ng.$first_range";
+       my $uidnext = $mic->uidnext($mb); # we'll fetch BODYSTRUCTURE on this
        ok($uidnext, 'got uidnext for later fetch');
        is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
        ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
-       ok($mic->examine($ng), "EXAMINE $ng succeeds");
+       ok($mic->examine($mb), "EXAMINE $ng succeeds");
        ok(my $idle_tag = $mic->idle, "IDLE succeeds on $ng");
 
        open(my $fh, '<', 't/data/message_embed.eml') or BAIL_OUT("open: $!");
@@ -307,6 +344,12 @@ Content-Type: message/rfc822\r
 Content-Disposition: attachment; filename="embed2x\.eml"\r
 \r
 EOF
+
+       my @hits = $mic->search('SENTON' => '18-Apr-2020');
+       is_deeply(\@hits, [ $uidnext ], 'search with date condition works');
+       ok($mic->examine($ng), 'EXAMINE on dummy');
+       @hits = $mic->search('SENTSINCE' => '18-Apr-2020');
+       is_deeply(\@hits, [], 'search on dummy with condition works');
 }); # each_inbox
 
 # message sequence numbers :<
@@ -316,31 +359,75 @@ $ret = $mic->fetch_hash('1,2:3', 'RFC822') or BAIL_OUT "FETCH $@";
 is(scalar keys %$ret, 3, 'got all 3 messages with comma-separated sequence');
 $ret = $mic->fetch_hash('1:*', 'RFC822') or BAIL_OUT "FETCH $@";
 is(scalar keys %$ret, 3, 'got all 3 messages');
+
+SKIP: {
+       # do any clients use non-UID IMAP SEARCH?
+       skip 'Xapian missing', 2 if $level eq 'basic';
+       my $x = $mic->search('all');
+       is_deeply($x, [1, 2, 3], 'MSN SEARCH works before rm');
+       $x = $mic->search(qw(header subject embedded));
+       is_deeply($x, [2], 'MSN SEARCH on Subject works before rm');
+}
+
 {
        my $rdr = { 0 => \($ret->{1}->{RFC822}) };
        my $env = { HOME => $ENV{HOME} };
        my @cmd = qw(-learn rm --all);
        run_script(\@cmd, $env, $rdr) or BAIL_OUT('-learn rm');
 }
+
+SKIP: {
+       # do any clients use non-UID IMAP SEARCH?  We only ensure
+       # MSN "SEARCH" can return a result which can be retrieved
+       # via MSN "FETCH"
+       skip 'Xapian missing', 3 if $level eq 'basic';
+       my $x = $mic->search(qw(header subject embedded));
+       is(scalar(@$x), 1, 'MSN SEARCH on Subject works after rm');
+       $x = $mic->message_string($x->[0]);
+       is($x, $ret->{2}->{RFC822}, 'message 2 unchanged');
+}
+
 my $r2 = $mic->fetch_hash('1:*', 'BODY.PEEK[]') or BAIL_OUT "FETCH $@";
-is(scalar keys %$r2, 3, 'still got all 3 messages');
-like($r2->{1}->{'BODY[]'}, qr/dummy message #1/, 'got dummy message 1');
-is($r2->{2}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
-is($r2->{3}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
+is(scalar keys %$r2, 2, 'did not get all 3 messages');
+is($r2->{1}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
+is($r2->{2}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
 $r2 = $mic->fetch_hash(2, 'BODY.PEEK[HEADER.FIELDS (message-id)]')
                        or BAIL_OUT "FETCH $@";
 is($r2->{2}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
        'Message-ID: <20200418222508.GA13918@dcvr>'."\r\n\r\n",
        'BODY.PEEK[HEADER.FIELDS ...] drops .PEEK');
+
+{
+       my @new_list = $mic->list;
+       # tag differs in [-1]
+       like($orig_list[-1], qr/\A\S+ OK List done\r\n/, 'orig LIST');
+       like($new_list[-1], qr/\A\S+ OK List done\r\n/, 'new LIST');
+       pop @new_list;
+       pop @orig_list;
+       # TODO: not sure if sort order matters, imapd_refresh_finalize
+       # sorts, for now, but maybe clients don't care...
+       is_deeply(\@new_list, \@orig_list, 'LIST identical');
+}
 ok($mic->close, 'CLOSE works');
 ok(!$mic->close, 'CLOSE not idempotent');
 ok($mic->logout, 'logged out');
 
+{
+       my $c = tcp_connect($sock);
+       $c->autoflush(1);
+       like(<$c>, qr/\* OK/, 'got a greeting');
+       print $c "\r\n";
+       like(<$c>, qr/\A\* BAD Error in IMAP command/, 'empty line');
+       print $c "tagonly\r\n";
+       like(<$c>, qr/\Atagonly BAD Error in IMAP command/, 'tag-only line');
+}
+
 $td->kill;
 $td->join;
 is($?, 0, 'no error in exited process');
 open my $fh, '<', $err or BAIL_OUT("open $err failed: $!");
 my $eout = do { local $/; <$fh> };
 unlike($eout, qr/wide/i, 'no Wide character warnings');
+unlike($eout, qr/uninitialized/i, 'no uninitialized warnings');
 
 done_testing;