]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/imapd.t
watch: remove Filesys::Notify::Simple dependency
[public-inbox.git] / t / imapd.t
index 3d0be3408467785a96dfa5eb0b22e35d1f18ab4a..cc87a127851a0d025cd0beebda9657ff4676c102 100644 (file)
--- a/t/imapd.t
+++ b/t/imapd.t
@@ -8,7 +8,8 @@ use Time::HiRes ();
 use PublicInbox::TestCommon;
 use PublicInbox::Config;
 use PublicInbox::Spawn qw(which);
-require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure));
+require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure
+       Email::Address::XS||Mail::Address Parse::RecDescent));
 my $imap_client = 'Mail::IMAPClient';
 my $can_compress = $imap_client->can('compress');
 if ($can_compress) { # hope this gets fixed upstream, soon
@@ -16,10 +17,13 @@ if ($can_compress) { # hope this gets fixed upstream, soon
        $imap_client = 'PublicInbox::IMAPClient';
 }
 
-my $level = '-Lbasic';
+require_ok 'PublicInbox::IMAP';
+my $first_range = '0';
+
+my $level = 'basic';
 SKIP: {
        require_mods('Search::Xapian', 1);
-       $level = '-Lmedium';
+       $level = 'medium';
 };
 
 my @V = (1);
@@ -35,7 +39,7 @@ for my $V (@V) {
        my $url = "http://example.com/i$V";
        my $inboxdir = "$tmpdir/$name";
        my $folder = "inbox.i$V";
-       my $cmd = ['-init', "-V$V", $level, $name, $inboxdir, $url, $addr];
+       my $cmd = ['-init', "-V$V", "-L$level", $name, $inboxdir, $url, $addr];
        run_script($cmd) or BAIL_OUT("init $name");
        xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
                        "publicinbox.$name.newsgroup", $folder) == 0 or
@@ -87,22 +91,24 @@ ok(!$mic->examine('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
 ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
-ok($mic->select('inbox.i1'), 'SELECT succeeds');
-ok($mic->examine('inbox.i1'), 'EXAMINE succeeds');
-my @raw = $mic->status('inbox.i1', qw(Messages uidnext uidvalidity));
+my $mailbox1 = "inbox.i1.$first_range";
+ok($mic->select('inbox.i1'), 'SELECT on parent succeeds');
+ok($mic->select($mailbox1), 'SELECT succeeds');
+ok($mic->examine($mailbox1), 'EXAMINE succeeds');
+my @raw = $mic->status($mailbox1, qw(Messages uidnext uidvalidity));
 is(scalar(@raw), 2, 'got status response');
-like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\x20
+like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\.$first_range\x20
        \(MESSAGES\x20\d+\x20UIDNEXT\x20\d+\x20UIDVALIDITY\x20\d+\)\r\n/sx);
 like($raw[1], qr/\A\S+ OK /, 'finished status response');
 
-@raw = $mic->list;
-like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+my @orig_list = @raw = $mic->list;
+like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
        'got an inbox');
 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
-is(scalar(@raw), scalar(@V) + 2, 'default LIST response');
+is(scalar(@raw), scalar(@V) * 2 + 2, 'default LIST response');
 @raw = $mic->list('', 'inbox.i1');
 is(scalar(@raw), 2, 'limited LIST response');
-like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
                'got an inbox.i1');
 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
 
@@ -115,7 +121,49 @@ is_deeply($ret, [ 1 ], 'search UID 1:1 works');
 $ret = $mic->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
 is_deeply($ret, [ 1 ], 'search UID 1:* works');
 
+SKIP: {
+       skip 'Xapian missing', 7 if $level eq 'basic';
+       my $x = $mic->search(qw(smaller 99999));
+       is_deeply($x, [1], 'SMALLER works with Xapian (hit)');
+       $x = $mic->search(qw(smaller 9));
+       is_deeply($x, [], 'SMALLER works with Xapian (miss)');
+
+       $x = $mic->search(qw(larger 99999));
+       is_deeply($x, [], 'LARGER works with Xapian (miss)');
+       $x = $mic->search(qw(larger 9));
+       is_deeply($x, [1], 'LARGER works with Xapian (hit)');
+
+       $x = $mic->search(qw(HEADER Message-ID testmessage@example.com));
+       is_deeply($x, [1], 'HEADER Message-ID works');
+       $x = $mic->search(qw(HEADER Message-ID miss));
+       is_deeply($x, [], 'HEADER Message-ID can miss');
+
+       my @q = qw[OR HEADER Message-ID testmessage@example.com
+                       (OR FROM Ryan (OR TO Joe CC Scott))];
+       $x = $mic->search(join(' ', @q));
+       is_deeply($x, [1], 'nested query works');
+}
+
 is_deeply(scalar $mic->flags('1'), [], '->flags works');
+{
+       # RFC 3501 section 6.4.8 states:
+       # Also note that a UID range of 559:* always includes the
+       # UID of the last message in the mailbox, even if 559 is
+       # higher than any assigned UID value.
+       my $exp = $mic->fetch_hash(1, 'UID');
+       $ret = $mic->fetch_hash('559:*', 'UID');
+       is_deeply($ret, $exp, 'beginning range too big');
+       {
+               my @w; # Mail::IMAPClient hits a warning via overload
+               local $SIG{__WARN__} = sub { push @w, @_ };
+               $ret = $mic->fetch_hash(my $r = '559:558', 'UID');
+               is_deeply($ret, {}, "out-of-range UID FETCH $r");
+               @w = grep(!/\boverload\.pm\b/, @w);
+               is_deeply(\@w, [], 'no unexpected warning');
+       }
+       $ret = $mic->fetch_hash(my $r = '558:559', 'UID');
+       is_deeply($ret, {}, "out-of-range UID FETCH $r");
+}
 
 for my $r ('1:*', '1') {
        $ret = $mic->fetch_hash($r, 'RFC822') or BAIL_OUT "FETCH $@";
@@ -180,13 +228,13 @@ for my $r ('1:*', '1') {
        is(lc($bs->bodytype), 'text', '->bodytype');
        is(lc($bs->bodyenc), '8bit', '->bodyenc');
 }
-
-is_deeply([$mic->has_capability('COMPRESS')], ['DEFLATE'], 'deflate cap');
+ok($mic->has_capability('COMPRESS') ||
+       $mic->has_capability('COMPRESS=DEFLATE'), 'deflate cap');
 SKIP: {
        skip 'Mail::IMAPClient too old for ->compress', 2 if !$can_compress;
        my $c = $imap_client->new(%mic_opt);
        ok($c && $c->compress, 'compress enabled');
-       ok($c->examine('inbox.i1'), 'EXAMINE succeeds after COMPRESS');
+       ok($c->examine($mailbox1), 'EXAMINE succeeds after COMPRESS');
        $ret = $c->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
        is_deeply($ret, [ 1 ], 'search UID 1:* works after compression');
 }
@@ -203,11 +251,12 @@ $pi_config->each_inbox(sub {
        my $ng = $ibx->{newsgroup};
        my $mic = $imap_client->new(%mic_opt);
        ok($mic && $mic->login && $mic->IsAuthenticated, "authed $name");
-       my $uidnext = $mic->uidnext($ng); # we'll fetch BODYSTRUCTURE on this
+       my $mb = "$ng.$first_range";
+       my $uidnext = $mic->uidnext($mb); # we'll fetch BODYSTRUCTURE on this
        ok($uidnext, 'got uidnext for later fetch');
-       is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
+       ok($mic->has_capability('IDLE'), "IDLE capa $name");
        ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
-       ok($mic->examine($ng), "EXAMINE $ng succeeds");
+       ok($mic->examine($mb), "EXAMINE $ng succeeds");
        ok(my $idle_tag = $mic->idle, "IDLE succeeds on $ng");
 
        open(my $fh, '<', 't/data/message_embed.eml') or BAIL_OUT("open: $!");
@@ -307,6 +356,13 @@ Content-Type: message/rfc822\r
 Content-Disposition: attachment; filename="embed2x\.eml"\r
 \r
 EOF
+
+       my @hits = $mic->search('SENTON' => '18-Apr-2020');
+       is_deeply(\@hits, [ $uidnext ], 'search with date condition works');
+       ok($mic->examine($ng), 'EXAMINE on dummy');
+       @hits = $mic->search('SENTSINCE' => '18-Apr-2020');
+       is_deeply(\@hits, [], 'search on dummy with condition works');
+       ok(!$mic->search('SENTSINCE' => '18-Abr-2020'), 'bad month fails');
 }); # each_inbox
 
 # message sequence numbers :<
@@ -316,15 +372,39 @@ $ret = $mic->fetch_hash('1,2:3', 'RFC822') or BAIL_OUT "FETCH $@";
 is(scalar keys %$ret, 3, 'got all 3 messages with comma-separated sequence');
 $ret = $mic->fetch_hash('1:*', 'RFC822') or BAIL_OUT "FETCH $@";
 is(scalar keys %$ret, 3, 'got all 3 messages');
+
+SKIP: {
+       # do any clients use non-UID IMAP SEARCH?
+       skip 'Xapian missing', 2 if $level eq 'basic';
+       my $x = $mic->search('all');
+       is_deeply($x, [1, 2, 3], 'MSN SEARCH works before rm');
+       $x = $mic->search(qw(header subject embedded));
+       is_deeply($x, [2], 'MSN SEARCH on Subject works before rm');
+}
+
 {
        my $rdr = { 0 => \($ret->{1}->{RFC822}) };
        my $env = { HOME => $ENV{HOME} };
        my @cmd = qw(-learn rm --all);
        run_script(\@cmd, $env, $rdr) or BAIL_OUT('-learn rm');
 }
+
+SKIP: {
+       # do any clients use non-UID IMAP SEARCH?  We only ensure
+       # MSN "SEARCH" can return a result which can be retrieved
+       # via MSN "FETCH"
+       skip 'Xapian missing', 3 if $level eq 'basic';
+       my $x = $mic->search(qw(header subject embedded));
+       is(scalar(@$x), 1, 'MSN SEARCH on Subject works after rm');
+       $x = $mic->message_string($x->[0]);
+       is($x, $ret->{2}->{RFC822}, 'message 2 unchanged');
+       $x = $mic->search(qw(text embedded));
+       is(scalar(@$x), 1, 'MSN SEARCH on TEXT works after rm');
+}
+
+# FIXME? no EXPUNGE response, yet
 my $r2 = $mic->fetch_hash('1:*', 'BODY.PEEK[]') or BAIL_OUT "FETCH $@";
-is(scalar keys %$r2, 3, 'still got all 3 messages');
-like($r2->{1}->{'BODY[]'}, qr/dummy message #1/, 'got dummy message 1');
+is(scalar keys %$r2, 2, 'did not get all 3 messages');
 is($r2->{2}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
 is($r2->{3}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
 $r2 = $mic->fetch_hash(2, 'BODY.PEEK[HEADER.FIELDS (message-id)]')
@@ -332,15 +412,79 @@ $r2 = $mic->fetch_hash(2, 'BODY.PEEK[HEADER.FIELDS (message-id)]')
 is($r2->{2}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
        'Message-ID: <20200418222508.GA13918@dcvr>'."\r\n\r\n",
        'BODY.PEEK[HEADER.FIELDS ...] drops .PEEK');
+
+{
+       my @new_list = $mic->list;
+       # tag differs in [-1]
+       like($orig_list[-1], qr/\A\S+ OK List done\r\n/, 'orig LIST');
+       like($new_list[-1], qr/\A\S+ OK List done\r\n/, 'new LIST');
+       pop @new_list;
+       pop @orig_list;
+       # TODO: not sure if sort order matters, imapd_refresh_finalize
+       # doesn't sort, hopefully clients don't care...
+       @new_list = sort @new_list;
+       @orig_list = sort @orig_list;
+       is_deeply(\@new_list, \@orig_list, 'LIST identical');
+}
 ok($mic->close, 'CLOSE works');
 ok(!$mic->close, 'CLOSE not idempotent');
 ok($mic->logout, 'logged out');
 
+{
+       my $c = tcp_connect($sock);
+       $c->autoflush(1);
+       like(<$c>, qr/\* OK/, 'got a greeting');
+       print $c "\r\n";
+       like(<$c>, qr/\A\* BAD Error in IMAP command/, 'empty line');
+       print $c "tagonly\r\n";
+       like(<$c>, qr/\Atagonly BAD Error in IMAP command/, 'tag-only line');
+}
+
+{
+       use_ok 'PublicInbox::WatchMaildir';
+       use_ok 'PublicInbox::InboxIdle';
+       my $home = "$tmpdir/watch_home";
+       mkdir $home or BAIL_OUT $!;
+       mkdir "$home/.public-inbox" or BAIL_OUT $!;
+       local $ENV{HOME} = $home;
+       my $name = 'watchimap';
+       my $addr = "i1\@example.com";
+       my $url = "http://example.com/i1";
+       my $inboxdir = "$tmpdir/watchimap";
+       my $cmd = ['-init', '-V2', '-Lbasic', $name, $inboxdir, $url, $addr];
+       my ($ihost, $iport) = ($sock->sockhost, $sock->sockport);
+       my $imapurl = "imap://$ihost:$iport/inbox.i1.0";
+       run_script($cmd) or BAIL_OUT("init $name");
+       xsys(qw(git config), "--file=$home/.public-inbox/config",
+                       "publicinbox.$name.watch",
+                       $imapurl) == 0 or BAIL_OUT "git config $?";
+       my $cfg = PublicInbox::Config->new;
+       PublicInbox::DS->Reset;
+       my $ii = PublicInbox::InboxIdle->new($cfg);
+       my $cb = sub { PublicInbox::DS->SetPostLoopCallback(sub {}) };
+       my $obj = bless \$cb, 'PublicInbox::TestCommon::InboxWakeup';
+       $cfg->each_inbox(sub { $_[0]->subscribe_unlock('ident', $obj) });
+       open my $err, '+>', undef or BAIL_OUT $!;
+       my $w = start_script(['-watch'], undef, { 2 => $err });
+       PublicInbox::DS->EventLoop;
+       diag 'inbox unlocked';
+       $w->kill;
+       $w->join;
+       is($?, 0, 'no error in exited -watch process');
+       $cfg->each_inbox(sub { shift->unsubscribe_unlock('ident') });
+       $ii->close;
+       PublicInbox::DS->Reset;
+       seek($err, 0, 0);
+       my @err = grep(!/^I:/, <$err>);
+       is(@err, 0, 'no warnings/errors from -watch'.join(' ', @err));
+}
+
 $td->kill;
 $td->join;
 is($?, 0, 'no error in exited process');
 open my $fh, '<', $err or BAIL_OUT("open $err failed: $!");
 my $eout = do { local $/; <$fh> };
 unlike($eout, qr/wide/i, 'no Wide character warnings');
+unlike($eout, qr/uninitialized/i, 'no uninitialized warnings');
 
 done_testing;