]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/imapd.t
imap: fix multi-message partial header fetches
[public-inbox.git] / t / imapd.t
index f28a663bf9dacbb9622120b8647eab5ae64b7dba..fcbbdc09d316d719755ab4b517a95d7ef3be99e3 100644 (file)
--- a/t/imapd.t
+++ b/t/imapd.t
@@ -1,10 +1,15 @@
 #!perl -w
 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
+# end-to-end IMAP tests, see unit tests in t/imap.t, too
 use strict;
 use Test::More;
+use Time::HiRes ();
 use PublicInbox::TestCommon;
-require_mods(qw(DBD::SQLite Mail::IMAPClient));
+use PublicInbox::Config;
+use PublicInbox::Spawn qw(which);
+require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure));
+
 my $level = '-Lbasic';
 SKIP: {
        require_mods('Search::Xapian', 1);
@@ -12,7 +17,7 @@ SKIP: {
 };
 
 my @V = (1);
-#push(@V, 2) if require_git('2.6', 1);
+push(@V, 2) if require_git('2.6', 1);
 
 my ($tmpdir, $for_destroy) = tmpdir();
 my $home = "$tmpdir/home";
@@ -78,6 +83,22 @@ ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
 ok($mic->select('inbox.i1'), 'SELECT succeeds');
 ok($mic->examine('inbox.i1'), 'EXAMINE succeeds');
+my @raw = $mic->status('inbox.i1', qw(Messages uidnext uidvalidity));
+is(scalar(@raw), 2, 'got status response');
+like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\x20
+       \(MESSAGES\x20\d+\x20UIDNEXT\x20\d+\x20UIDVALIDITY\x20\d+\)\r\n/sx);
+like($raw[1], qr/\A\S+ OK /, 'finished status response');
+
+@raw = $mic->list;
+like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+       'got an inbox');
+like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
+is(scalar(@raw), scalar(@V) + 2, 'default LIST response');
+@raw = $mic->list('', 'inbox.i1');
+is(scalar(@raw), 2, 'limited LIST response');
+like($raw[0], qr/^\* LIST \(.*?\) "\." inbox/,
+               'got an inbox.i1');
+like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
 
 my $ret = $mic->search('all') or BAIL_OUT "SEARCH FAIL $@";
 is_deeply($ret, [ 1 ], 'search all works');
@@ -122,6 +143,36 @@ for my $r ('1:*', '1') {
 
        $ret = $mic->fetch_hash($r, 'FLAGS') or BAIL_OUT "FETCH $@";
        is_deeply($ret->{1}->{FLAGS}, '', 'no flags');
+
+       $ret = $mic->fetch_hash($r, 'BODY[1]') or BAIL_OUT "FETCH $@";
+       like($ret->{1}->{'BODY[1]'}, qr/\AThis is a test message/, 'BODY[1]');
+
+       $ret = $mic->fetch_hash($r, 'BODY[1]<1>') or BAIL_OUT "FETCH $@";
+       like($ret->{1}->{'BODY[1]<1>'}, qr/\Ahis is a test message/,
+                       'BODY[1]<1>');
+
+       $ret = $mic->fetch_hash($r, 'BODY[1]<2.3>') or BAIL_OUT "FETCH $@";
+       is($ret->{1}->{'BODY[1]<2>'}, "is ", 'BODY[1]<2.3>');
+       $ret = $mic->bodypart_string($r, 1, 3, 2) or
+                                       BAIL_OUT "bodypart_string $@";
+       is($ret, "is ", 'bodypart string');
+
+       $ret = $mic->fetch_hash($r, 'BODY[HEADER.FIELDS.NOT (Message-ID)]')
+               or BAIL_OUT "FETCH $@";
+       $ret = $ret->{1}->{'BODY[HEADER.FIELDS.NOT (MESSAGE-ID)]'};
+       unlike($ret, qr/message-id/i, 'Message-ID excluded');
+       like($ret, qr/\r\n\r\n\z/s, 'got header end');
+
+       $ret = $mic->fetch_hash($r, 'BODY[HEADER.FIELDS (Message-ID)]')
+               or BAIL_OUT "FETCH $@";
+       is($ret->{1}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
+               'Message-ID: <testmessage@example.com>'."\r\n\r\n",
+               'got only Message-ID');
+
+       my $bs = $mic->get_bodystructure($r) or BAIL_OUT("bodystructure: $@");
+       ok($bs, 'got a bodystructure');
+       is(lc($bs->bodytype), 'text', '->bodytype');
+       is(lc($bs->bodyenc), '8bit', '->bodyenc');
 }
 
 # Mail::IMAPClient ->compress creates cyclic reference:
@@ -139,6 +190,122 @@ is_deeply([$mic->has_capability('COMPRESS')], ['DEFLATE'], 'deflate cap');
 ok($mic->compress, 'compress enabled');
 $compress_logout->($mic);
 
+my $have_inotify = eval { require Linux::Inotify2; 1 };
+
+my $pi_config = PublicInbox::Config->new;
+$pi_config->each_inbox(sub {
+       my ($ibx) = @_;
+       my $env = { ORIGINAL_RECIPIENT => $ibx->{-primary_address} };
+       my $name = $ibx->{name};
+       my $ng = $ibx->{newsgroup};
+       my $mic = Mail::IMAPClient->new(%mic_opt);
+       ok($mic && $mic->login && $mic->IsAuthenticated, "authed $name");
+       my $uidnext = $mic->uidnext($ng); # we'll fetch BODYSTRUCTURE on this
+       ok($uidnext, 'got uidnext for later fetch');
+       is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
+       ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
+       ok($mic->examine($ng), "EXAMINE $ng succeeds");
+       ok(my $idle_tag = $mic->idle, "IDLE succeeds on $ng");
+
+       open(my $fh, '<', 't/data/message_embed.eml') or BAIL_OUT("open: $!");
+       run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
+               BAIL_OUT('-mda delivery');
+       my $t0 = Time::HiRes::time();
+       ok(my @res = $mic->idle_data(11), "IDLE succeeds on $ng");
+       is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
+       ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
+
+       my (@ino_info, $ino_fdinfo);
+       SKIP: {
+               skip 'no inotify support', 1 unless $have_inotify;
+               skip 'missing /proc/$PID/fd', 1 if !-d "/proc/$td->{pid}/fd";
+               my @ino = grep {
+                       readlink($_) =~ /\binotify\b/
+               } glob("/proc/$td->{pid}/fd/*");
+               is(scalar(@ino), 1, 'only one inotify FD');
+               my $ino_fd = (split('/', $ino[0]))[-1];
+               $ino_fdinfo = "/proc/$td->{pid}/fdinfo/$ino_fd";
+               if (open my $fh, '<', $ino_fdinfo) {
+                       local $/ = "\n";
+                       @ino_info = grep(/^inotify wd:/, <$fh>);
+                       ok(scalar(@ino_info), 'inotify has watches');
+               } else {
+                       skip "$ino_fdinfo missing: $!", 1;
+               }
+       };
+
+       # ensure IDLE persists across HUP, w/o extra watches or FDs
+       $td->kill('HUP') or BAIL_OUT "failed to kill -imapd: $!";
+       SKIP: {
+               skip 'no inotify fdinfo (or support)', 2 if !@ino_info;
+               my (@tmp, %prev);
+               local $/ = "\n";
+               my $end = time + 5;
+               until (time > $end) {
+                       select undef, undef, undef, 0.01;
+                       open my $fh, '<', $ino_fdinfo or
+                                               BAIL_OUT "$ino_fdinfo: $!";
+                       %prev = map { $_ => 1 } @ino_info;
+                       @tmp = grep(/^inotify wd:/, <$fh>);
+                       if (scalar(@tmp) == scalar(@ino_info)) {
+                               delete @prev{@tmp};
+                               last if scalar(keys(%prev)) == @ino_info;
+                       }
+               }
+               is(scalar @tmp, scalar @ino_info,
+                       'old inotify watches replaced');
+               is(scalar keys %prev, scalar @ino_info,
+                       'no previous watches overlap');
+       };
+
+       open($fh, '<', 't/data/0001.patch') or BAIL_OUT("open: $!");
+       run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
+               BAIL_OUT('-mda delivery');
+       $t0 = Time::HiRes::time();
+       ok(@res = $mic->idle_data(11), "IDLE succeeds on $ng after HUP");
+       is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
+       ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
+       ok($mic->done($idle_tag), 'IDLE DONE');
+       my $bs = $mic->get_bodystructure($uidnext);
+       ok($bs, 'BODYSTRUCTURE ok for deeply nested');
+       $ret = $mic->fetch_hash($uidnext, 'BODY') or BAIL_OUT "FETCH $@";
+       ok($ret->{$uidnext}->{BODY}, 'got something in BODY');
+
+       # this matches dovecot behavior
+       $ret = $mic->fetch_hash($uidnext, 'BODY[1]') or BAIL_OUT "FETCH $@";
+       is($ret->{$uidnext}->{'BODY[1]'},
+               "testing embedded message harder\r\n", 'BODY[1]');
+       $ret = $mic->fetch_hash($uidnext, 'BODY[2]') or BAIL_OUT "FETCH $@";
+       like($ret->{$uidnext}->{'BODY[2]'},
+               qr/\ADate: Sat, 18 Apr 2020 22:20:20 /, 'BODY[2]');
+
+       $ret = $mic->fetch_hash($uidnext, 'BODY[2.1.1]') or BAIL_OUT "FETCH $@";
+       is($ret->{$uidnext}->{'BODY[2.1.1]'},
+               "testing embedded message\r\n", 'BODY[2.1.1]');
+
+       $ret = $mic->fetch_hash($uidnext, 'BODY[2.1.2]') or BAIL_OUT "FETCH $@";
+       like($ret->{$uidnext}->{'BODY[2.1.2]'}, qr/\AFrom: /,
+               'BODY[2.1.2] tip matched');
+       like($ret->{$uidnext}->{'BODY[2.1.2]'},
+                # trailing CRLF may vary depending on MIME parser
+                qr/done_testing;(?:\r\n){1,2}\z/,
+               'BODY[2.1.2] tail matched');
+
+       $ret = $mic->fetch_hash("1:$uidnext", 'BODY[2.HEADER]') or
+                                               BAIL_OUT "2.HEADER $@";
+       like($ret->{$uidnext}->{'BODY[2.HEADER]'},
+               qr/\ADate: Sat, 18 Apr 2020 22:20:20 /,
+               '2.HEADER of message/rfc822');
+
+       $ret = $mic->fetch_hash($uidnext, 'BODY[2.MIME]') or
+               BAIL_OUT "2.MIME $@";
+       is($ret->{$uidnext}->{'BODY[2.MIME]'}, <<EOF, 'BODY[2.MIME]');
+Content-Type: message/rfc822\r
+Content-Disposition: attachment; filename="embed2x\.eml"\r
+\r
+EOF
+}); # each_inbox
+
 $td->kill;
 $td->join;
 is($?, 0, 'no error in exited process');