]> Sergey Matveev's repositories - public-inbox.git/blob - t/imapd.t
imapd: don't bother sorting LIST output
[public-inbox.git] / t / imapd.t
1 #!perl -w
2 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
4 # end-to-end IMAP tests, see unit tests in t/imap.t, too
5 use strict;
6 use Test::More;
7 use Time::HiRes ();
8 use PublicInbox::TestCommon;
9 use PublicInbox::Config;
10 use PublicInbox::Spawn qw(which);
11 require_mods(qw(DBD::SQLite Mail::IMAPClient Mail::IMAPClient::BodyStructure));
12 my $imap_client = 'Mail::IMAPClient';
13 my $can_compress = $imap_client->can('compress');
14 if ($can_compress) { # hope this gets fixed upstream, soon
15         require PublicInbox::IMAPClient;
16         $imap_client = 'PublicInbox::IMAPClient';
17 }
18
19 require_ok 'PublicInbox::IMAP';
20 my $first_range = '0';
21
22 my $level = 'basic';
23 SKIP: {
24         require_mods('Search::Xapian', 1);
25         $level = 'medium';
26 };
27
28 my @V = (1);
29 push(@V, 2) if require_git('2.6', 1);
30
31 my ($tmpdir, $for_destroy) = tmpdir();
32 my $home = "$tmpdir/home";
33 local $ENV{HOME} = $home;
34
35 for my $V (@V) {
36         my $addr = "i$V\@example.com";
37         my $name = "i$V";
38         my $url = "http://example.com/i$V";
39         my $inboxdir = "$tmpdir/$name";
40         my $folder = "inbox.i$V";
41         my $cmd = ['-init', "-V$V", "-L$level", $name, $inboxdir, $url, $addr];
42         run_script($cmd) or BAIL_OUT("init $name");
43         xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
44                         "publicinbox.$name.newsgroup", $folder) == 0 or
45                         BAIL_OUT("setting newsgroup $V");
46         if ($V == 1) {
47                 xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
48                         'publicinboxmda.spamcheck', 'none') == 0 or
49                         BAIL_OUT("config: $?");
50         }
51         open(my $fh, '<', 't/utf8.eml') or BAIL_OUT("open t/utf8.eml: $!");
52         my $env = { ORIGINAL_RECIPIENT => $addr };
53         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
54                 BAIL_OUT('-mda delivery');
55         if ($V == 1) {
56                 run_script(['-index', $inboxdir]) or BAIL_OUT("index $?");
57         }
58 }
59 my $sock = tcp_server();
60 my $err = "$tmpdir/stderr.log";
61 my $out = "$tmpdir/stdout.log";
62 my $cmd = [ '-imapd', '-W0', "--stdout=$out", "--stderr=$err" ];
63 my $td = start_script($cmd, undef, { 3 => $sock }) or BAIL_OUT("-imapd: $?");
64 my %mic_opt = (
65         Server => $sock->sockhost,
66         Port => $sock->sockport,
67         Uid => 1,
68 );
69 my $mic = $imap_client->new(%mic_opt);
70 my $pre_login_capa = $mic->capability;
71 is(grep(/\AAUTH=ANONYMOUS\z/, @$pre_login_capa), 1,
72         'AUTH=ANONYMOUS advertised pre-login');
73
74 $mic->User('lorelei');
75 $mic->Password('Hunter2');
76 ok($mic->login && $mic->IsAuthenticated, 'LOGIN works');
77 my $post_login_capa = $mic->capability;
78 ok(join("\n", @$pre_login_capa) ne join("\n", @$post_login_capa),
79         'got different capabilities post-login');
80
81 $mic_opt{Authmechanism} = 'ANONYMOUS';
82 $mic_opt{Authcallback} = sub { '' };
83 $mic = $imap_client->new(%mic_opt);
84 ok($mic && $mic->login && $mic->IsAuthenticated, 'AUTHENTICATE ANONYMOUS');
85 my $post_auth_anon_capa = $mic->capability;
86 is_deeply($post_auth_anon_capa, $post_login_capa,
87         'auth anon has same capabilities');
88 my $e;
89 ok(!$mic->examine('foo') && ($e = $@), 'EXAMINE non-existent');
90 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
91 ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
92 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
93 my $mailbox1 = "inbox.i1.$first_range";
94 ok($mic->select('inbox.i1'), 'SELECT on parent succeeds');
95 ok($mic->select($mailbox1), 'SELECT succeeds');
96 ok($mic->examine($mailbox1), 'EXAMINE succeeds');
97 my @raw = $mic->status($mailbox1, qw(Messages uidnext uidvalidity));
98 is(scalar(@raw), 2, 'got status response');
99 like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\.$first_range\x20
100         \(MESSAGES\x20\d+\x20UIDNEXT\x20\d+\x20UIDVALIDITY\x20\d+\)\r\n/sx);
101 like($raw[1], qr/\A\S+ OK /, 'finished status response');
102
103 my @orig_list = @raw = $mic->list;
104 like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
105         'got an inbox');
106 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
107 is(scalar(@raw), scalar(@V) + 4, 'default LIST response');
108 @raw = $mic->list('', 'inbox.i1');
109 is(scalar(@raw), 2, 'limited LIST response');
110 like($raw[0], qr/^\* LIST \(.*?\) "\." INBOX/,
111                 'got an inbox.i1');
112 like($raw[-1], qr/^\S+ OK /, 'response ended with OK');
113
114 my $ret = $mic->search('all') or BAIL_OUT "SEARCH FAIL $@";
115 is_deeply($ret, [ 1 ], 'search all works');
116 $ret = $mic->search('uid 1') or BAIL_OUT "SEARCH FAIL $@";
117 is_deeply($ret, [ 1 ], 'search UID 1 works');
118 $ret = $mic->search('uid 1:1') or BAIL_OUT "SEARCH FAIL $@";
119 is_deeply($ret, [ 1 ], 'search UID 1:1 works');
120 $ret = $mic->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
121 is_deeply($ret, [ 1 ], 'search UID 1:* works');
122
123 SKIP: {
124         skip 'Xapian missing', 6 if $level eq 'basic';
125         my $x = $mic->search(qw(smaller 99999));
126         is_deeply($x, [1], 'SMALLER works with Xapian (hit)');
127         $x = $mic->search(qw(smaller 9));
128         is_deeply($x, [], 'SMALLER works with Xapian (miss)');
129
130         $x = $mic->search(qw(larger 99999));
131         is_deeply($x, [], 'LARGER works with Xapian (miss)');
132         $x = $mic->search(qw(larger 9));
133         is_deeply($x, [1], 'LARGER works with Xapian (hit)');
134
135         $x = $mic->search(qw(HEADER Message-ID testmessage@example.com));
136         is_deeply($x, [1], 'HEADER Message-ID works');
137         $x = $mic->search(qw(HEADER Message-ID miss));
138         is_deeply($x, [], 'HEADER Message-ID can miss');
139 }
140
141 is_deeply(scalar $mic->flags('1'), [], '->flags works');
142 {
143         # RFC 3501 section 6.4.8 states:
144         # Also note that a UID range of 559:* always includes the
145         # UID of the last message in the mailbox, even if 559 is
146         # higher than any assigned UID value.
147         my $exp = $mic->fetch_hash(1, 'UID');
148         $ret = $mic->fetch_hash('559:*', 'UID');
149         is_deeply($ret, $exp, 'beginning range too big');
150         for my $r (qw(559:558 558:559)) {
151                 $ret = $mic->fetch_hash($r, 'UID');
152                 is_deeply($ret, {}, "out-of-range UID FETCH $r");
153         }
154 }
155
156 for my $r ('1:*', '1') {
157         $ret = $mic->fetch_hash($r, 'RFC822') or BAIL_OUT "FETCH $@";
158         is_deeply([keys %$ret], [1]);
159         like($ret->{1}->{RFC822}, qr/\r\n\r\nThis is a test/, 'read full');
160
161         # ensure Mail::IMAPClient behaves
162         my $str = $mic->message_string($r) or BAIL_OUT "->message_string: $@";
163         is($str, $ret->{1}->{RFC822}, '->message_string works as expected');
164
165         my $sz = $mic->fetch_hash($r, 'RFC822.size') or BAIL_OUT "FETCH $@";
166         is($sz->{1}->{'RFC822.SIZE'}, length($ret->{1}->{RFC822}),
167                 'RFC822.SIZE');
168
169         $ret = $mic->fetch_hash($r, 'RFC822.HEADER') or BAIL_OUT "FETCH $@";
170         is_deeply([keys %$ret], [1]);
171         like($ret->{1}->{'RFC822.HEADER'},
172                 qr/^Message-ID: <testmessage\@example\.com>/ms, 'read header');
173
174         $ret = $mic->fetch_hash($r, 'INTERNALDATE') or BAIL_OUT "FETCH $@";
175         is($ret->{1}->{'INTERNALDATE'}, '01-Jan-1970 00:00:00 +0000',
176                 'internaldate matches');
177         ok(!$mic->fetch_hash($r, 'INFERNALDATE'), 'bogus attribute fails');
178
179         my $envelope = $mic->get_envelope($r) or BAIL_OUT("get_envelope: $@");
180         is($envelope->{bcc}, 'NIL', 'empty bcc');
181         is($envelope->{messageid}, '<testmessage@example.com>', 'messageid');
182         is(scalar @{$envelope->{to}}, 1, 'one {to} header');
183         # *sigh* too much to verify...
184         #use Data::Dumper; diag Dumper($envelope);
185
186         $ret = $mic->fetch_hash($r, 'FLAGS') or BAIL_OUT "FETCH $@";
187         is_deeply($ret->{1}->{FLAGS}, '', 'no flags');
188
189         $ret = $mic->fetch_hash($r, 'BODY[1]') or BAIL_OUT "FETCH $@";
190         like($ret->{1}->{'BODY[1]'}, qr/\AThis is a test message/, 'BODY[1]');
191
192         $ret = $mic->fetch_hash($r, 'BODY[1]<1>') or BAIL_OUT "FETCH $@";
193         like($ret->{1}->{'BODY[1]<1>'}, qr/\Ahis is a test message/,
194                         'BODY[1]<1>');
195
196         $ret = $mic->fetch_hash($r, 'BODY[1]<2.3>') or BAIL_OUT "FETCH $@";
197         is($ret->{1}->{'BODY[1]<2>'}, "is ", 'BODY[1]<2.3>');
198         $ret = $mic->bodypart_string($r, 1, 3, 2) or
199                                         BAIL_OUT "bodypart_string $@";
200         is($ret, "is ", 'bodypart string');
201
202         $ret = $mic->fetch_hash($r, 'BODY[HEADER.FIELDS.NOT (Message-ID)]')
203                 or BAIL_OUT "FETCH $@";
204         $ret = $ret->{1}->{'BODY[HEADER.FIELDS.NOT (MESSAGE-ID)]'};
205         unlike($ret, qr/message-id/i, 'Message-ID excluded');
206         like($ret, qr/\r\n\r\n\z/s, 'got header end');
207
208         $ret = $mic->fetch_hash($r, 'BODY[HEADER.FIELDS (Message-ID)]')
209                 or BAIL_OUT "FETCH $@";
210         is($ret->{1}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
211                 'Message-ID: <testmessage@example.com>'."\r\n\r\n",
212                 'got only Message-ID');
213
214         my $bs = $mic->get_bodystructure($r) or BAIL_OUT("bodystructure: $@");
215         ok($bs, 'got a bodystructure');
216         is(lc($bs->bodytype), 'text', '->bodytype');
217         is(lc($bs->bodyenc), '8bit', '->bodyenc');
218 }
219
220 is_deeply([$mic->has_capability('COMPRESS')], ['DEFLATE'], 'deflate cap');
221 SKIP: {
222         skip 'Mail::IMAPClient too old for ->compress', 2 if !$can_compress;
223         my $c = $imap_client->new(%mic_opt);
224         ok($c && $c->compress, 'compress enabled');
225         ok($c->examine($mailbox1), 'EXAMINE succeeds after COMPRESS');
226         $ret = $c->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
227         is_deeply($ret, [ 1 ], 'search UID 1:* works after compression');
228 }
229
230 ok($mic->logout, 'logout works');
231
232 my $have_inotify = eval { require Linux::Inotify2; 1 };
233
234 my $pi_config = PublicInbox::Config->new;
235 $pi_config->each_inbox(sub {
236         my ($ibx) = @_;
237         my $env = { ORIGINAL_RECIPIENT => $ibx->{-primary_address} };
238         my $name = $ibx->{name};
239         my $ng = $ibx->{newsgroup};
240         my $mic = $imap_client->new(%mic_opt);
241         ok($mic && $mic->login && $mic->IsAuthenticated, "authed $name");
242         my $mb = "$ng.$first_range";
243         my $uidnext = $mic->uidnext($mb); # we'll fetch BODYSTRUCTURE on this
244         ok($uidnext, 'got uidnext for later fetch');
245         is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
246         ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
247         ok($mic->examine($mb), "EXAMINE $ng succeeds");
248         ok(my $idle_tag = $mic->idle, "IDLE succeeds on $ng");
249
250         open(my $fh, '<', 't/data/message_embed.eml') or BAIL_OUT("open: $!");
251         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
252                 BAIL_OUT('-mda delivery');
253         my $t0 = Time::HiRes::time();
254         ok(my @res = $mic->idle_data(11), "IDLE succeeds on $ng");
255         is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
256         ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
257
258         my (@ino_info, $ino_fdinfo);
259         SKIP: {
260                 skip 'no inotify support', 1 unless $have_inotify;
261                 skip 'missing /proc/$PID/fd', 1 if !-d "/proc/$td->{pid}/fd";
262                 my @ino = grep {
263                         readlink($_) =~ /\binotify\b/
264                 } glob("/proc/$td->{pid}/fd/*");
265                 is(scalar(@ino), 1, 'only one inotify FD');
266                 my $ino_fd = (split('/', $ino[0]))[-1];
267                 $ino_fdinfo = "/proc/$td->{pid}/fdinfo/$ino_fd";
268                 if (open my $fh, '<', $ino_fdinfo) {
269                         local $/ = "\n";
270                         @ino_info = grep(/^inotify wd:/, <$fh>);
271                         ok(scalar(@ino_info), 'inotify has watches');
272                 } else {
273                         skip "$ino_fdinfo missing: $!", 1;
274                 }
275         };
276
277         # ensure IDLE persists across HUP, w/o extra watches or FDs
278         $td->kill('HUP') or BAIL_OUT "failed to kill -imapd: $!";
279         SKIP: {
280                 skip 'no inotify fdinfo (or support)', 2 if !@ino_info;
281                 my (@tmp, %prev);
282                 local $/ = "\n";
283                 my $end = time + 5;
284                 until (time > $end) {
285                         select undef, undef, undef, 0.01;
286                         open my $fh, '<', $ino_fdinfo or
287                                                 BAIL_OUT "$ino_fdinfo: $!";
288                         %prev = map { $_ => 1 } @ino_info;
289                         @tmp = grep(/^inotify wd:/, <$fh>);
290                         if (scalar(@tmp) == scalar(@ino_info)) {
291                                 delete @prev{@tmp};
292                                 last if scalar(keys(%prev)) == @ino_info;
293                         }
294                 }
295                 is(scalar @tmp, scalar @ino_info,
296                         'old inotify watches replaced');
297                 is(scalar keys %prev, scalar @ino_info,
298                         'no previous watches overlap');
299         };
300
301         open($fh, '<', 't/data/0001.patch') or BAIL_OUT("open: $!");
302         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
303                 BAIL_OUT('-mda delivery');
304         $t0 = Time::HiRes::time();
305         ok(@res = $mic->idle_data(11), "IDLE succeeds on $ng after HUP");
306         is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
307         ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
308         ok($mic->done($idle_tag), 'IDLE DONE');
309         my $bs = $mic->get_bodystructure($uidnext);
310         ok($bs, 'BODYSTRUCTURE ok for deeply nested');
311         $ret = $mic->fetch_hash($uidnext, 'BODY') or BAIL_OUT "FETCH $@";
312         ok($ret->{$uidnext}->{BODY}, 'got something in BODY');
313
314         # this matches dovecot behavior
315         $ret = $mic->fetch_hash($uidnext, 'BODY[1]') or BAIL_OUT "FETCH $@";
316         is($ret->{$uidnext}->{'BODY[1]'},
317                 "testing embedded message harder\r\n", 'BODY[1]');
318         $ret = $mic->fetch_hash($uidnext, 'BODY[2]') or BAIL_OUT "FETCH $@";
319         like($ret->{$uidnext}->{'BODY[2]'},
320                 qr/\ADate: Sat, 18 Apr 2020 22:20:20 /, 'BODY[2]');
321
322         $ret = $mic->fetch_hash($uidnext, 'BODY[2.1.1]') or BAIL_OUT "FETCH $@";
323         is($ret->{$uidnext}->{'BODY[2.1.1]'},
324                 "testing embedded message\r\n", 'BODY[2.1.1]');
325
326         $ret = $mic->fetch_hash($uidnext, 'BODY[2.1.2]') or BAIL_OUT "FETCH $@";
327         like($ret->{$uidnext}->{'BODY[2.1.2]'}, qr/\AFrom: /,
328                 'BODY[2.1.2] tip matched');
329         like($ret->{$uidnext}->{'BODY[2.1.2]'},
330                  # trailing CRLF may vary depending on MIME parser
331                  qr/done_testing;(?:\r\n){1,2}\z/,
332                 'BODY[2.1.2] tail matched');
333
334         $ret = $mic->fetch_hash("1:$uidnext", 'BODY[2.HEADER]') or
335                                                 BAIL_OUT "2.HEADER $@";
336         like($ret->{$uidnext}->{'BODY[2.HEADER]'},
337                 qr/\ADate: Sat, 18 Apr 2020 22:20:20 /,
338                 '2.HEADER of message/rfc822');
339
340         $ret = $mic->fetch_hash($uidnext, 'BODY[2.MIME]') or
341                 BAIL_OUT "2.MIME $@";
342         is($ret->{$uidnext}->{'BODY[2.MIME]'}, <<EOF, 'BODY[2.MIME]');
343 Content-Type: message/rfc822\r
344 Content-Disposition: attachment; filename="embed2x\.eml"\r
345 \r
346 EOF
347
348         my @hits = $mic->search('SENTON' => '18-Apr-2020');
349         is_deeply(\@hits, [ $uidnext ], 'search with date condition works');
350         ok($mic->examine($ng), 'EXAMINE on dummy');
351         @hits = $mic->search('SENTSINCE' => '18-Apr-2020');
352         is_deeply(\@hits, [], 'search on dummy with condition works');
353 }); # each_inbox
354
355 # message sequence numbers :<
356 is($mic->Uid(0), 0, 'disable UID on '.ref($mic));
357 ok($mic->reconnect, 'reconnected');
358 $ret = $mic->fetch_hash('1,2:3', 'RFC822') or BAIL_OUT "FETCH $@";
359 is(scalar keys %$ret, 3, 'got all 3 messages with comma-separated sequence');
360 $ret = $mic->fetch_hash('1:*', 'RFC822') or BAIL_OUT "FETCH $@";
361 is(scalar keys %$ret, 3, 'got all 3 messages');
362
363 SKIP: {
364         # do any clients use non-UID IMAP SEARCH?
365         skip 'Xapian missing', 2 if $level eq 'basic';
366         my $x = $mic->search('all');
367         is_deeply($x, [1, 2, 3], 'MSN SEARCH works before rm');
368         $x = $mic->search(qw(header subject embedded));
369         is_deeply($x, [2], 'MSN SEARCH on Subject works before rm');
370 }
371
372 {
373         my $rdr = { 0 => \($ret->{1}->{RFC822}) };
374         my $env = { HOME => $ENV{HOME} };
375         my @cmd = qw(-learn rm --all);
376         run_script(\@cmd, $env, $rdr) or BAIL_OUT('-learn rm');
377 }
378
379 SKIP: {
380         # do any clients use non-UID IMAP SEARCH?  We only ensure
381         # MSN "SEARCH" can return a result which can be retrieved
382         # via MSN "FETCH"
383         skip 'Xapian missing', 3 if $level eq 'basic';
384         my $x = $mic->search(qw(header subject embedded));
385         is(scalar(@$x), 1, 'MSN SEARCH on Subject works after rm');
386         $x = $mic->message_string($x->[0]);
387         is($x, $ret->{2}->{RFC822}, 'message 2 unchanged');
388 }
389
390 my $r2 = $mic->fetch_hash('1:*', 'BODY.PEEK[]') or BAIL_OUT "FETCH $@";
391 is(scalar keys %$r2, 2, 'did not get all 3 messages');
392 is($r2->{1}->{'BODY[]'}, $ret->{2}->{RFC822}, 'message 2 unchanged');
393 is($r2->{2}->{'BODY[]'}, $ret->{3}->{RFC822}, 'message 3 unchanged');
394 $r2 = $mic->fetch_hash(2, 'BODY.PEEK[HEADER.FIELDS (message-id)]')
395                         or BAIL_OUT "FETCH $@";
396 is($r2->{2}->{'BODY[HEADER.FIELDS (MESSAGE-ID)]'},
397         'Message-ID: <20200418222508.GA13918@dcvr>'."\r\n\r\n",
398         'BODY.PEEK[HEADER.FIELDS ...] drops .PEEK');
399
400 {
401         my @new_list = $mic->list;
402         # tag differs in [-1]
403         like($orig_list[-1], qr/\A\S+ OK List done\r\n/, 'orig LIST');
404         like($new_list[-1], qr/\A\S+ OK List done\r\n/, 'new LIST');
405         pop @new_list;
406         pop @orig_list;
407         # TODO: not sure if sort order matters, imapd_refresh_finalize
408         # doesn't sort, hopefully clients don't care...
409         @new_list = sort @new_list;
410         @orig_list = sort @orig_list;
411         is_deeply(\@new_list, \@orig_list, 'LIST identical');
412 }
413 ok($mic->close, 'CLOSE works');
414 ok(!$mic->close, 'CLOSE not idempotent');
415 ok($mic->logout, 'logged out');
416
417 {
418         my $c = tcp_connect($sock);
419         $c->autoflush(1);
420         like(<$c>, qr/\* OK/, 'got a greeting');
421         print $c "\r\n";
422         like(<$c>, qr/\A\* BAD Error in IMAP command/, 'empty line');
423         print $c "tagonly\r\n";
424         like(<$c>, qr/\Atagonly BAD Error in IMAP command/, 'tag-only line');
425 }
426
427 $td->kill;
428 $td->join;
429 is($?, 0, 'no error in exited process');
430 open my $fh, '<', $err or BAIL_OUT("open $err failed: $!");
431 my $eout = do { local $/; <$fh> };
432 unlike($eout, qr/wide/i, 'no Wide character warnings');
433 unlike($eout, qr/uninitialized/i, 'no uninitialized warnings');
434
435 done_testing;