t/imapd.t

   1 #!perl -w
   2 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use Test::More;
   6 use Time::HiRes ();
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::Config;
   9 use PublicInbox::Spawn qw(which);
  10 require_mods(qw(DBD::SQLite Mail::IMAPClient Linux::Inotify2));
  11 my $level = '-Lbasic';
  12 SKIP: {
  13         require_mods('Search::Xapian', 1);
  14         $level = '-Lmedium';
  15 };
  16
  17 my @V = (1);
  18 push(@V, 2) if require_git('2.6', 1);
  19
  20 my ($tmpdir, $for_destroy) = tmpdir();
  21 my $home = "$tmpdir/home";
  22 local $ENV{HOME} = $home;
  23
  24 for my $V (@V) {
  25         my $addr = "i$V\@example.com";
  26         my $name = "i$V";
  27         my $url = "http://example.com/i$V";
  28         my $inboxdir = "$tmpdir/$name";
  29         my $folder = "inbox.i$V";
  30         my $cmd = ['-init', "-V$V", $level, $name, $inboxdir, $url, $addr];
  31         run_script($cmd) or BAIL_OUT("init $name");
  32         xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
  33                         "publicinbox.$name.newsgroup", $folder) == 0 or
  34                         BAIL_OUT("setting newsgroup $V");
  35         if ($V == 1) {
  36                 xsys(qw(git config), "--file=$ENV{HOME}/.public-inbox/config",
  37                         'publicinboxmda.spamcheck', 'none') == 0 or
  38                         BAIL_OUT("config: $?");
  39         }
  40         open(my $fh, '<', 't/utf8.eml') or BAIL_OUT("open t/utf8.eml: $!");
  41         my $env = { ORIGINAL_RECIPIENT => $addr };
  42         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
  43                 BAIL_OUT('-mda delivery');
  44         if ($V == 1) {
  45                 run_script(['-index', $inboxdir]) or BAIL_OUT("index $?");
  46         }
  47 }
  48 my $sock = tcp_server();
  49 my $err = "$tmpdir/stderr.log";
  50 my $out = "$tmpdir/stdout.log";
  51 my $cmd = [ '-imapd', '-W0', "--stdout=$out", "--stderr=$err" ];
  52 my $td = start_script($cmd, undef, { 3 => $sock }) or BAIL_OUT("-imapd: $?");
  53 my %mic_opt = (
  54         Server => $sock->sockhost,
  55         Port => $sock->sockport,
  56         Uid => 1,
  57 );
  58 my $mic = Mail::IMAPClient->new(%mic_opt);
  59 my $pre_login_capa = $mic->capability;
  60 is(grep(/\AAUTH=ANONYMOUS\z/, @$pre_login_capa), 1,
  61         'AUTH=ANONYMOUS advertised pre-login');
  62
  63 $mic->User('lorelei');
  64 $mic->Password('Hunter2');
  65 ok($mic->login && $mic->IsAuthenticated, 'LOGIN works');
  66 my $post_login_capa = $mic->capability;
  67 ok(join("\n", @$pre_login_capa) ne join("\n", @$post_login_capa),
  68         'got different capabilities post-login');
  69
  70 $mic_opt{Authmechanism} = 'ANONYMOUS';
  71 $mic_opt{Authcallback} = sub { '' };
  72 $mic = Mail::IMAPClient->new(%mic_opt);
  73 ok($mic && $mic->login && $mic->IsAuthenticated, 'AUTHENTICATE ANONYMOUS');
  74 my $post_auth_anon_capa = $mic->capability;
  75 is_deeply($post_auth_anon_capa, $post_login_capa,
  76         'auth anon has same capabilities');
  77 my $e;
  78 ok(!$mic->examine('foo') && ($e = $@), 'EXAMINE non-existent');
  79 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
  80 ok(!$mic->select('foo') && ($e = $@), 'EXAMINE non-existent');
  81 like($e, qr/\bNO\b/, 'got a NO on EXAMINE for non-existent');
  82 ok($mic->select('inbox.i1'), 'SELECT succeeds');
  83 ok($mic->examine('inbox.i1'), 'EXAMINE succeeds');
  84 my @raw = $mic->status('inbox.i1', qw(Messages uidnext uidvalidity));
  85 is(scalar(@raw), 2, 'got status response');
  86 like($raw[0], qr/\A\*\x20STATUS\x20inbox\.i1\x20
  87         \(MESSAGES\x20\d+\x20UIDNEXT\x20\d+\x20UIDVALIDITY\x20\d+\)\r\n/sx);
  88 like($raw[1], qr/\A\S+ OK /, 'finished status response');
  89
  90 my $ret = $mic->search('all') or BAIL_OUT "SEARCH FAIL $@";
  91 is_deeply($ret, [ 1 ], 'search all works');
  92 $ret = $mic->search('uid 1') or BAIL_OUT "SEARCH FAIL $@";
  93 is_deeply($ret, [ 1 ], 'search UID 1 works');
  94 $ret = $mic->search('uid 1:1') or BAIL_OUT "SEARCH FAIL $@";
  95 is_deeply($ret, [ 1 ], 'search UID 1:1 works');
  96 $ret = $mic->search('uid 1:*') or BAIL_OUT "SEARCH FAIL $@";
  97 is_deeply($ret, [ 1 ], 'search UID 1:* works');
  98
  99 is_deeply(scalar $mic->flags('1'), [], '->flags works');
 100
 101 for my $r ('1:*', '1') {
 102         $ret = $mic->fetch_hash($r, 'RFC822') or BAIL_OUT "FETCH $@";
 103         is_deeply([keys %$ret], [1]);
 104         like($ret->{1}->{RFC822}, qr/\r\n\r\nThis is a test/, 'read full');
 105
 106         # ensure Mail::IMAPClient behaves
 107         my $str = $mic->message_string($r) or BAIL_OUT "->message_string: $@";
 108         is($str, $ret->{1}->{RFC822}, '->message_string works as expected');
 109
 110         my $sz = $mic->fetch_hash($r, 'RFC822.size') or BAIL_OUT "FETCH $@";
 111         is($sz->{1}->{'RFC822.SIZE'}, length($ret->{1}->{RFC822}),
 112                 'RFC822.SIZE');
 113
 114         $ret = $mic->fetch_hash($r, 'RFC822.HEADER') or BAIL_OUT "FETCH $@";
 115         is_deeply([keys %$ret], [1]);
 116         like($ret->{1}->{'RFC822.HEADER'},
 117                 qr/^Message-ID: <testmessage\@example\.com>/ms, 'read header');
 118
 119         $ret = $mic->fetch_hash($r, 'INTERNALDATE') or BAIL_OUT "FETCH $@";
 120         is($ret->{1}->{'INTERNALDATE'}, '01-Jan-1970 00:00:00 +0000',
 121                 'internaldate matches');
 122         ok(!$mic->fetch_hash($r, 'INFERNALDATE'), 'bogus attribute fails');
 123
 124         my $envelope = $mic->get_envelope($r) or BAIL_OUT("get_envelope: $@");
 125         is($envelope->{bcc}, 'NIL', 'empty bcc');
 126         is($envelope->{messageid}, '<testmessage@example.com>', 'messageid');
 127         is(scalar @{$envelope->{to}}, 1, 'one {to} header');
 128         # *sigh* too much to verify...
 129         #use Data::Dumper; diag Dumper($envelope);
 130
 131         $ret = $mic->fetch_hash($r, 'FLAGS') or BAIL_OUT "FETCH $@";
 132         is_deeply($ret->{1}->{FLAGS}, '', 'no flags');
 133 }
 134
 135 # Mail::IMAPClient ->compress creates cyclic reference:
 136 # https://rt.cpan.org/Ticket/Display.html?id=132654
 137 my $compress_logout = sub {
 138         my ($c) = @_;
 139         ok($c->logout, 'logout ok after ->compress');
 140         # all documented in Mail::IMAPClient manpage:
 141         for (qw(Readmoremethod Readmethod Prewritemethod)) {
 142                 $c->$_(undef);
 143         }
 144 };
 145
 146 is_deeply([$mic->has_capability('COMPRESS')], ['DEFLATE'], 'deflate cap');
 147 ok($mic->compress, 'compress enabled');
 148 $compress_logout->($mic);
 149
 150 my $have_inotify = eval { require Linux::Inotify2; 1 };
 151
 152 my $pi_config = PublicInbox::Config->new;
 153 $pi_config->each_inbox(sub {
 154         my ($ibx) = @_;
 155         my $env = { ORIGINAL_RECIPIENT => $ibx->{-primary_address} };
 156         my $name = $ibx->{name};
 157         my $ng = $ibx->{newsgroup};
 158         my $mic = Mail::IMAPClient->new(%mic_opt);
 159         ok($mic && $mic->login && $mic->IsAuthenticated, "authed $name");
 160         is_deeply([$mic->has_capability('IDLE')], ['IDLE'], "IDLE capa $name");
 161         ok(!$mic->idle, "IDLE fails w/o SELECT/EXAMINE $name");
 162         ok($mic->examine($ng), "EXAMINE $ng succeeds");
 163         ok($mic->idle, "IDLE succeeds on $ng");
 164
 165         open(my $fh, '<', 't/data/message_embed.eml') or BAIL_OUT("open: $!");
 166         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
 167                 BAIL_OUT('-mda delivery');
 168         my $t0 = Time::HiRes::time();
 169         ok(my @res = $mic->idle_data(11), "IDLE succeeds on $ng");
 170         is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
 171         ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
 172
 173         my (@ino_info, $ino_fdinfo);
 174         SKIP: {
 175                 skip 'no inotify support', 1 unless $have_inotify;
 176                 skip 'missing /proc/$PID/fd', 1 if !-d "/proc/$td->{pid}/fd";
 177                 my @ino = grep {
 178                         readlink($_) =~ /\binotify\b/
 179                 } glob("/proc/$td->{pid}/fd/*");
 180                 is(scalar(@ino), 1, 'only one inotify FD');
 181                 my $ino_fd = (split('/', $ino[0]))[-1];
 182                 $ino_fdinfo = "/proc/$td->{pid}/fdinfo/$ino_fd";
 183                 if (open my $fh, '<', $ino_fdinfo) {
 184                         local $/ = "\n";
 185                         @ino_info = grep(/^inotify wd:/, <$fh>);
 186                         ok(scalar(@ino_info), 'inotify has watches');
 187                 } else {
 188                         skip "$ino_fdinfo missing: $!", 1;
 189                 }
 190         };
 191
 192         # ensure IDLE persists across HUP, w/o extra watches or FDs
 193         $td->kill('HUP') or BAIL_OUT "failed to kill -imapd: $!";
 194         SKIP: {
 195                 skip 'no inotify fdinfo (or support)', 2 if !@ino_info;
 196                 my (@tmp, %prev);
 197                 local $/ = "\n";
 198                 my $end = time + 5;
 199                 until (time > $end) {
 200                         select undef, undef, undef, 0.01;
 201                         open my $fh, '<', $ino_fdinfo or
 202                                                 BAIL_OUT "$ino_fdinfo: $!";
 203                         %prev = map { $_ => 1 } @ino_info;
 204                         @tmp = grep(/^inotify wd:/, <$fh>);
 205                         if (scalar(@tmp) == scalar(@ino_info)) {
 206                                 delete @prev{@tmp};
 207                                 last if scalar(keys(%prev)) == @ino_info;
 208                         }
 209                 }
 210                 is(scalar @tmp, scalar @ino_info,
 211                         'old inotify watches replaced');
 212                 is(scalar keys %prev, scalar @ino_info,
 213                         'no previous watches overlap');
 214         };
 215
 216         open($fh, '<', 't/data/0001.patch') or BAIL_OUT("open: $!");
 217         run_script(['-mda', '--no-precheck'], $env, { 0 => $fh }) or
 218                 BAIL_OUT('-mda delivery');
 219         $t0 = Time::HiRes::time();
 220         ok(@res = $mic->idle_data(11), "IDLE succeeds on $ng after HUP");
 221         is(grep(/\A\* [0-9] EXISTS\b/, @res), 1, 'got EXISTS message');
 222         ok((Time::HiRes::time() - $t0) < 10, 'IDLE client notified');
 223 });
 224
 225 $td->kill;
 226 $td->join;
 227 is($?, 0, 'no error in exited process');
 228 open my $fh, '<', $err or BAIL_OUT("open $err failed: $!");
 229 my $eout = do { local $/; <$fh> };
 230 unlike($eout, qr/wide/i, 'no Wide character warnings');
 231
 232 done_testing;