t/lei-refresh-mail-sync.t

   1 #!perl -w
   2 # Copyright (C) all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 require_mods(qw(lei));
   6 use File::Path qw(remove_tree);
   7 require Socket;
   8
   9 my $stop_daemon = sub { # needed since we don't have inotify
  10         lei_ok qw(daemon-pid);
  11         chomp(my $pid = $lei_out);
  12         $pid > 0 or xbail "bad pid: $pid";
  13         kill('TERM', $pid) or xbail "kill: $!";
  14         for (0..10) {
  15                 tick;
  16                 kill(0, $pid) or last;
  17         }
  18         kill(0, $pid) and xbail "daemon still running (PID:$pid)";
  19 };
  20
  21 test_lei({ daemon_only => 1 }, sub {
  22         my $d = "$ENV{HOME}/d";
  23         my ($ro_home, $cfg_path) = setup_public_inboxes;
  24         lei_ok qw(daemon-pid);
  25         lei_ok qw(add-external), "$ro_home/t2";
  26         lei_ok qw(q mid:testmessage@example.com -o), "Maildir:$d";
  27         my (@o) = glob("$d/*/*");
  28         scalar(@o) == 1 or xbail('multiple results', \@o);
  29         my ($bn0) = ($o[0] =~ m!/([^/]+)\z!);
  30
  31         my $oid = '9bf1002c49eb075df47247b74d69bcd555e23422';
  32         lei_ok 'inspect', "blob:$oid";
  33         my $before = json_utf8->decode($lei_out);
  34         my $exp0 = { 'mail-sync' => { "maildir:$d" => [ $bn0 ] } };
  35         is_deeply($before, $exp0, 'inspect shows expected');
  36
  37         $stop_daemon->();
  38         my $dst = $o[0];
  39         $dst =~ s/:2,.*\z// and $dst =~ s!/cur/!/new/! and
  40                 rename($o[0], $dst) or xbail "rename($o[0] => $dst): $!";
  41
  42         lei_ok 'inspect', "blob:$oid";
  43         is_deeply(json_utf8->decode($lei_out),
  44                 $before, 'inspect unchanged immediately after restart');
  45         lei_ok 'refresh-mail-sync', '--all';
  46         lei_ok 'inspect', "blob:$oid";
  47         my ($bn1) = ($dst =~ m!/([^/]+)\z!);
  48         my $exp1 = { 'mail-sync' => { "maildir:$d" => [ $bn1 ] } };
  49         is_deeply(json_utf8->decode($lei_out), $exp1,
  50                 'refresh-mail-sync updated location');
  51
  52         $stop_daemon->();
  53         rename($dst, "$d/unwatched") or xbail "rename $dst out-of-the-way $!";
  54
  55         lei_ok 'refresh-mail-sync', $d;
  56         lei_ok 'inspect', "blob:$oid";
  57         is($lei_out, '{}', 'no known locations after "removal"');
  58         lei_ok 'refresh-mail-sync', "Maildir:$d";
  59
  60         $stop_daemon->();
  61         rename("$d/unwatched", $dst) or xbail "rename $dst back";
  62
  63         lei_ok 'refresh-mail-sync', "Maildir:$d";
  64         lei_ok 'inspect', "blob:$oid";
  65         is_deeply(json_utf8->decode($lei_out), $exp1,
  66                 'replaced file noted again');
  67
  68         $stop_daemon->();
  69
  70         remove_tree($d);
  71         lei_ok 'refresh-mail-sync', '--all';
  72         lei_ok 'inspect', "blob:$oid";
  73         is($lei_out, '{}', 'no known locations after "removal"');
  74         lei_ok 'ls-mail-sync';
  75         is($lei_out, '', 'no sync left when folder is gone');
  76
  77 SKIP: {
  78         require_mods(qw(-imapd -nntpd Mail::IMAPClient Net::NNTP), 1);
  79         require File::Copy; # stdlib
  80         my $home = $ENV{HOME};
  81         my $srv;
  82         my $cfg_path2 = "$home/cfg2";
  83         File::Copy::cp($cfg_path, $cfg_path2);
  84         my $env = { PI_CONFIG => $cfg_path2 };
  85         my $sock_cls;
  86         for my $x (qw(imapd)) {
  87                 my $s = tcp_server;
  88                 $sock_cls //= ref($s);
  89                 my $cmd = [ "-$x", '-W0', "--stdout=$home/$x.out",
  90                         "--stderr=$home/$x.err" ];
  91                 my $td = start_script($cmd, $env, { 3 => $s }) or xbail("-$x");
  92                 my $addr = tcp_host_port($s);
  93                 $srv->{$x} = { addr => $addr, td => $td, cmd => $cmd, s => $s };
  94         }
  95         my $url = "imap://$srv->{imapd}->{addr}/t.v1.0";
  96         lei_ok 'import', $url, '+L:v1';
  97         lei_ok 'inspect', "blob:$oid";
  98         $before = json_utf8->decode($lei_out);
  99         my @f = grep(m!\Aimap://;AUTH=ANONYMOUS\@\Q$srv->{imapd}->{addr}\E!,
 100                 keys %{$before->{'mail-sync'}});
 101         is(scalar(@f), 1, 'got IMAP folder') or xbail(\@f);
 102         xsys([qw(git config), '-f', $cfg_path2,
 103                 qw(--unset publicinbox.t1.newsgroup)]) and
 104                 xbail "git config $?";
 105         $stop_daemon->(); # drop IMAP IDLE
 106         $srv->{imapd}->{td}->kill('HUP');
 107         tick; # wait for HUP
 108         lei_ok 'refresh-mail-sync', $url;
 109         lei_ok 'inspect', "blob:$oid";
 110         my $after = json_utf8->decode($lei_out);
 111         ok(!$after->{'mail-sync'}, 'no sync info for non-existent mailbox');
 112         lei_ok 'ls-mail-sync';
 113         unlike $lei_out, qr!^\Q$f[0]\E!, 'IMAP folder gone from mail_sync';
 114
 115         # simulate server downtime
 116         $url = "imap://$srv->{imapd}->{addr}/t.v2.0";
 117         lei_ok 'import', $url, '+L:v2';
 118
 119         lei_ok 'inspect', "blob:$oid";
 120         $before = $lei_out;
 121         delete $srv->{imapd}->{td}; # kill + join daemon
 122
 123         my $pid = fork // xbail "fork";
 124         if ($pid == 0) { # dummy server to kill new connections
 125                 $SIG{TERM} = sub { POSIX::_exit(0) };
 126                 $srv->{imapd}->{s}->blocking(1);
 127                 while (1) {
 128                         my $caddr = accept(my $c, $srv->{imapd}->{s}) // next;
 129                         shutdown($c, 2);
 130                 }
 131                 POSIX::_exit(0);
 132         }
 133         my $ar = PublicInbox::AutoReap->new($pid);
 134         ok(!(lei 'refresh-mail-sync', $url), 'URL fails on dead -imapd');
 135         ok(!(lei 'refresh-mail-sync', '--all'), '--all fails on dead -imapd');
 136         $ar->kill for qw(avoid sig wake miss-no signalfd or EVFILT_SIG);
 137         $ar->join('TERM');
 138
 139         my $cmd = $srv->{imapd}->{cmd};
 140         my $s = $srv->{imapd}->{s};
 141         $s->blocking(0);
 142         $srv->{imapd}->{td} = start_script($cmd, $env, { 3 => $s }) or
 143                 xbail "@$cmd";
 144         lei_ok 'refresh-mail-sync', '--all';
 145         lei_ok 'inspect', "blob:$oid";
 146         is($lei_out, $before, 'no changes when server was down');
 147 }; # imapd+nntpd stuff
 148 });
 149
 150 done_testing;