]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LEI.pm
dir_idle: treat IN_MOVED_FROM as a gone event
[public-inbox.git] / lib / PublicInbox / LEI.pm
index 9620e26422134ff92531707ab1b01a4629e5a606..b68e526bf365e056b8044a5fc89ff7527ca75a93 100644 (file)
@@ -12,14 +12,14 @@ use parent qw(PublicInbox::DS PublicInbox::LeiExternal
        PublicInbox::LeiQuery);
 use Getopt::Long ();
 use Socket qw(AF_UNIX SOCK_SEQPACKET MSG_EOR pack_sockaddr_un);
-use Errno qw(EPIPE EAGAIN EINTR ECONNREFUSED ENOENT ECONNRESET);
+use Errno qw(EPIPE EAGAIN ECONNREFUSED ENOENT ECONNRESET);
 use Cwd qw(getcwd);
 use POSIX qw(strftime);
 use IO::Handle ();
 use Fcntl qw(SEEK_SET);
 use PublicInbox::Config;
-use PublicInbox::Syscall qw(EPOLLIN EPOLLET);
-use PublicInbox::DS qw(now dwaitpid);
+use PublicInbox::Syscall qw(EPOLLIN);
+use PublicInbox::DS qw(dwaitpid);
 use PublicInbox::Spawn qw(spawn popen_rd);
 use PublicInbox::Lock;
 use PublicInbox::Eml;
@@ -77,19 +77,16 @@ sub rel2abs {
                return $p;
        }
        my $pwd = $self->{env}->{PWD};
-       my $cwd;
        if (defined $pwd) {
-               my $xcwd = $self->{3} //
-                       ($cwd = getcwd() // die "getcwd(PWD=$pwd): $!");
                if (my @st_pwd = stat($pwd)) {
-                       my @st_cwd = stat($xcwd) or die "stat($xcwd): $!";
+                       my @st_cwd = stat($self->{3}) or die "stat({3}): $!";
                        "@st_pwd[1,0]" eq "@st_cwd[1,0]" or
                                $self->{env}->{PWD} = $pwd = undef;
                } else { # PWD was invalid
                        $self->{env}->{PWD} = $pwd = undef;
                }
        }
-       $pwd //= $self->{env}->{PWD} = $cwd // getcwd() // die "getcwd: $!";
+       $pwd //= $self->{env}->{PWD} = getcwd() // die "getcwd: $!";
        File::Spec->rel2abs($p, $pwd);
 }
 
@@ -181,8 +178,8 @@ our %CMD = ( # sorted in order of importance/use:
        shared color! mail-sync!), @c_opt, opt_dash('limit|n=i', '[0-9]+') ],
 
 'up' => [ 'OUTPUT...|--all', 'update saved search',
-       qw(jobs|j=s lock=s@ alert=s@ mua=s verbose|v+
-       remote-fudge-time=s all:s), @c_opt ],
+       qw(jobs|j=s lock=s@ alert=s@ mua=s verbose|v+ exclude=s@
+       remote-fudge-time=s all:s remote! local! external!), @c_opt ],
 
 'lcat' => [ '--stdin|MSGID_OR_URL...', 'display local copy of message(s)',
        'stdin|', # /|\z/ must be first for lone dash
@@ -225,7 +222,7 @@ our %CMD = ( # sorted in order of importance/use:
 
 'ls-search' => [ '[PREFIX]', 'list saved search queries',
                qw(format|f=s pretty l ascii z|0), @c_opt ],
-'forget-search' => [ 'OUTPUT', 'forget a saved search',
+'forget-search' => [ 'OUTPUT...', 'forget a saved search',
                qw(verbose|v+), @c_opt ],
 'edit-search' => [ 'OUTPUT', "edit saved search via `git config --edit'",
                        @c_opt ],
@@ -455,16 +452,12 @@ my %CONFIG_KEYS = (
        'leistore.dir' => 'top-level storage location',
 );
 
-my @WQ_KEYS = qw(lxs l2m ikw pmd wq1 lne); # internal workers
+my @WQ_KEYS = qw(lxs l2m ikw pmd wq1 lne v2w); # internal workers
 
 sub _drop_wq {
        my ($self) = @_;
        for my $wq (grep(defined, delete(@$self{@WQ_KEYS}))) {
-               if ($wq->wq_kill('-TERM')) {
-                       $wq->wq_close(0, undef, $self);
-               } elsif ($wq->wq_kill_old('-TERM')) {
-                       $wq->wq_wait_old(undef, $self);
-               }
+               $wq->wq_kill('-TERM');
                $wq->DESTROY;
        }
 }
@@ -516,17 +509,11 @@ sub sigpipe_handler { # handles SIGPIPE from @WQ_KEYS workers
        fail_handler($_[0], 13, delete $_[0]->{1});
 }
 
-# PublicInbox::OnDestroy callback for SIGINT to take out the entire pgid
-sub sigint_reap {
-       my ($pgid) = @_;
-       dwaitpid($pgid) if kill('-INT', $pgid);
-}
-
 sub fail ($$;$) {
-       my ($self, $buf, $exit_code) = @_;
+       my ($self, $msg, $exit_code) = @_;
        local $current_lei = $self;
        $self->{failed}++;
-       warn($buf, "\n") if defined $buf;
+       warn(substr($msg, -1, 1) eq "\n" ? $msg : "$msg\n") if defined $msg;
        $self->{pkt_op_p}->pkt_do('fail_handler') if $self->{pkt_op_p};
        x_it($self, ($exit_code // 1) << 8);
        undef;
@@ -547,7 +534,7 @@ sub child_error { # passes non-fatal curl exit codes to user
        my ($self, $child_error, $msg) = @_; # child_error is $?
        local $current_lei = $self;
        $child_error ||= 1 << 8;
-       warn($msg, "\n") if defined $msg;
+       warn(substr($msg, -1, 1) eq "\n" ? $msg : "$msg\n") if defined $msg;
        if ($self->{pkt_op_p}) { # to top lei-daemon
                $self->{pkt_op_p}->pkt_do('child_error', $child_error);
        } elsif ($self->{sock}) { # to lei(1) client
@@ -568,7 +555,8 @@ sub _lei_atfork_child {
        my ($self, $persist) = @_;
        # we need to explicitly close things which are on stack
        if ($persist) {
-               chdir '/' or die "chdir(/): $!";
+               open $self->{3}, '<', '/' or die "open(/) $!";
+               fchdir($self);
                close($_) for (grep(defined, delete @$self{qw(0 1 2 sock)}));
                if (my $cfg = $self->{cfg}) {
                        delete @$cfg{qw(-lei_store -watches -lei_note_event)};
@@ -578,7 +566,8 @@ sub _lei_atfork_child {
                STDERR->autoflush(1);
                POSIX::setpgid(0, $$) // die "setpgid(0, $$): $!";
        }
-       close($_) for (grep(defined, delete @$self{qw(3 old_1 au_done)}));
+       close($_) for (grep(defined, delete @$self{qw(old_1 au_done)}));
+       delete $self->{-socks};
        if (my $op_c = delete $self->{pkt_op_c}) {
                close(delete $op_c->{sock});
        }
@@ -600,6 +589,7 @@ sub _lei_atfork_child {
                        $cb->(@_) unless PublicInbox::Eml::warn_ignore(@_)
                };
        }
+       $SIG{TERM} = sub { exit(128 + 15) };
        $current_lei = $persist ? undef : $self; # for SIG{__WARN__}
 }
 
@@ -648,6 +638,7 @@ sub workers_start {
        my $op_c = delete $lei->{pkt_op_c};
        @$end = ();
        $lei->event_step_init;
+       $wq->wq_wait_async($wq->can('_wq_done_wait') // \&wq_done_wait, $lei);
        ($op_c, $ops);
 }
 
@@ -655,7 +646,7 @@ sub workers_start {
 sub wait_wq_events {
        my ($lei, $op_c, $ops) = @_;
        for my $wq (grep(defined, @$lei{qw(ikw pmd)})) { # auxiliary WQs
-               $wq->wq_close(1);
+               $wq->wq_close;
        }
        $op_c->{ops} = $ops;
 }
@@ -788,7 +779,7 @@ sub lazy_cb ($$$) {
 
 sub dispatch {
        my ($self, $cmd, @argv) = @_;
-       fchdir($self) or return;
+       fchdir($self);
        local %ENV = %{$self->{env}};
        local $current_lei = $self; # for __WARN__
        $self->{2}->autoflush(1); # keep stdout buffered until x_it|DESTROY
@@ -857,9 +848,7 @@ sub _lei_cfg ($;$) {
        }
        if (scalar(keys %PATH2CFG) > 5) {
                # FIXME: use inotify/EVFILT_VNODE to detect unlinked configs
-               for my $k (keys %PATH2CFG) {
-                       delete($PATH2CFG{$k}) unless -f $k
-               }
+               delete(@PATH2CFG{grep(!-f, keys %PATH2CFG)});
        }
        $self->{cfg} = $PATH2CFG{$f} = $cfg;
        refresh_watches($self);
@@ -1119,7 +1108,7 @@ sub accept_dispatch { # Listener {post_accept} callback
        my %env = map { split(/=/, $_, 2) } splice(@argv, $argc);
        $self->{env} = \%env;
        eval { dispatch($self, @argv) };
-       send($sock, $@, MSG_EOR) if $@;
+       $self->fail($@) if $@;
 }
 
 sub dclose {
@@ -1136,27 +1125,27 @@ sub event_step {
        local %ENV = %{$self->{env}};
        local $current_lei = $self;
        eval {
-               my $buf;
-               while (my @fds = $recv_cmd->($self->{sock}, $buf, 4096)) {
-                       if (scalar(@fds) == 1 && !defined($fds[0])) {
-                               return if $! == EAGAIN;
-                               next if $! == EINTR;
-                               last if $! == ECONNRESET;
-                               die "recvmsg: $!";
-                       }
-                       for (@fds) { open my $rfh, '+<&=', $_ }
+               my @fds = $recv_cmd->($self->{sock}, my $buf, 4096);
+               if (scalar(@fds) == 1 && !defined($fds[0])) {
+                       return if $! == EAGAIN;
+                       die "recvmsg: $!" if $! != ECONNRESET;
                }
+               for (@fds) { open my $rfh, '+<&=', $_ }
                if ($buf eq '') {
                        _drop_wq($self); # EOF, client disconnected
                        dclose($self);
-               } elsif ($buf =~ /\A(?:STOP|CONT)\z/) {
+                       $buf = 'TERM';
+               }
+               if ($buf =~ /\A(?:STOP|CONT|TERM)\z/) {
                        my $sig = "-$buf";
                        for my $wq (grep(defined, @$self{@WQ_KEYS})) {
-                               $wq->wq_kill($sig) or $wq->wq_kill_old($sig);
+                               $wq->wq_kill($sig);
                        }
                } else {
                        die "unrecognized client signal: $buf";
                }
+               my $s = $self->{-socks} // []; # lei up --all
+               @$s = grep { send($_, $buf, MSG_EOR) } @$s;
        };
        if (my $err = $@) {
                eval { $self->fail($err) };
@@ -1169,7 +1158,7 @@ sub event_step_init {
        my $sock = $self->{sock} or return;
        $self->{-event_init_done} //= do { # persist til $ops done
                $sock->blocking(0);
-               $self->SUPER::new($sock, EPOLLIN|EPOLLET);
+               $self->SUPER::new($sock, EPOLLIN);
                $sock;
        };
 }
@@ -1195,7 +1184,7 @@ sub cfg2lei ($) {
        open($lei->{0}, '<&', \*STDIN) or die "dup 0: $!";
        open($lei->{1}, '>>&', \*STDOUT) or die "dup 1: $!";
        open($lei->{2}, '>>&', \*STDERR) or die "dup 2: $!";
-       open($lei->{3}, '/') or die "open /: $!";
+       open($lei->{3}, '<', '/') or die "open /: $!";
        my ($x, $y);
        socketpair($x, $y, AF_UNIX, SOCK_SEQPACKET, 0) or die "socketpair: $!";
        $lei->{sock} = $x;
@@ -1209,7 +1198,7 @@ sub dir_idle_handler ($) { # PublicInbox::DirIdle callback
        my $fn = $ev->fullname;
        if ($fn =~ m!\A(.+)/(new|cur)/([^/]+)\z!) { # Maildir file
                my ($mdir, $nc, $bn) = ($1, $2, $3);
-               $nc = '' if $ev->IN_DELETE;
+               $nc = '' if $ev->IN_DELETE || $ev->IN_MOVED_FROM;
                for my $f (keys %{$MDIR2CFGPATH->{$mdir} // {}}) {
                        my $cfg = $PATH2CFG{$f} // next;
                        eval {
@@ -1308,10 +1297,11 @@ sub lazy_start {
                USR2 => \&noop,
        };
        require PublicInbox::DirIdle;
-       local $dir_idle = PublicInbox::DirIdle->new([$sock_dir], sub {
+       local $dir_idle = PublicInbox::DirIdle->new(sub {
                # just rely on wakeup to hit PostLoopCallback set below
                dir_idle_handler($_[0]) if $_[0]->fullname ne $path;
-       }, 1);
+       });
+       $dir_idle->add_watches([$sock_dir]);
        PublicInbox::DS->SetPostLoopCallback(sub {
                my ($dmap, undef) = @_;
                if (@st = defined($path) ? stat($path) : ()) {
@@ -1325,11 +1315,10 @@ sub lazy_start {
                        $quit->();
                }
                return 1 if defined($path);
-               my $now = now();
                my $n = 0;
                for my $s (values %$dmap) {
                        $s->can('busy') or next;
-                       if ($s->busy($now)) {
+                       if ($s->busy) {
                                ++$n;
                        } else {
                                $s->close;
@@ -1387,14 +1376,13 @@ sub wq_done_wait { # dwaitpid callback
 sub fchdir {
        my ($lei) = @_;
        my $dh = $lei->{3} // die 'BUG: lei->{3} (CWD) gone';
-       chdir($dh) || $lei->fail("fchdir: $!");
+       chdir($dh) || die "fchdir: $!";
 }
 
 sub wq_eof { # EOF callback for main daemon
        my ($lei) = @_;
        local $current_lei = $lei;
-       my $wq1 = delete $lei->{wq1} // return $lei->fail; # already failed
-       $wq1->wq_wait_old($wq1->can('_wq_done_wait') // \&wq_done_wait, $lei);
+       delete $lei->{wq1} // return $lei->fail; # already failed
 }
 
 sub watch_state_ok ($) {