]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LEI.pm
lei: oneshot: preserve stdout if writing mbox
[public-inbox.git] / lib / PublicInbox / LEI.pm
index ccfc16496fe17fd0c189f0571e2b5af93650a12c..ba744ef36de5238845eb18ab6e2269e534e2060a 100644 (file)
@@ -21,13 +21,13 @@ use PublicInbox::Config;
 use PublicInbox::Syscall qw(SFD_NONBLOCK EPOLLIN EPOLLET);
 use PublicInbox::Sigfd;
 use PublicInbox::DS qw(now dwaitpid);
-use PublicInbox::Spawn qw(spawn run_die popen_rd);
+use PublicInbox::Spawn qw(spawn popen_rd);
 use PublicInbox::OnDestroy;
 use Text::Wrap qw(wrap);
 use File::Path qw(mkpath);
 use File::Spec;
 our $quit = \&CORE::exit;
-our ($current_lei, $errors_log);
+our ($current_lei, $errors_log, $listener);
 my ($recv_cmd, $send_cmd);
 my $GLP = Getopt::Long::Parser->new;
 $GLP->configure(qw(gnu_getopt no_ignore_case auto_abbrev));
@@ -35,7 +35,6 @@ my $GLP_PASS = Getopt::Long::Parser->new;
 $GLP_PASS->configure(qw(gnu_getopt no_ignore_case auto_abbrev pass_through));
 
 our %PATH2CFG; # persistent for socket daemon
-our @TO_CLOSE_ATFORK_CHILD;
 
 # TBD: this is a documentation mechanism to show a subcommand
 # (may) pass options through to another command:
@@ -85,6 +84,7 @@ our %CMD = ( # sorted in order of importance/use:
 'q' => [ 'SEARCH_TERMS...', 'search for messages matching terms', qw(
        save-as=s output|mfolder|o=s format|f=s dedupe|d=s thread|t augment|a
        sort|s=s reverse|r offset=i remote local! external! pretty mua-cmd=s
+       verbose|v
        since|after=s until|before=s), opt_dash('limit|n=i', '[0-9]+') ],
 
 'show' => [ 'MID|OID', 'show a given object (Message-ID or object ID)',
@@ -96,7 +96,7 @@ our %CMD = ( # sorted in order of importance/use:
        qw(boost=i quiet|q) ],
 'ls-external' => [ '[FILTER...]', 'list publicinbox|extindex locations',
        qw(format|f=s z|0 local remote quiet|q) ],
-'forget-external' => [ '{URL_OR_PATHNAME|--prune}',
+'forget-external' => [ 'URL_OR_PATHNAME...|--prune',
        'exclude further results from a publicinbox|extindex',
        qw(prune quiet|q) ],
 
@@ -115,7 +115,7 @@ our %CMD = ( # sorted in order of importance/use:
        "exclude message(s) on stdin from `q' search results",
        qw(stdin| oid=s exact by-mid|mid:s quiet|q) ],
 
-'purge-mailsource' => [ '{URL_OR_PATHNAME|--all}',
+'purge-mailsource' => [ 'URL_OR_PATHNAME|--all',
        'remove imported messages from IMAP, Maildirs, and MH',
        qw(exact! all jobs:i indexed) ],
 
@@ -138,7 +138,7 @@ our %CMD = ( # sorted in order of importance/use:
 'forget-watch' => [ '{WATCH_NUMBER|--prune}', 'stop and forget a watch',
        qw(prune) ],
 
-'import' => [ '{URL_OR_PATHNAME|--stdin}',
+'import' => [ 'URL_OR_PATHNAME|--stdin',
        'one-shot import/update from URL or filesystem',
        qw(stdin| offset=i recursive|r exclude=s include=s !flags),
        ],
@@ -279,16 +279,28 @@ sub fail ($$;$) {
        undef;
 }
 
+sub child_error { # passes non-fatal curl exit codes to user
+       my ($self, $child_error) = @_; # child_error is $?
+       if (my $sock = $self->{sock}) { # send to lei(1) client
+               send($sock, "child_error $child_error", MSG_EOR);
+       } else { # oneshot
+               $self->{child_error} = $child_error;
+       }
+       undef;
+}
+
 sub atfork_prepare_wq {
        my ($self, $wq) = @_;
-       my $tcafc = $wq->{-ipc_atfork_child_close} //= [];
-       push @$tcafc, @TO_CLOSE_ATFORK_CHILD;
+       my $tcafc = $wq->{-ipc_atfork_child_close} //= [ $listener // () ];
        if (my $sock = $self->{sock}) {
                push @$tcafc, @$self{qw(0 1 2)}, $sock;
        }
        if (my $pgr = $self->{pgr}) {
                push @$tcafc, @$pgr[1,2];
        }
+       if (my $old_1 = $self->{old_1}) {
+               push @$tcafc, $old_1;
+       }
        for my $f (qw(lxs l2m)) {
                my $ipc = $self->{$f} or next;
                push @$tcafc, grep { defined }
@@ -307,7 +319,6 @@ sub atfork_child_wq {
        %PATH2CFG = ();
        undef $errors_log;
        $quit = \&CORE::exit;
-       @TO_CLOSE_ATFORK_CHILD = ();
        (__WARN__ => sub { err($self, @_) },
        PIPE => sub {
                $self->x_it(13); # SIGPIPE = 13
@@ -332,7 +343,7 @@ sub atfork_parent_wq {
                $ret->{dedupe} = $wq->deep_clone($dedupe);
        }
        $self->{env} = $env;
-       delete @$ret{qw(-lei_store cfg pgr lxs)}; # keep l2m
+       delete @$ret{qw(-lei_store cfg old_1 pgr lxs)}; # keep l2m
        my @io = delete @$ret{0..2};
        $io[3] = delete($ret->{sock}) // $io[2];
        my $l2m = $ret->{l2m};
@@ -471,6 +482,7 @@ sub optparse ($$$) {
                                        last;
                                } # else continue looping
                        }
+                       last if $ok;
                        my $last = pop @or;
                        $err = join(', ', @or) . " or $last must be set";
                } else {
@@ -550,16 +562,23 @@ sub lei_mark {
        my ($self, @argv) = @_;
 }
 
-sub lei_config {
+sub _config {
        my ($self, @argv) = @_;
-       $self->{opt}->{'config-file'} and return fail $self,
-               "config file switches not supported by `lei config'";
        my $env = $self->{env};
        delete local $env->{GIT_CONFIG};
+       delete local $ENV{GIT_CONFIG};
        my $cfg = _lei_cfg($self, 1);
        my $cmd = [ qw(git config -f), $cfg->{'-f'}, @argv ];
        my %rdr = map { $_ => $self->{$_} } (0..2);
-       run_die($cmd, $env, \%rdr);
+       waitpid(spawn($cmd, $env, \%rdr), 0);
+}
+
+sub lei_config {
+       my ($self, @argv) = @_;
+       $self->{opt}->{'config-file'} and return fail $self,
+               "config file switches not supported by `lei config'";
+       _config(@_);
+       x_it($self, $?) if $?;
 }
 
 sub lei_init {
@@ -650,6 +669,10 @@ sub lei__complete {
        } elsif ($cmd eq 'config' && !@argv && !$CONFIG_KEYS{$cur}) {
                puts $self, grep(/$re/, keys %CONFIG_KEYS);
        }
+       $cmd =~ tr/-/_/;
+       if (my $sub = $self->can("_complete_$cmd")) {
+               puts $self, $sub->($self, @argv, $cur);
+       }
        # TODO: URLs, pathnames, OIDs, MIDs, etc...  See optparse() for
        # proto parsing.
 }
@@ -837,12 +860,12 @@ sub lazy_start {
                die "connect($path): $!";
        }
        umask(077) // die("umask(077): $!");
-       socket(my $l, AF_UNIX, SOCK_SEQPACKET, 0) or die "socket: $!";
-       bind($l, pack_sockaddr_un($path)) or die "bind($path): $!";
-       listen($l, 1024) or die "listen: $!";
+       local $listener;
+       socket($listener, AF_UNIX, SOCK_SEQPACKET, 0) or die "socket: $!";
+       bind($listener, pack_sockaddr_un($path)) or die "bind($path): $!";
+       listen($listener, 1024) or die "listen: $!";
        my @st = stat($path) or die "stat($path): $!";
        my $dev_ino_expect = pack('dd', $st[0], $st[1]); # dev+ino
-       pipe(my ($eof_r, $eof_w)) or die "pipe: $!";
        local $oldset = PublicInbox::DS::block_signals();
        if ($narg == 5) {
                $send_cmd = PublicInbox::Spawn->can('send_cmd4');
@@ -869,20 +892,21 @@ sub lazy_start {
        return if $pid;
        $0 = "lei-daemon $path";
        local %PATH2CFG;
-       local @TO_CLOSE_ATFORK_CHILD = ($l, $eof_w);
-       $l->blocking(0);
-       $l = PublicInbox::Listener->new($l, \&accept_dispatch, $l);
+       $listener->blocking(0);
        my $exit_code;
-       local $quit = sub {
-               $exit_code //= shift;
-               my $listener = $l or exit($exit_code);
-               # closing eof_w triggers \&noop wakeup
-               $eof_w = $l = $path = undef;
-               $listener->close; # DS::close
-               PublicInbox::DS->SetLoopTimeout(1000);
+       my $pil = PublicInbox::Listener->new($listener, \&accept_dispatch);
+       local $quit = do {
+               pipe(my ($eof_r, $eof_w)) or die "pipe: $!";
+               PublicInbox::EOFpipe->new($eof_r, \&noop, undef);
+               sub {
+                       $exit_code //= shift;
+                       my $lis = $pil or exit($exit_code);
+                       # closing eof_w triggers \&noop wakeup
+                       $listener = $eof_w = $pil = $path = undef;
+                       $lis->close; # DS::close
+                       PublicInbox::DS->SetLoopTimeout(1000);
+               };
        };
-       PublicInbox::EOFpipe->new($eof_r, \&noop, undef);
-       undef $eof_r;
        my $sig = {
                CHLD => \&PublicInbox::DS::enqueue_reap,
                QUIT => $quit,
@@ -949,19 +973,21 @@ sub lazy_start {
        exit($exit_code // 0);
 }
 
-# for users w/o Socket::Msghdr
+# for users w/o Socket::Msghdr installed or Inline::C enabled
 sub oneshot {
        my ($main_pkg) = @_;
        my $exit = $main_pkg->can('exit'); # caller may override exit()
        local $quit = $exit if $exit;
        local %PATH2CFG;
        umask(077) // die("umask(077): $!");
-       dispatch((bless {
+       my $self = bless {
                0 => *STDIN{GLOB},
                1 => *STDOUT{GLOB},
                2 => *STDERR{GLOB},
                env => \%ENV
-       }, __PACKAGE__), @ARGV);
+       }, __PACKAGE__;
+       dispatch($self, @ARGV);
+       x_it($self, $self->{child_error}) if $self->{child_error};
 }
 
 # ensures stdout hits the FS before sock disconnects so a client