]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LEI.pm
cmd_ipc: send FDs with buffer payload
[public-inbox.git] / lib / PublicInbox / LEI.pm
index 9a3b1ee35bb9c08f39d5bb003164080e026a3125..1f4ed0f68749c485d2efe205e42a8940557a87f6 100644 (file)
@@ -8,7 +8,8 @@
 package PublicInbox::LEI;
 use strict;
 use v5.10.1;
-use parent qw(PublicInbox::DS PublicInbox::LeiExternal);
+use parent qw(PublicInbox::DS PublicInbox::LeiExternal
+       PublicInbox::LeiQuery);
 use Getopt::Long ();
 use Socket qw(AF_UNIX SOCK_STREAM pack_sockaddr_un);
 use Errno qw(EAGAIN ECONNREFUSED ENOENT);
@@ -19,13 +20,13 @@ use PublicInbox::Config;
 use PublicInbox::Syscall qw(SFD_NONBLOCK EPOLLIN EPOLLONESHOT);
 use PublicInbox::Sigfd;
 use PublicInbox::DS qw(now dwaitpid);
-use PublicInbox::Spawn qw(spawn run_die);
+use PublicInbox::Spawn qw(spawn run_die popen_rd);
 use PublicInbox::OnDestroy;
 use Text::Wrap qw(wrap);
 use File::Path qw(mkpath);
 use File::Spec;
 our $quit = \&CORE::exit;
-my $recv_3fds;
+my $recv_cmd;
 my $GLP = Getopt::Long::Parser->new;
 $GLP->configure(qw(gnu_getopt no_ignore_case auto_abbrev));
 my $GLP_PASS = Getopt::Long::Parser->new;
@@ -80,7 +81,7 @@ sub _config_path ($) {
 our %CMD = ( # sorted in order of importance/use:
 'q' => [ 'SEARCH_TERMS...', 'search for messages matching terms', qw(
        save-as=s output|mfolder|o=s format|f=s dedupe|d=s thread|t augment|a
-       sort|s=s@ reverse|r offset=i remote local! external!
+       sort|s=s reverse|r offset=i remote local! external! pretty
        since|after=s until|before=s), opt_dash('limit|n=i', '[0-9]+') ],
 
 'show' => [ 'MID|OID', 'show a given object (Message-ID or object ID)',
@@ -149,8 +150,6 @@ our %CMD = ( # sorted in order of importance/use:
 'daemon-kill' => [ '[-SIGNAL]', 'signal the lei-daemon',
        opt_dash('signal|s=s', '[0-9]+|(?:[A-Z][A-Z0-9]+)') ],
 'daemon-pid' => [ '', 'show the PID of the lei-daemon' ],
-'daemon-env' => [ '[NAME=VALUE...]', 'set, unset, or show daemon environment',
-       qw(clear| unset|u=s@ z|0) ],
 'help' => [ '[SUBCOMMAND]', 'show help' ],
 
 # XXX do we need this?
@@ -204,8 +203,9 @@ my %OPTDESC = (
 'limit|n=i@' => ['NUM', 'limit on number of matches (default: 10000)' ],
 'offset=i' => ['OFF', 'search result offset (default: 0)'],
 
-'sort|s=s@' => [ 'VAL|internaldate,date,relevance,docid',
+'sort|s=s' => [ 'VAL|received,relevance,docid',
                "order of results `--output'-dependent"],
+'reverse|r' => [ 'reverse search results' ], # like sort(1)
 
 'boost=i' => 'increase/decrease priority of results (default: 0)',
 
@@ -230,12 +230,6 @@ my %OPTDESC = (
 # xargs, env, use "-0", git(1) uses "-z".  We support z|0 everywhere
 'z|0' => 'use NUL \\0 instead of newline (CR) to delimit lines',
 
-# note: no "--ignore-environment" / "-i" support like env(1) since that
-# is one-shot and this is for a persistent daemon:
-'clear|' => 'clear the daemon environment',
-'unset|u=s@' => ['NAME',
-       'unset matching NAME, may be specified multiple times'],
-
 'signal|s=s' => [ 'SIG', 'signal to send lei-daemon (default: TERM)' ],
 ); # %OPTDESC
 
@@ -477,10 +471,6 @@ sub lei_show {
        my ($self, @argv) = @_;
 }
 
-sub lei_query {
-       my ($self, @argv) = @_;
-}
-
 sub lei_mark {
        my ($self, @argv) = @_;
 }
@@ -538,24 +528,6 @@ sub lei_daemon_kill {
        kill($sig, $$) or fail($self, "kill($sig, $$): $!");
 }
 
-sub lei_daemon_env {
-       my ($self, @argv) = @_;
-       my $opt = $self->{opt};
-       if (defined $opt->{clear}) {
-               %ENV = ();
-       } elsif (my $u = $opt->{unset}) {
-               delete @ENV{@$u};
-       }
-       if (@argv) {
-               %ENV = (%ENV, map { split(/=/, $_, 2) } @argv);
-       } elsif (!defined($opt->{clear}) && !$opt->{unset}) {
-               my $eor = $opt->{z} ? "\0" : "\n";
-               my $buf = '';
-               while (my ($k, $v) = each %ENV) { $buf .= "$k=$v$eor" }
-               out $self, $buf;
-       }
-}
-
 sub lei_help { _help($_[0]) }
 
 # Shell completion helper.  Used by lei-completion.bash and hopefully
@@ -619,6 +591,27 @@ sub lei_git { # support passing through random git commands
        dwaitpid($pid, \&reap_exec, $self);
 }
 
+# caller needs to "-t $self->{1}" to check if tty
+sub start_pager {
+       my ($self) = @_;
+       my $env = $self->{env};
+       my $fh = popen_rd([qw(git var GIT_PAGER)], $env);
+       chomp(my $pager = <$fh> // '');
+       close($fh) or warn "`git var PAGER' error: \$?=$?";
+       return if $pager eq 'cat' || $pager eq '';
+       $env->{LESS} //= 'FRX';
+       $env->{LV} //= '-c';
+       $env->{COLUMNS} //= 80; # TODO TIOCGWINSZ
+       $env->{MORE} //= 'FRX' if $^O eq 'freebsd';
+       pipe(my ($r, $w)) or return warn "pipe: $!";
+       my $rdr = { 0 => $r, 1 => $self->{1}, 2 => $self->{2} };
+       $self->{1} = $w;
+       $self->{2} = $w if -t $self->{2};
+       my $pid = spawn([$pager], $env, $rdr);
+       dwaitpid($pid, undef, $self->{sock});
+       $env->{GIT_PAGER_IN_USE} = 'true'; # we may spawn git
+}
+
 sub accept_dispatch { # Listener {post_accept} callback
        my ($sock) = @_; # ignore other
        $sock->blocking(1);
@@ -626,8 +619,9 @@ sub accept_dispatch { # Listener {post_accept} callback
        my $self = bless { sock => $sock }, __PACKAGE__;
        vec(my $rin = '', fileno($sock), 1) = 1;
        # `say $sock' triggers "die" in lei(1)
+       my $buf;
        if (select(my $rout = $rin, undef, undef, 1)) {
-               my @fds = $recv_3fds->(fileno($sock));
+               my @fds = $recv_cmd->($sock, $buf, 4096 * 33); # >MAX_ARG_STRLEN
                if (scalar(@fds) == 3) {
                        my $i = 0;
                        for my $rdr (qw(<&= >&= >&=)) {
@@ -640,7 +634,7 @@ sub accept_dispatch { # Listener {post_accept} callback
                                }
                        }
                } else {
-                       say $sock "recv_3fds failed: $!";
+                       say $sock "recv_cmd failed: $!";
                        return;
                }
        } else {
@@ -648,25 +642,37 @@ sub accept_dispatch { # Listener {post_accept} callback
                return;
        }
        $self->{2}->autoflush(1); # keep stdout buffered until x_it|DESTROY
-       # $ARGV_STR = join("]\0[", @ARGV);
-       # $ENV_STR = join('', map { "$_=$ENV{$_}\0" } keys %ENV);
-       # $line = "$$\0\0>$ARGV_STR\0\0>$ENV_STR\0\0";
-       my ($client_pid, $argv, $env) = do {
-               local $/ = "\0\0\0"; # yes, 3 NULs at EOL, not 2
-               chomp(my $line = <$sock>);
-               split(/\0\0>/, $line, 3);
-       };
-       my %env = map { split(/=/, $_, 2) } split(/\0/, $env);
+       # $ENV_STR = join('', map { "\0$_=$ENV{$_}" } keys %ENV);
+       # $buf = "$$\0$argc\0".join("\0", @ARGV).$ENV_STR."\0\0";
+       if (substr($buf, -2, 2, '') ne "\0\0") { # s/\0\0\z//
+               say $sock "request command truncated";
+               return;
+       }
+       my ($client_pid, $argc, @argv) = split(/\0/, $buf, -1);
+       undef $buf;
+       my %env = map { split(/=/, $_, 2) } splice(@argv, $argc);
        if (chdir($env{PWD})) {
+               local %ENV = %env;
                $self->{env} = \%env;
-               $self->{pid} = $client_pid;
-               eval { dispatch($self, split(/\]\0\[/, $argv)) };
+               $self->{pid} = $client_pid + 0;
+               eval { dispatch($self, @argv) };
                say $sock $@ if $@;
        } else {
                say $sock "chdir($env{PWD}): $!"; # implicit close
        }
 }
 
+# for long-running results
+sub event_step {
+       my ($self) = @_;
+       local %ENV = %{$self->{env}};
+       eval {}; # TODO
+       if ($@) {
+               say { $self->{sock} } $@;
+               $self->close; # PublicInbox::DS::close
+       }
+}
+
 sub noop {}
 
 # lei(1) calls this when it can't connect
@@ -685,15 +691,19 @@ sub lazy_start {
        my @st = stat($path) or die "stat($path): $!";
        my $dev_ino_expect = pack('dd', $st[0], $st[1]); # dev+ino
        pipe(my ($eof_r, $eof_w)) or die "pipe: $!";
-       my $oldset = PublicInbox::Sigfd::block_signals();
+       my $oldset = PublicInbox::DS::block_signals();
        if ($nfd == 1) {
-               require IO::FDPass;
-               $recv_3fds = sub { map { IO::FDPass::recv($_[0]) } (0..2) };
-       } elsif ($nfd == 3) {
-               $recv_3fds = PublicInbox::Spawn->can('recv_3fds');
+               require PublicInbox::CmdIPC1;
+               $recv_cmd = PublicInbox::CmdIPC1->can('recv_cmd1');
+       } elsif ($nfd == 4) {
+               $recv_cmd = PublicInbox::Spawn->can('recv_cmd4') // do {
+                       require PublicInbox::CmdIPC4;
+                       PublicInbox::CmdIPC4->can('recv_cmd4');
+               };
        }
-       $recv_3fds or die
-               "IO::FDPass missing or Inline::C not installed/configured\n";
+       $recv_cmd or die <<"";
+(Socket::MsgHdr || IO::FDPass || Inline::C) missing/unconfigured (nfd=$nfd);
+
        require PublicInbox::Listener;
        require PublicInbox::EOFpipe;
        (-p STDOUT) or die "E: stdout must be a pipe\n";
@@ -732,7 +742,7 @@ sub lazy_start {
        } else {
                # wake up every second to accept signals if we don't
                # have signalfd or IO::KQueue:
-               PublicInbox::Sigfd::sig_setmask($oldset);
+               PublicInbox::DS::sig_setmask($oldset);
                PublicInbox::DS->SetLoopTimeout(1000);
        }
        PublicInbox::DS->SetPostLoopCallback(sub {
@@ -794,6 +804,9 @@ sub oneshot {
 
 # ensures stdout hits the FS before sock disconnects so a client
 # can immediately reread it
-sub DESTROY { $_[0]->{1}->autoflush(1) }
+sub DESTROY {
+       my ($self) = @_;
+       $self->{1}->autoflush(1);
+}
 
 1;