]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LEI.pm
lei q: support mbox locking by default
[public-inbox.git] / lib / PublicInbox / LEI.pm
index 415a425deaf34a89d2ba44d8322e27cfb294fe82..b5bdda215008ebd95ba0bb49418e865112f1f44e 100644 (file)
@@ -27,7 +27,7 @@ use Time::HiRes qw(stat); # ctime comparisons for config cache
 use File::Path qw(mkpath);
 use File::Spec;
 our $quit = \&CORE::exit;
-our ($current_lei, $errors_log, $listener);
+our ($current_lei, $errors_log, $listener, $oldset);
 my ($recv_cmd, $send_cmd);
 my $GLP = Getopt::Long::Parser->new;
 $GLP->configure(qw(gnu_getopt no_ignore_case auto_abbrev));
@@ -109,83 +109,85 @@ sub index_opt {
 # command => [ positional_args, 1-line description, Getopt::Long option spec ]
 our %CMD = ( # sorted in order of importance/use:
 'q' => [ '--stdin|SEARCH_TERMS...', 'search for messages matching terms', qw(
-       save-as=s output|mfolder|o=s format|f=s dedupe|d=s threads|t augment|a
+       save-as=s output|mfolder|o=s format|f=s dedupe|d=s threads|t+ augment|a
        sort|s=s reverse|r offset=i remote! local! external! pretty
        include|I=s@ exclude=s@ only=s@ jobs|j=s globoff|g stdin|
-       alert=s@ mua=s no-torsocks torsocks=s verbose|v+ quiet|q),
+       import-remote! lock=s@
+       alert=s@ mua=s no-torsocks torsocks=s verbose|v+ quiet|q C=s@),
        PublicInbox::LeiQuery::curl_opt(), opt_dash('limit|n=i', '[0-9]+') ],
 
 'show' => [ 'MID|OID', 'show a given object (Message-ID or object ID)',
-       qw(type=s solve! format|f=s dedupe|d=s threads|t remote local!),
+       qw(type=s solve! format|f=s dedupe|d=s threads|t remote local! C=s@),
        pass_through('git show') ],
 
 'add-external' => [ 'LOCATION',
        'add/set priority of a publicinbox|extindex for extra matches',
        qw(boost=i c=s@ mirror=s no-torsocks torsocks=s inbox-version=i),
-       qw(quiet|q verbose|v+),
+       qw(quiet|q verbose|v+ C=s@),
        index_opt(), PublicInbox::LeiQuery::curl_opt() ],
 'ls-external' => [ '[FILTER]', 'list publicinbox|extindex locations',
-       qw(format|f=s z|0 globoff|g invert-match|v local remote) ],
+       qw(format|f=s z|0 globoff|g invert-match|v local remote C=s@) ],
 'forget-external' => [ 'LOCATION...|--prune',
        'exclude further results from a publicinbox|extindex',
-       qw(prune quiet|q) ],
+       qw(prune quiet|q C=s@) ],
 
 'ls-query' => [ '[FILTER...]', 'list saved search queries',
-               qw(name-only format|f=s z) ],
-'rm-query' => [ 'QUERY_NAME', 'remove a saved search' ],
-'mv-query' => [ qw(OLD_NAME NEW_NAME), 'rename a saved search' ],
+               qw(name-only format|f=s z C=s@) ],
+'rm-query' => [ 'QUERY_NAME', 'remove a saved search', qw(C=s@) ],
+'mv-query' => [ qw(OLD_NAME NEW_NAME), 'rename a saved search', qw(C=s@) ],
 
 'plonk' => [ '--threads|--from=IDENT',
        'exclude mail matching From: or threads from non-Message-ID searches',
-       qw(stdin| threads|t from|f=s mid=s oid=s) ],
+       qw(stdin| threads|t from|f=s mid=s oid=s C=s@) ],
 'mark' => [ 'MESSAGE_FLAGS...',
        'set/unset keywords on message(s) from stdin',
-       qw(stdin| oid=s exact by-mid|mid:s) ],
+       qw(stdin| oid=s exact by-mid|mid:s C=s@) ],
 'forget' => [ '[--stdin|--oid=OID|--by-mid=MID]',
        "exclude message(s) on stdin from `q' search results",
-       qw(stdin| oid=s exact by-mid|mid:s quiet|q) ],
+       qw(stdin| oid=s exact by-mid|mid:s quiet|q C=s@) ],
 
 'purge-mailsource' => [ 'LOCATION|--all',
        'remove imported messages from IMAP, Maildirs, and MH',
-       qw(exact! all jobs:i indexed) ],
+       qw(exact! all jobs:i indexed C=s@) ],
 
 # code repos are used for `show' to solve blobs from patch mails
 'add-coderepo' => [ 'DIRNAME', 'add or set priority of a git code repo',
-       qw(boost=i) ],
+       qw(boost=i C=s@) ],
 'ls-coderepo' => [ '[FILTER_TERMS...]',
-               'list known code repos', qw(format|f=s z) ],
+               'list known code repos', qw(format|f=s z C=s@) ],
 'forget-coderepo' => [ 'DIRNAME',
        'stop using repo to solve blobs from patches',
-       qw(prune) ],
+       qw(prune C=s@) ],
 
 'add-watch' => [ 'LOCATION', 'watch for new messages and flag changes',
        qw(import! kw|keywords|flags! interval=s recursive|r
-       exclude=s include=s) ],
+       exclude=s include=s C=s@) ],
 'ls-watch' => [ '[FILTER...]', 'list active watches with numbers and status',
-               qw(format|f=s z) ],
-'pause-watch' => [ '[WATCH_NUMBER_OR_FILTER]', qw(all local remote) ],
-'resume-watch' => [ '[WATCH_NUMBER_OR_FILTER]', qw(all local remote) ],
+               qw(format|f=s z C=s@) ],
+'pause-watch' => [ '[WATCH_NUMBER_OR_FILTER]', qw(all local remote C=s@) ],
+'resume-watch' => [ '[WATCH_NUMBER_OR_FILTER]', qw(all local remote C=s@) ],
 'forget-watch' => [ '{WATCH_NUMBER|--prune}', 'stop and forget a watch',
-       qw(prune) ],
+       qw(prune C=s@) ],
 
 'import' => [ 'LOCATION...|--stdin',
        'one-time import/update from URL or filesystem',
        qw(stdin| offset=i recursive|r exclude=s include|I=s
-       format|f=s kw|keywords|flags!),
+       in-format|F=s kw|keywords|flags! C=s@),
        ],
 'convert' => [ 'LOCATION...|--stdin',
        'one-time conversion from URL or filesystem to another format',
        qw(stdin| in-format|F=s out-format|f=s output|mfolder|o=s quiet|q
-       kw|keywords|flags!),
+       kw|keywords|flags! C=s@),
        ],
 'config' => [ '[...]', sub {
                'git-config(1) wrapper for '._config_path($_[0]);
        }, qw(config-file|system|global|file|f=s), # for conflict detection
-       pass_through('git config') ],
+        qw(C=s@), pass_through('git config') ],
 'init' => [ '[DIRNAME]', sub {
        "initialize storage, default: "._store_path($_[0]);
-       }, qw(quiet|q) ],
+       }, qw(quiet|q C=s@) ],
 'daemon-kill' => [ '[-SIGNAL]', 'signal the lei-daemon',
+       # "-C DIR" conflicts with -CHLD, here, and chdir makes no sense, here
        opt_dash('signal|s=s', '[0-9]+|(?:[A-Z][A-Z0-9]+)') ],
 'daemon-pid' => [ '', 'show the PID of the lei-daemon' ],
 'help' => [ '[SUBCOMMAND]', 'show help' ],
@@ -195,7 +197,7 @@ our %CMD = ( # sorted in order of importance/use:
 
 'reorder-local-store-and-break-history' => [ '[REFNAME]',
        'rewrite git history in an attempt to improve compression',
-       'gc!' ],
+       qw(gc! C=s@) ],
 
 # internal commands are prefixed with '_'
 '_complete' => [ '[...]', 'internal shell completion helper',
@@ -214,6 +216,7 @@ my $ls_format = [ 'OUT|plain|json|null', 'listing output format' ];
 # we use \x{a0} (non-breaking SP) to avoid wrapping in PublicInbox::LeiHelp
 my %OPTDESC = (
 'help|h' => 'show this built-in help',
+'C=s@' => [ 'DIR', 'chdir to specify to directory' ],
 'quiet|q' => 'be quiet',
 'globoff|g' => "do not match locations using '*?' wildcards ".
                "and\xa0'[]'\x{a0}ranges",
@@ -223,13 +226,14 @@ my %OPTDESC = (
                'whether or not to wrap git and curl commands with torsocks'],
 'no-torsocks' => 'alias for --torsocks=no',
 'save-as=s' => ['NAME', 'save a search terms by given name'],
+'import-remote!' => 'do not memoize remote messages into local store',
 
 'type=s' => [ 'any|mid|git', 'disambiguate type' ],
 
 'dedupe|d=s' => ['STRATEGY|content|oid|mid|none',
                'deduplication strategy'],
 'show  threads|t' => 'display entire thread a message belongs to',
-'q     threads|t' =>
+'q     threads|t+' =>
        'return all messages in the same threads as the actual match(es)',
 'alert=s@' => ['CMD,:WINCH,:bell,<any command>',
        'run command(s) or perform ops when done writing to output ' .
@@ -395,9 +399,9 @@ sub fail ($$;$) {
        undef;
 }
 
-sub check_input_format ($;$$) {
-       my ($self, $files, $opt_key) = @_;
-       $opt_key //= 'format';
+sub check_input_format ($;$) {
+       my ($self, $files) = @_;
+       my $opt_key = 'in-format';
        my $fmt = $self->{opt}->{$opt_key};
        if (!$fmt) {
                my $err = $files ? "regular file(s):\n@$files" : '--stdin';
@@ -497,7 +501,7 @@ sub optparse ($$$) {
        # allow _complete --help to complete, not show help
        return 1 if substr($cmd, 0, 1) eq '_';
        $self->{cmd} = $cmd;
-       $OPT = $self->{opt} = {};
+       $OPT = $self->{opt} //= {};
        my $info = $CMD{$cmd} // [ '[...]' ];
        my ($proto, undef, @spec) = @$info;
        my $glp = ref($spec[-1]) eq ref($GLP) ? pop(@spec) : $GLP;
@@ -566,15 +570,25 @@ sub dispatch {
        local $current_lei = $self; # for __WARN__
        dump_and_clear_log("from previous run\n");
        return _help($self, 'no command given') unless defined($cmd);
+       while ($cmd eq '-C') { # do not support Getopt bundling for this
+               my $d = shift(@argv) // return fail($self, '-C DIRECTORY');
+               push @{$self->{opt}->{C}}, $d;
+               $cmd = shift(@argv) // return _help($self, 'no command given');
+       }
        my $func = "lei_$cmd";
        $func =~ tr/-/_/;
        if (my $cb = __PACKAGE__->can($func)) {
                optparse($self, $cmd, \@argv) or return;
+               if (my $chdir = $self->{opt}->{C}) {
+                       for my $d (@$chdir) {
+                               next if $d eq ''; # same as git(1)
+                               chdir $d or return fail($self, "cd $d: $!");
+                       }
+               }
                $cb->($self, @argv);
        } elsif (grep(/\A-/, $cmd, @argv)) { # --help or -h only
-               my $opt = {};
-               $GLP->getoptionsfromarray([$cmd, @argv], $opt, qw(help|h)) or
-                       return _help($self, 'bad arguments or options');
+               $GLP->getoptionsfromarray([$cmd, @argv], {}, qw(help|h C=s@))
+                       or return _help($self, 'bad arguments or options');
                _help($self);
        } else {
                fail($self, "`$cmd' is not an lei command");
@@ -629,13 +643,11 @@ sub lei_mark {
 
 sub _config {
        my ($self, @argv) = @_;
-       my $env = $self->{env};
-       delete local $env->{GIT_CONFIG};
-       delete local $ENV{GIT_CONFIG};
+       my %env = (%{$self->{env}}, GIT_CONFIG => undef);
        my $cfg = _lei_cfg($self, 1);
        my $cmd = [ qw(git config -f), $cfg->{'-f'}, @argv ];
        my %rdr = map { $_ => $self->{$_} } (0..2);
-       waitpid(spawn($cmd, $env, \%rdr), 0);
+       waitpid(spawn($cmd, \%env, \%rdr), 0);
 }
 
 sub lei_config {
@@ -704,7 +716,7 @@ sub lei_help { _help($_[0]) }
 sub lei__complete {
        my ($self, @argv) = @_; # argv = qw(lei and any other args...)
        shift @argv; # ignore "lei", the entire command is sent
-       @argv or return puts $self, grep(!/^_/, keys %CMD), qw(--help -h);
+       @argv or return puts $self, grep(!/^_/, keys %CMD), qw(--help -h -C);
        my $cmd = shift @argv;
        my $info = $CMD{$cmd} // do { # filter matching commands
                @argv or puts $self, grep(/\A\Q$cmd\E/, keys %CMD);
@@ -728,7 +740,7 @@ sub lei__complete {
                        # fall-through
                }
                # generate short/long names from Getopt::Long specs
-               puts $self, grep(/$re/, qw(--help -h), map {
+               puts $self, grep(/$re/, qw(--help -h -C), map {
                        if (s/[:=].+\z//) { # req/optional args, e.g output|o=i
                        } elsif (s/\+\z//) { # verbose|v+
                        } elsif (s/!\z//) {
@@ -840,8 +852,7 @@ sub poke_mua { # forces terminal MUAs to wake up and hopefully notice new mail
 # caller needs to "-t $self->{1}" to check if tty
 sub start_pager {
        my ($self) = @_;
-       my $env = $self->{env};
-       my $fh = popen_rd([qw(git var GIT_PAGER)], $env);
+       my $fh = popen_rd([qw(git var GIT_PAGER)]);
        chomp(my $pager = <$fh> // '');
        close($fh) or warn "`git var PAGER' error: \$?=$?";
        return if $pager eq 'cat' || $pager eq '';
@@ -850,6 +861,7 @@ sub start_pager {
        pipe(my ($r, $wpager)) or return warn "pipe: $!";
        my $rdr = { 0 => $r, 1 => $self->{1}, 2 => $self->{2} };
        my $pgr = [ undef, @$rdr{1, 2} ];
+       my $env = $self->{env};
        if ($self->{sock}) { # lei(1) process runs it
                delete @$new_env{keys %$env}; # only set iff unset
                send_exec_cmd($self, [ @$rdr{0..2} ], [$pager], $new_env);
@@ -964,7 +976,7 @@ sub event_step_init {
 
 sub noop {}
 
-our $oldset; sub oldset { $oldset }
+sub oldset { $oldset }
 
 sub dump_and_clear_log {
        if (defined($errors_log) && -s STDIN && seek(STDIN, 0, SEEK_SET)) {