lib/PublicInbox/LeiUp.pm

   1 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3
   4 # "lei up" - updates the result of "lei q --save"
   5 package PublicInbox::LeiUp;
   6 use strict;
   7 use v5.10.1;
   8 # n.b. we use LeiInput to setup IMAP auth
   9 use parent qw(PublicInbox::IPC PublicInbox::LeiInput);
  10 use PublicInbox::LeiSavedSearch;
  11 use PublicInbox::DS;
  12 use PublicInbox::PktOp;
  13 use PublicInbox::LeiFinmsg;
  14 my $REMOTE_RE = qr!\A(?:imap|http)s?://!i; # http(s) will be for JMAP
  15
  16 sub up1 ($$) {
  17         my ($lei, $out) = @_;
  18         my $lss = PublicInbox::LeiSavedSearch->up($lei, $out) or return;
  19         my $f = $lss->{'-f'};
  20         my $mset_opt = $lei->{mset_opt} = { relevance => -2 };
  21         my $q = $mset_opt->{q_raw} = $lss->{-cfg}->{'lei.q'} //
  22                                 return $lei->fail("lei.q unset in $f");
  23         my $lse = $lei->{lse} // die 'BUG: {lse} missing';
  24         if (ref($q)) {
  25                 $mset_opt->{qstr} = $lse->query_argv_to_string($lse->git, $q);
  26         } else {
  27                 $lse->query_approxidate($lse->git, $mset_opt->{qstr} = $q);
  28         }
  29         # n.b. only a few CLI args are accepted for "up", so //= usually sets
  30         for my $k ($lss->ARRAY_FIELDS) {
  31                 my $v = $lss->{-cfg}->get_all("lei.q.$k") // next;
  32                 $lei->{opt}->{$k} //= $v;
  33         }
  34         for my $k ($lss->BOOL_FIELDS, $lss->SINGLE_FIELDS) {
  35                 my $v = $lss->{-cfg}->get_1("lei.q.$k") // next;
  36                 $lei->{opt}->{$k} //= $v;
  37         }
  38         my $o = $lei->{opt}->{output} // '';
  39         return $lei->fail("lei.q.output unset in $f (out=$out)") if $o eq '';
  40         $lss->translate_dedupe($lei) or return;
  41         $lei->{lss} = $lss; # for LeiOverview->new and query_remote_mboxrd
  42         my $lxs = $lei->lxs_prepare or return;
  43         $lei->ale->refresh_externals($lxs, $lei);
  44         $lei->_start_query;
  45 }
  46
  47 sub redispatch_all ($$) {
  48         my ($self, $lei) = @_;
  49         my $upq = [ (@{$self->{local} // []}, @{$self->{remote} // []}) ];
  50         return up1($lei, $upq->[0]) if @$upq == 1; # just one, may start MUA
  51
  52         # FIXME: this is also used per-query, see lei->_start_query
  53         my $j = $lei->{opt}->{jobs} || do {
  54                 my $n = $self->detect_nproc // 1;
  55                 $n > 4 ? 4 : $n;
  56         };
  57         $j = ($j =~ /\A([0-9]+)/) ? $1 + 0 : 1; # may be --jobs=$x,$m on CLI
  58         # re-dispatch into our event loop w/o creating an extra fork-level
  59         # $upq will be drained via DESTROY as each query finishes
  60         $lei->{fmsg} = PublicInbox::LeiFinmsg->new($lei);
  61         my ($op_c, $op_p) = PublicInbox::PktOp->pair;
  62         # call lei->dclose when upq is done processing:
  63         $op_c->{ops} = { '' => [ $lei->can('dclose'), $lei ] };
  64         my @first_batch = splice(@$upq, 0, $j); # initial parallelism
  65         $lei->{-upq} = $upq;
  66         $lei->event_step_init; # wait for client disconnects
  67         for my $out (@first_batch) {
  68                 PublicInbox::DS::requeue(
  69                         PublicInbox::LeiUp1::nxt($lei, $out, $op_p));
  70         }
  71 }
  72
  73 sub lei_up {
  74         my ($lei, @outs) = @_;
  75         my $opt = $lei->{opt};
  76         my $self = bless { -mail_sync => 1 }, __PACKAGE__;
  77         if (defined(my $all = $opt->{all})) {
  78                 return $lei->fail("--all and @outs incompatible") if @outs;
  79                 defined($opt->{mua}) and return
  80                         $lei->fail('--all and --mua= are incompatible');
  81                 @outs = PublicInbox::LeiSavedSearch::list($lei);
  82                 if ($all eq 'local') {
  83                         $self->{local} = [ grep(!/$REMOTE_RE/, @outs) ];
  84                 } elsif ($all eq 'remote') {
  85                         $self->{remote} = [ grep(/$REMOTE_RE/, @outs) ];
  86                 } elsif ($all eq '') {
  87                         $self->{remote} = [ grep(/$REMOTE_RE/, @outs) ];
  88                         $self->{local} = [ grep(!/$REMOTE_RE/, @outs) ];
  89                 } else {
  90                         $lei->fail("only --all=$all not understood");
  91                 }
  92         } elsif ($lei->{lse}) { # redispatched
  93                 scalar(@outs) == 1 or die "BUG: lse set w/ >1 out[@outs]";
  94                 return up1($lei, $outs[0]);
  95         } else {
  96                 $self->{remote} = [ grep(/$REMOTE_RE/, @outs) ];
  97                 $self->{local} = [ grep(!/$REMOTE_RE/, @outs) ];
  98         }
  99         $lei->{lse} = $lei->_lei_store(1)->write_prepare($lei)->search;
 100         ((@{$self->{local} // []} + @{$self->{remote} // []}) > 1 &&
 101                 defined($opt->{mua})) and return $lei->fail(<<EOM);
 102 multiple outputs and --mua= are incompatible
 103 EOM
 104         if ($self->{remote}) { # setup lei->{auth}
 105                 $self->prepare_inputs($lei, $self->{remote}) or return;
 106         }
 107         if ($lei->{auth}) { # start auth worker
 108                 require PublicInbox::NetWriter;
 109                 bless $lei->{net}, 'PublicInbox::NetWriter';
 110                 $lei->{auth}->op_merge(my $ops = {}, $self, $lei);
 111                 (my $op_c, $ops) = $lei->workers_start($self, 1, $ops);
 112                 $lei->{wq1} = $self;
 113                 $lei->wait_wq_events($op_c, $ops);
 114                 # net_merge_all_done will fire when auth is done
 115         } else {
 116                 redispatch_all($self, $lei); # see below
 117         }
 118 }
 119
 120 # called in top-level lei-daemon when LeiAuth is done
 121 sub net_merge_all_done {
 122         my ($self, $lei) = @_;
 123         $lei->{net} = delete($self->{-net_new}) if $self->{-net_new};
 124         $self->wq_close(1);
 125         eval { redispatch_all($self, $lei) };
 126         warn "E: $@" if $@;
 127 }
 128
 129 sub _complete_up { # lei__complete hook
 130         my ($lei, @argv) = @_;
 131         my $match_cb = $lei->complete_url_prepare(\@argv);
 132         map { $match_cb->($_) } PublicInbox::LeiSavedSearch::list($lei);
 133 }
 134
 135 sub _wq_done_wait { # dwaitpid callback
 136         my ($arg, $pid) = @_;
 137         my ($wq, $lei) = @$arg;
 138         $lei->child_error($?, 'auth failure') if $?
 139 }
 140
 141 no warnings 'once';
 142 *ipc_atfork_child = \&PublicInbox::LeiInput::input_only_atfork_child;
 143
 144 package PublicInbox::LeiUp1; # for redispatch_all
 145 use strict;
 146 use v5.10.1;
 147
 148 sub nxt ($$$) {
 149         my ($lei, $out, $op_p) = @_;
 150         bless { lei => $lei, out => $out, op_p => $op_p }, __PACKAGE__;
 151 }
 152
 153 sub event_step { # runs via PublicInbox::DS::requeue
 154         my ($self) = @_;
 155         my $lei = $self->{lei}; # the original, from lei_up
 156         my $l = bless { %$lei }, ref($lei); # per-output copy
 157         delete($l->{sock}) or return; # client disconnected if {sock} is gone
 158         $l->{opt} = { %{$l->{opt}} }; # deep copy
 159         delete $l->{opt}->{all};
 160         $l->qerr("# updating $self->{out}");
 161         $l->{up_op_p} = $self->{op_p}; # ($l => $lei => script/lei)
 162         my $cb = $SIG{__WARN__} // \&CORE::warn;
 163         my $o = " (output: $self->{out})";
 164         local $SIG{__WARN__} = sub {
 165                 my @m = @_;
 166                 push(@m, $o) if !@m || $m[-1] !~ s/\n\z/$o\n/;
 167                 $cb->(@m);
 168         };
 169         eval { $l->dispatch('up', $self->{out}) };
 170         $lei->child_error(0, $@) if $@ || $l->{failed}; # lei->fail()
 171
 172         # onto the next:
 173         my $out = shift(@{$lei->{-upq}}) or return;
 174         PublicInbox::DS::requeue(nxt($lei, $out, $self->{op_p}));
 175 }
 176
 177 1;