]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/LeiImportKw.pm
lei: clamp internal worker processes to 4
[public-inbox.git] / lib / PublicInbox / LeiImportKw.pm
1 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3
4 # WQ worker for dealing with LeiImport IMAP flags on already-imported messages
5 # WQ key: {ikw}
6 package PublicInbox::LeiImportKw;
7 use strict;
8 use v5.10.1;
9 use parent qw(PublicInbox::IPC);
10
11 sub new {
12         my ($cls, $lei) = @_;
13         my $self = bless { -wq_ident => 'lei import_kw worker' }, $cls;
14         my $j = $self->detect_nproc // 4;
15         $j = 4 if $j > 4;
16         my ($op_c, $ops) = $lei->workers_start($self, $j);
17         $op_c->{ops} = $ops; # for PktOp->event_step
18         $self->{lei_sock} = $lei->{sock};
19         $lei->{ikw} = $self;
20 }
21
22 sub ipc_atfork_child {
23         my ($self) = @_;
24         my $lei = $self->{lei};
25         $lei->_lei_atfork_child;
26         my $net = delete $lei->{net} // die 'BUG: no lei->{net}';
27         $self->{sto} = $lei->{sto} // die 'BUG: no lei->{sto}';
28         $self->{verbose} = $lei->{opt}->{verbose};
29         $self->{lse} = $self->{sto}->search;
30         $self->{over} = $self->{lse}->over;
31         $self->{-lms_ro} = $net->{-lms_ro} || die 'BUG: net->{-lms_ro} FALSE';
32         $self->SUPER::ipc_atfork_child;
33 }
34
35 sub ck_update_kw { # via wq_io_do
36         my ($self, $url, $uid, $kw) = @_;
37         my $oidbin = $self->{-lms_ro}->imap_oidbin($url, $uid) // return;
38         my @docids = $self->{over}->oidbin_exists($oidbin) or return;
39         $self->{lse}->kw_changed(undef, $kw, \@docids) or return;
40         $self->{verbose} and
41                 $self->{lei}->qerr('# '.unpack('H*', $oidbin)." => @$kw\n");
42         $self->{sto}->wq_do('set_eml_vmd', undef, { kw => $kw }, \@docids);
43 }
44
45 sub ikw_done_wait {
46         my ($arg, $pid) = @_;
47         my ($self, $lei) = @$arg;
48         $lei->can('wq_done_wait')->($arg, $pid);
49 }
50
51 sub _lei_wq_eof { # EOF callback for main lei daemon
52         my ($lei) = @_;
53         my $ikw = delete $lei->{ikw} or return $lei->fail;
54         $lei->sto_done_request($ikw->{lei_sock});
55         $ikw->wq_wait_old(\&ikw_done_wait, $lei);
56 }
57
58 1;