lib/PublicInbox/LeiNoteEvent.pm

   1 # Copyright (C) all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3
   4 # internal command for dealing with inotify, kqueue vnodes, etc
   5 package PublicInbox::LeiNoteEvent;
   6 use strict;
   7 use v5.10.1;
   8 use parent qw(PublicInbox::IPC);
   9
  10 my $flush_timer;
  11 our $to_flush; # { cfgpath => $lei }
  12
  13 sub flush_lei ($) {
  14         my ($lei) = @_;
  15         if (my $lne = delete $lei->{cfg}->{-lei_note_event}) {
  16                 $lne->wq_close(1, undef, $lei); # runs _lei_wq_eof;
  17         } elsif ($lei->{sto}) { # lms_clear_src calls only:
  18                 $lei->sto_done_request;
  19         }
  20 }
  21
  22 # we batch up writes and flush every 5s (matching Linux default
  23 # writeback behavior) since MUAs can trigger a storm of inotify events
  24 sub flush_task { # PublicInbox::DS timer callback
  25         undef $flush_timer;
  26         my $todo = $to_flush // return;
  27         $to_flush = undef;
  28         for my $lei (values %$todo) { flush_lei($lei) }
  29 }
  30
  31 # sets a timer to flush
  32 sub note_event_arm_done ($) {
  33         my ($lei) = @_;
  34         $flush_timer //= PublicInbox::DS::add_timer(5, \&flush_task);
  35         $to_flush->{$lei->{cfg}->{'-f'}} //= $lei;
  36 }
  37
  38 sub eml_event ($$$$) {
  39         my ($self, $eml, $kw, $state) = @_;
  40         my $sto = $self->{lei}->{sto};
  41         my $lse = $self->{lse} //= $sto->search;
  42         my $vmd = { kw => $kw };
  43         if ($state =~ /\Aimport-(?:rw|ro)\z/) {
  44                 $sto->ipc_do('set_eml', $eml, $vmd);
  45         } elsif ($state =~ /\Aindex-(?:rw|ro)\z/) {
  46                 my $xoids = $self->{lei}->ale->xoids_for($eml);
  47                 $sto->ipc_do('index_eml_only', $eml, $vmd, $xoids);
  48         } elsif ($state =~ /\Atag-(?:rw|ro)\z/) {
  49                 my $c = $lse->kw_changed($eml, $kw, my $docids = []);
  50                 if (scalar @$docids) { # already in lei/store
  51                         $sto->ipc_do('set_eml_vmd', undef, $vmd, $docids) if $c;
  52                 } elsif (my $xoids = $self->{lei}->ale->xoids_for($eml)) {
  53                         # it's in an external, only set kw, here
  54                         $sto->ipc_do('set_xvmd', $xoids, $eml, $vmd);
  55                 } # else { totally unknown
  56         } else {
  57                 warn "unknown state: $state (in $self->{lei}->{cfg}->{'-f'})\n";
  58         }
  59 }
  60
  61 sub maildir_event { # via wq_io_do
  62         my ($self, $fn, $kw, $state) = @_;
  63         my $eml = PublicInbox::InboxWritable::eml_from_path($fn) // return;
  64         eml_event($self, $eml, $kw, $state);
  65 }
  66
  67 sub lei_note_event {
  68         my ($lei, $folder, $new_cur, $bn, $fn, @rest) = @_;
  69         die "BUG: unexpected: @rest" if @rest;
  70         my $cfg = $lei->_lei_cfg or return; # gone (race)
  71         my $sto = $lei->_lei_store or return; # gone
  72         return flush_lei($lei) if $folder eq 'done'; # special case
  73         my $lms = $sto->search->lms or return;
  74         my $err = $lms->arg2folder($lei, [ $folder ]);
  75         return if $err->{fail};
  76         undef $lms;
  77         my $state = $cfg->get_1("watch.$folder", 'state') // 'tag-rw';
  78         return if $state eq 'pause';
  79         $lei->ale; # prepare
  80         $sto->write_prepare($lei);
  81         if ($new_cur eq '') {
  82                 $sto->ipc_do('lms_clear_src', $folder, \$bn);
  83                 return note_event_arm_done($lei);
  84         }
  85         require PublicInbox::MdirReader;
  86         my $self = $cfg->{-lei_note_event} //= do {
  87                 my $wq = bless {}, __PACKAGE__;
  88                 # MUAs such as mutt can trigger massive rename() storms so
  89                 # use all CPU power available:
  90                 my $jobs = $wq->detect_nproc // 1;
  91                 my ($op_c, $ops) = $lei->workers_start($wq, $jobs);
  92                 $lei->wait_wq_events($op_c, $ops);
  93                 note_event_arm_done($lei);
  94                 $lei->{lne} = $wq;
  95         };
  96         if ($folder =~ /\Amaildir:/i) {
  97                 my $fl = PublicInbox::MdirReader::maildir_basename_flags($bn)
  98                         // return;
  99                 return if index($fl, 'T') >= 0;
 100                 my $kw = PublicInbox::MdirReader::flags2kw($fl);
 101                 $self->wq_io_do('maildir_event', [], $fn, $kw, $state);
 102         } # else: TODO: imap
 103 }
 104
 105 sub ipc_atfork_child {
 106         my ($self) = @_;
 107         $self->{lei}->_lei_atfork_child(1); # persistent, for a while
 108         $self->SUPER::ipc_atfork_child;
 109 }
 110
 111 sub lne_done_wait {
 112         my ($arg, $pid) = @_;
 113         my ($self, $lei) = @$arg;
 114         $lei->can('wq_done_wait')->($arg, $pid);
 115 }
 116
 117 sub _lei_wq_eof { # EOF callback for main lei daemon
 118         my ($lei) = @_;
 119         my $lne = delete $lei->{lne} or return $lei->fail;
 120         $lei->sto_done_request;
 121         $lne->wq_wait_old(\&lne_done_wait, $lei);
 122 }
 123
 124 1;