]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/IMAP.pm
ds: share long_step between NNTP and IMAP
[public-inbox.git] / lib / PublicInbox / IMAP.pm
index 27013ea563c1148eee7be0dfc531f978e54c62bd..ce0dce0f317e8fb40a2a0b9da160594cafeb4fcf 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
+# Copyright (C) all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Each instance of this represents an IMAP client connected to
@@ -36,7 +36,6 @@ use parent qw(PublicInbox::DS);
 use PublicInbox::Eml;
 use PublicInbox::EmlContentFoo qw(parse_content_disposition);
 use PublicInbox::DS qw(now);
-use PublicInbox::Syscall qw(EPOLLIN EPOLLONESHOT);
 use PublicInbox::GitAsyncCat;
 use Text::ParseWords qw(parse_line);
 use Errno qw(EAGAIN);
@@ -99,33 +98,15 @@ undef %FETCH_NEED;
 my $valid_range = '[0-9]+|[0-9]+:[0-9]+|[0-9]+:\*';
 $valid_range = qr/\A(?:$valid_range)(?:,(?:$valid_range))*\z/;
 
-# RFC 3501 5.4. Autologout Timer needs to be >= 30min
-$PublicInbox::DS::EXPTIME = 60 * 30;
-
-sub greet ($) {
+sub do_greet {
        my ($self) = @_;
        my $capa = capa($self);
        $self->write(\"* OK [$capa] public-inbox-imapd ready\r\n");
 }
 
-sub new ($$$) {
-       my ($class, $sock, $imapd) = @_;
-       my $self = bless { imapd => $imapd }, 'PublicInbox::IMAP_preauth';
-       my $ev = EPOLLIN;
-       my $wbuf;
-       if ($sock->can('accept_SSL') && !$sock->accept_SSL) {
-               return CORE::close($sock) if $! != EAGAIN;
-               $ev = PublicInbox::TLS::epollbit() or return CORE::close($sock);
-               $wbuf = [ \&PublicInbox::DS::accept_tls_step, \&greet ];
-       }
-       $self->SUPER::new($sock, $ev | EPOLLONESHOT);
-       if ($wbuf) {
-               $self->{wbuf} = $wbuf;
-       } else {
-               greet($self);
-       }
-       $self->update_idle_time;
-       $self;
+sub new {
+       my (undef, $sock, $imapd) = @_;
+       (bless { imapd => $imapd }, 'PublicInbox::IMAP_preauth')->greet($sock)
 }
 
 sub logged_in { 1 }
@@ -316,20 +297,18 @@ sub on_inbox_unlock {
        }
 }
 
-# called every X minute(s) or so by PublicInbox::DS::later
-my $IDLERS = {};
-my $idle_timer;
+# called every minute or so by PublicInbox::DS::later
+my $IDLERS; # fileno($obj->{sock}) => PublicInbox::IMAP
 sub idle_tick_all {
        my $old = $IDLERS;
-       $IDLERS = {};
+       $IDLERS = undef;
        for my $i (values %$old) {
                next if ($i->{wbuf} || !exists($i->{-idle_tag}));
-               $i->update_idle_time or next;
                $IDLERS->{fileno($i->{sock})} = $i;
                $i->write(\"* OK Still here\r\n");
        }
-       $idle_timer = scalar keys %$IDLERS ?
-                       PublicInbox::DS::later(\&idle_tick_all) : undef;
+       $IDLERS and
+               PublicInbox::DS::add_uniq_timer('idle', 60, \&idle_tick_all);
 }
 
 sub cmd_idle ($$) {
@@ -346,7 +325,7 @@ sub cmd_idle ($$) {
                $ibx->subscribe_unlock($fd, $self);
                $self->{imapd}->idler_start;
        }
-       $idle_timer //= PublicInbox::DS::later(\&idle_tick_all);
+       PublicInbox::DS::add_uniq_timer('idle', 60, \&idle_tick_all);
        $IDLERS->{$fd} = $self;
        \"+ idling\r\n"
 }
@@ -399,14 +378,14 @@ sub inbox_lookup ($$;$) {
                                die "BUG: unexpected dummy mailbox: $mailbox\n";
                $uid_base = $1 * UID_SLICE;
 
-               # ->num_highwater caches for writers, so use ->meta_accessor
-               $uidmax = $ibx->mm->meta_accessor('num_highwater') // 0;
+               $uidmax = $ibx->mm->num_highwater // 0;
                if ($examine) {
                        $self->{uid_base} = $uid_base;
                        $self->{ibx} = $ibx;
                        $self->{uo2m} = uo2m_ary_new($self, \$exists);
                } else {
-                       $exists = $over->imap_exists;
+                       my $uid_end = $uid_base + UID_SLICE;
+                       $exists = $over->imap_exists($uid_base, $uid_end);
                }
                ensure_slices_exist($self->{imapd}, $ibx, $over->max);
        } else {
@@ -584,22 +563,6 @@ sub fetch_body ($;$) {
        join('', @hold);
 }
 
-sub requeue_once ($) {
-       my ($self) = @_;
-       # COMPRESS users all share the same DEFLATE context.
-       # Flush it here to ensure clients don't see
-       # each other's data
-       $self->zflush;
-
-       # no recursion, schedule another call ASAP,
-       # but only after all pending writes are done.
-       # autovivify wbuf:
-       my $new_size = push(@{$self->{wbuf}}, \&long_step);
-
-       # wbuf may be populated by $cb, no need to rearm if so:
-       $self->requeue if $new_size == 1;
-}
-
 sub fetch_run_ops {
        my ($self, $smsg, $bref, $ops, $partial) = @_;
        my $uid = $smsg->{num};
@@ -622,7 +585,7 @@ sub fetch_blob_cb { # called by git->cat_async via ibx_async_cat
                # it's possible to have TOCTOU if an admin runs
                # public-inbox-(edit|purge), just move onto the next message
                warn "E: $smsg->{blob} missing in $ibx->{inboxdir}\n";
-               return requeue_once($self);
+               return $self->requeue_once;
        } else {
                $smsg->{blob} eq $oid or die "BUG: $smsg->{blob} != $oid";
        }
@@ -632,7 +595,7 @@ sub fetch_blob_cb { # called by git->cat_async via ibx_async_cat
                                        \&fetch_blob_cb, $fetch_arg);
        }
        fetch_run_ops($self, $smsg, $bref, $ops, $partial);
-       $pre ? $self->zflush : requeue_once($self);
+       $pre ? $self->zflush : $self->requeue_once;
 }
 
 sub emit_rfc822 {
@@ -878,12 +841,12 @@ sub eml_index_offs_i { # PublicInbox::Eml::each_part callback
 # prepares an index for BODY[$SECTION_IDX] fetches
 sub eml_body_idx ($$) {
        my ($eml, $section_idx) = @_;
-       my $idx = $eml->{imap_all_parts} //= do {
+       my $idx = $eml->{imap_all_parts} // do {
                my $all = {};
                $eml->each_part(\&eml_index_offs_i, $all, 0, 1);
                # top-level of multipart, BODY[0] not allowed (nz-number)
                delete $all->{0};
-               $all;
+               $eml->{imap_all_parts} = $all;
        };
        $idx->{$section_idx};
 }
@@ -1072,7 +1035,7 @@ sub cmd_uid_fetch ($$$$;@) {
        my $range_info = range_step($self, \$range_csv);
        return "$tag $range_info\r\n" if !ref($range_info);
        uo2m_hibernate($self) if $cb == \&fetch_blob; # slow, save RAM
-       long_response($self, $cb, $tag, [], $range_info, $ops, $partial);
+       $self->long_response($cb, $tag, [], $range_info, $ops, $partial);
 }
 
 sub cmd_fetch ($$$$;@) {
@@ -1087,7 +1050,7 @@ sub cmd_fetch ($$$$;@) {
        my $range_info = range_step($self, \$range_csv);
        return "$tag $range_info\r\n" if !ref($range_info);
        uo2m_hibernate($self) if $cb == \&fetch_blob; # slow, save RAM
-       long_response($self, $cb, $tag, [], $range_info, $ops, $partial);
+       $self->long_response($cb, $tag, [], $range_info, $ops, $partial);
 }
 
 sub msn_convert ($$) {
@@ -1131,7 +1094,7 @@ sub search_common {
        my ($sql, $range_info) = delete @$q{qw(sql range_info)};
        if (!scalar(keys %$q)) { # overview.sqlite3
                $self->msg_more('* SEARCH');
-               long_response($self, \&search_uid_range,
+               $self->long_response(\&search_uid_range,
                                $tag, $sql, $range_info, $want_msn);
        } elsif ($q = $q->{xap}) {
                my $srch = $self->{ibx}->isrch or
@@ -1160,15 +1123,6 @@ sub cmd_search ($$$;) {
        search_common($self, $tag, $query, 1);
 }
 
-sub args_ok ($$) { # duplicated from PublicInbox::NNTP
-       my ($cb, $argc) = @_;
-       my $tot = prototype $cb;
-       my ($nreq, undef) = split(';', $tot);
-       $nreq = ($nreq =~ tr/$//) - 1;
-       $tot = ($tot =~ tr/$//) - 1;
-       ($argc <= $tot && $argc >= $nreq);
-}
-
 # returns 1 if we can continue, 0 if not due to buffered writes or disconnect
 sub process_line ($$) {
        my ($self, $l) = @_;
@@ -1211,37 +1165,6 @@ sub process_line ($$) {
        $self->write($res);
 }
 
-sub long_step {
-       my ($self) = @_;
-       # wbuf is unset or empty, here; {long} may add to it
-       my ($fd, $cb, $t0, @args) = @{$self->{long_cb}};
-       my $more = eval { $cb->($self, @args) };
-       if ($@ || !$self->{sock}) { # something bad happened...
-               delete $self->{long_cb};
-               my $elapsed = now() - $t0;
-               if ($@) {
-                       err($self,
-                           "%s during long response[$fd] - %0.6f",
-                           $@, $elapsed);
-               }
-               out($self, " deferred[$fd] aborted - %0.6f", $elapsed);
-               $self->close;
-       } elsif ($more) { # $self->{wbuf}:
-               $self->update_idle_time;
-
-               # control passed to ibx_async_cat if $more == \undef
-               requeue_once($self) if !ref($more);
-       } else { # all done!
-               delete $self->{long_cb};
-               my $elapsed = now() - $t0;
-               my $fd = fileno($self->{sock});
-               out($self, " deferred[$fd] done - %0.6f", $elapsed);
-               my $wbuf = $self->{wbuf}; # do NOT autovivify
-
-               $self->requeue unless $wbuf && @$wbuf;
-       }
-}
-
 sub err ($$;@) {
        my ($self, $fmt, @args) = @_;
        printf { $self->{imapd}->{err} } $fmt."\n", @args;
@@ -1252,25 +1175,12 @@ sub out ($$;@) {
        printf { $self->{imapd}->{out} } $fmt."\n", @args;
 }
 
-sub long_response ($$;@) {
-       my ($self, $cb, @args) = @_; # cb returns true if more, false if done
-
-       my $sock = $self->{sock} or return;
-       # make sure we disable reading during a long response,
-       # clients should not be sending us stuff and making us do more
-       # work while we are stream a response to them
-       $self->{long_cb} = [ fileno($sock), $cb, now(), @args ];
-       long_step($self); # kick off!
-       undef;
-}
-
 # callback used by PublicInbox::DS for any (e)poll (in/out/hup/err)
 sub event_step {
        my ($self) = @_;
 
        return unless $self->flush_write && $self->{sock} && !$self->{long_cb};
 
-       $self->update_idle_time;
        # only read more requests if we've drained the write buffer,
        # otherwise we can be buffering infinitely w/o backpressure
 
@@ -1296,7 +1206,6 @@ sub event_step {
 
        return $self->close if $r < 0;
        $self->rbuf_idle($rbuf);
-       $self->update_idle_time;
 
        # maybe there's more pipelined data, or we'll have
        # to register it for socket-readiness notifications
@@ -1305,8 +1214,6 @@ sub event_step {
 
 sub compressed { undef }
 
-sub zflush {} # overridden by IMAPdeflate
-
 # RFC 4978
 sub cmd_compress ($$$) {
        my ($self, $tag, $alg) = @_;
@@ -1335,14 +1242,14 @@ sub cmd_starttls ($$) {
        undef;
 }
 
-# for graceful shutdown in PublicInbox::Daemon:
-sub busy {
-       my ($self, $now) = @_;
+sub busy { # for graceful shutdown in PublicInbox::Daemon:
+       my ($self) = @_;
        if (defined($self->{-idle_tag})) {
                $self->write(\"* BYE server shutting down\r\n");
                return; # not busy anymore
        }
-       ($self->{rbuf} || $self->{wbuf} || $self->not_idle_long($now));
+       defined($self->{rbuf}) || defined($self->{wbuf}) ||
+               !$self->write(\"* BYE server shutting down\r\n");
 }
 
 sub close {