]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/IMAP.pm
imap: delay InboxIdle start, support refresh
[public-inbox.git] / lib / PublicInbox / IMAP.pm
1 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3 #
4 # Each instance of this represents an IMAP client connected to
5 # public-inbox-imapd.  Much of this was taken from NNTP, but
6 # further refined while experimenting on future ideas to handle
7 # slow storage.
8 #
9 # data notes:
10 # * NNTP article numbers are UIDs and message sequence numbers (MSNs)
11 # * Message sequence numbers (MSNs) can be stable since we're read-only.
12 #   Most IMAP clients use UIDs (I hope), and we can return a dummy
13 #   message if a client requests a non-existent MSN.
14
15 package PublicInbox::IMAP;
16 use strict;
17 use base qw(PublicInbox::DS);
18 use fields qw(imapd logged_in ibx long_cb -login_tag
19         -idle_tag -idle_max);
20 use PublicInbox::Eml;
21 use PublicInbox::DS qw(now);
22 use PublicInbox::Syscall qw(EPOLLIN EPOLLONESHOT);
23 use Errno qw(EAGAIN);
24 my $Address;
25 for my $mod (qw(Email::Address::XS Mail::Address)) {
26         eval "require $mod" or next;
27         $Address = $mod and last;
28 }
29 die "neither Email::Address::XS nor Mail::Address loaded: $@" if !$Address;
30
31 sub LINE_MAX () { 512 } # does RFC 3501 have a limit like RFC 977?
32
33 my %FETCH_NEED_BLOB = ( # for future optimization
34         'BODY.PEEK[HEADER]' => 1,
35         'BODY.PEEK[TEXT]' => 1,
36         'BODY.PEEK[]' => 1,
37         'BODY[HEADER]' => 1,
38         'BODY[TEXT]' => 1,
39         'BODY[]' => 1,
40         'RFC822.HEADER' => 1,
41         'RFC822.SIZE' => 1, # needs CRLF conversion :<
42         'RFC822.TEXT' => 1,
43         BODY => 1,
44         BODYSTRUCTURE => 1,
45         ENVELOPE => 1,
46         FLAGS => 0,
47         INTERNALDATE => 0,
48         RFC822 => 1,
49         UID => 0,
50 );
51 my %FETCH_ATT = map { $_ => [ $_ ] } keys %FETCH_NEED_BLOB;
52
53 # aliases (RFC 3501 section 6.4.5)
54 $FETCH_ATT{FAST} = [ qw(FLAGS INTERNALDATE RFC822.SIZE) ];
55 $FETCH_ATT{ALL} = [ @{$FETCH_ATT{FAST}}, 'ENVELOPE' ];
56 $FETCH_ATT{FULL} = [ @{$FETCH_ATT{ALL}}, 'BODY' ];
57
58 for my $att (keys %FETCH_ATT) {
59         my %h = map { $_ => 1 } @{$FETCH_ATT{$att}};
60         $FETCH_ATT{$att} = \%h;
61 }
62
63 sub greet ($) {
64         my ($self) = @_;
65         my $capa = capa($self);
66         $self->write(\"* OK [$capa] public-inbox-imapd ready\r\n");
67 }
68
69 sub new ($$$) {
70         my ($class, $sock, $imapd) = @_;
71         my $self = fields::new($class);
72         my $ev = EPOLLIN;
73         my $wbuf;
74         if ($sock->can('accept_SSL') && !$sock->accept_SSL) {
75                 return CORE::close($sock) if $! != EAGAIN;
76                 $ev = PublicInbox::TLS::epollbit();
77                 $wbuf = [ \&PublicInbox::DS::accept_tls_step, \&greet ];
78         }
79         $self->SUPER::new($sock, $ev | EPOLLONESHOT);
80         $self->{imapd} = $imapd;
81         if ($wbuf) {
82                 $self->{wbuf} = $wbuf;
83         } else {
84                 greet($self);
85         }
86         $self->update_idle_time;
87         $self;
88 }
89
90 sub capa ($) {
91         my ($self) = @_;
92
93         # dovecot advertises IDLE pre-login; perhaps because some clients
94         # depend on it, so we'll do the same
95         my $capa = 'CAPABILITY IMAP4rev1 IDLE';
96         if ($self->{logged_in}) {
97                 $capa .= ' COMPRESS=DEFLATE';
98         } else {
99                 if (!($self->{sock} // $self)->can('accept_SSL') &&
100                         $self->{imapd}->{accept_tls}) {
101                         $capa .= ' STARTTLS';
102                 }
103                 $capa .= ' AUTH=ANONYMOUS';
104         }
105 }
106
107 sub login_success ($$) {
108         my ($self, $tag) = @_;
109         $self->{logged_in} = 1;
110         my $capa = capa($self);
111         "$tag OK [$capa] Logged in\r\n";
112 }
113
114 sub auth_challenge_ok ($) {
115         my ($self) = @_;
116         my $tag = delete($self->{-login_tag}) or return;
117         login_success($self, $tag);
118 }
119
120 sub cmd_login ($$$$) {
121         my ($self, $tag) = @_; # ignore ($user, $password) = ($_[2], $_[3])
122         login_success($self, $tag);
123 }
124
125 sub cmd_logout ($$) {
126         my ($self, $tag) = @_;
127         delete $self->{logged_in};
128         $self->write(\"* BYE logging out\r\n$tag OK logout completed\r\n");
129         $self->shutdn; # PublicInbox::DS::shutdn
130         undef;
131 }
132
133 sub cmd_authenticate ($$$) {
134         my ($self, $tag) = @_; # $method = $_[2], should be "ANONYMOUS"
135         $self->{-login_tag} = $tag;
136         "+\r\n"; # challenge
137 }
138
139 sub cmd_capability ($$) {
140         my ($self, $tag) = @_;
141         '* '.capa($self)."\r\n$tag OK\r\n";
142 }
143
144 sub cmd_noop ($$) { "$_[1] OK NOOP completed\r\n" }
145
146 # called by PublicInbox::InboxIdle
147 sub on_inbox_unlock {
148         my ($self, $ibx) = @_;
149         my $new = $ibx->mm->max;
150         defined(my $old = $self->{-idle_max}) or die 'BUG: -idle_max unset';
151         if ($new > $old) {
152                 $self->{-idle_max} = $new;
153                 $self->msg_more("* $_ EXISTS\r\n") for (($old + 1)..($new - 1));
154                 $self->write(\"* $new EXISTS\r\n");
155         }
156 }
157
158 sub cmd_idle ($$) {
159         my ($self, $tag) = @_;
160         # IDLE seems allowed by dovecot w/o a mailbox selected *shrug*
161         my $ibx = $self->{ibx} or return "$tag BAD no mailbox selected\r\n";
162         $ibx->subscribe_unlock(fileno($self->{sock}), $self);
163         $self->{imapd}->idler_start;
164         $self->{-idle_tag} = $tag;
165         $self->{-idle_max} = $ibx->mm->max // 0;
166         "+ idling\r\n"
167 }
168
169 sub cmd_done ($$) {
170         my ($self, $tag) = @_; # $tag is "DONE" (case-insensitive)
171         defined(my $idle_tag = delete $self->{-idle_tag}) or
172                 return "$tag BAD not idle\r\n";
173         my $ibx = $self->{ibx} or do {
174                 warn "BUG: idle_tag set w/o inbox";
175                 return "$tag BAD internal bug\r\n";
176         };
177         $ibx->unsubscribe_unlock(fileno($self->{sock}));
178         "$idle_tag OK Idle completed\r\n";
179 }
180
181 sub cmd_examine ($$$) {
182         my ($self, $tag, $mailbox) = @_;
183         my $ibx = $self->{imapd}->{groups}->{$mailbox} or
184                 return "$tag NO Mailbox doesn't exist: $mailbox\r\n";
185         my $mm = $ibx->mm;
186         my $max = $mm->max // 0;
187         # RFC 3501 2.3.1.1 -  "A good UIDVALIDITY value to use in
188         # this case is a 32-bit representation of the creation
189         # date/time of the mailbox"
190         my $uidvalidity = $mm->created_at or return "$tag BAD UIDVALIDITY\r\n";
191         my $uidnext = $max + 1;
192
193         # XXX: do we need this? RFC 5162/7162
194         my $ret = $self->{ibx} ? "* OK [CLOSED] previous closed\r\n" : '';
195         $self->{ibx} = $ibx;
196         $ret .= <<EOF;
197 * $max EXISTS\r
198 * $max RECENT\r
199 * FLAGS (\\Seen)\r
200 * OK [PERMANENTFLAGS ()] Read-only mailbox\r
201 EOF
202         $ret .= "* OK [UNSEEN $max]\r\n" if $max;
203         $ret .= "* OK [UIDNEXT $uidnext]\r\n" if defined $uidnext;
204         $ret .= "* OK [UIDVALIDITY $uidvalidity]\r\n" if defined $uidvalidity;
205         $ret .= "$tag OK [READ-ONLY] EXAMINE/SELECT complete\r\n";
206 }
207
208 sub _esc ($) {
209         my ($v) = @_;
210         if (!defined($v)) {
211                 'NIL';
212         } elsif ($v =~ /[{"\r\n%*\\\[]/) { # literal string
213                 '{' . length($v) . "}\r\n" . $v;
214         } else { # quoted string
215                 qq{"$v"}
216         }
217 }
218
219 sub addr_envelope ($$;$) {
220         my ($eml, $x, $y) = @_;
221         my $v = $eml->header_raw($x) //
222                 ($y ? $eml->header_raw($y) : undef) // return 'NIL';
223
224         my @x = $Address->parse($v) or return 'NIL';
225         '(' . join('',
226                 map { '(' . join(' ',
227                                 _esc($_->name), 'NIL',
228                                 _esc($_->user), _esc($_->host)
229                         ) . ')'
230                 } @x) .
231         ')';
232 }
233
234 sub eml_envelope ($) {
235         my ($eml) = @_;
236         '(' . join(' ',
237                 _esc($eml->header_raw('Date')),
238                 _esc($eml->header_raw('Subject')),
239                 addr_envelope($eml, 'From'),
240                 addr_envelope($eml, 'Sender', 'From'),
241                 addr_envelope($eml, 'Reply-To', 'From'),
242                 addr_envelope($eml, 'To'),
243                 addr_envelope($eml, 'Cc'),
244                 addr_envelope($eml, 'Bcc'),
245                 _esc($eml->header_raw('In-Reply-To')),
246                 _esc($eml->header_raw('Message-ID')),
247         ) . ')';
248 }
249
250 sub uid_fetch_cb { # called by git->cat_async
251         my ($bref, $oid, $type, $size, $fetch_m_arg) = @_;
252         my ($self, undef, $ibx, undef, undef, $msgs, $want) = @$fetch_m_arg;
253         my $smsg = shift @$msgs or die 'BUG: no smsg';
254         $smsg->{blob} eq $oid or die "BUG: $smsg->{blob} != $oid";
255         $$bref =~ s/(?<!\r)\n/\r\n/sg; # make strict clients happy
256
257         # fixup old bug from import (pre-a0c07cba0e5d8b6a)
258         $$bref =~ s/\A[\r\n]*From [^\r\n]*\r\n//s;
259
260         $self->msg_more("* $smsg->{num} FETCH (UID $smsg->{num}");
261
262         $want->{'RFC822.SIZE'} and
263                 $self->msg_more(' RFC822.SIZE '.length($$bref));
264         $want->{INTERNALDATE} and
265                 $self->msg_more(' INTERNALDATE "'.$smsg->internaldate.'"');
266         $want->{FLAGS} and $self->msg_more(' FLAGS ()');
267         for ('RFC822', 'BODY[]', 'BODY.PEEK[]') {
268                 next unless $want->{$_};
269                 $self->msg_more(" $_ {".length($$bref)."}\r\n");
270                 $self->msg_more($$bref);
271         }
272
273         my $eml = PublicInbox::Eml->new($bref);
274
275         $want->{ENVELOPE} and
276                 $self->msg_more(' ENVELOPE '.eml_envelope($eml));
277
278         for my $f ('RFC822.HEADER', 'BODY[HEADER]', 'BODY.PEEK[HEADER]') {
279                 next unless $want->{$f};
280                 $self->msg_more(" $f {".length(${$eml->{hdr}})."}\r\n");
281                 $self->msg_more(${$eml->{hdr}});
282         }
283         for my $f ('RFC822.TEXT', 'BODY[TEXT]') {
284                 next unless $want->{$f};
285                 $self->msg_more(" $f {".length($$bref)."}\r\n");
286                 $self->msg_more($$bref);
287         }
288         # TODO BODY/BODYSTRUCTURE, specific headers
289         $self->msg_more(")\r\n");
290 }
291
292 sub uid_fetch_m { # long_response
293         my ($self, $tag, $ibx, $beg, $end, $msgs, $want) = @_;
294         if (!@$msgs) { # refill
295                 @$msgs = @{$ibx->over->query_xover($$beg, $end)};
296                 if (!@$msgs) {
297                         $self->write(\"$tag OK Fetch done\r\n");
298                         return;
299                 }
300                 $$beg = $msgs->[-1]->{num} + 1;
301         }
302         my $git = $ibx->git;
303         $git->cat_async_begin; # TODO: actually make async
304         $git->cat_async($msgs->[0]->{blob}, \&uid_fetch_cb, \@_);
305         $git->cat_async_wait;
306         1;
307 }
308
309 sub cmd_uid_fetch ($$$;@) {
310         my ($self, $tag, $range, @want) = @_;
311         my $ibx = $self->{ibx} or return "$tag BAD No mailbox selected\r\n";
312         if ($want[0] =~ s/\A\(//s) {
313                 $want[-1] =~ s/\)\z//s or return "$tag BAD no rparen\r\n";
314         }
315         my %want = map {;
316                 my $x = $FETCH_ATT{uc($_)} or return "$tag BAD param: $_\r\n";
317                 %$x;
318         } @want;
319         my ($beg, $end);
320         my $msgs = [];
321         if ($range =~ /\A([0-9]+):([0-9]+)\z/s) {
322                 ($beg, $end) = ($1, $2);
323         } elsif ($range =~ /\A([0-9]+):\*\z/s) {
324                 ($beg, $end) =  ($1, $ibx->mm->max // 0);
325         } elsif ($range =~ /\A[0-9]+\z/) {
326                 my $smsg = $ibx->over->get_art($range) or return "$tag OK\r\n";
327                 push @$msgs, $smsg;
328                 ($beg, $end) = ($range, 0);
329         } else {
330                 return "$tag BAD\r\n";
331         }
332         long_response($self, \&uid_fetch_m, $tag, $ibx,
333                                 \$beg, $end, $msgs, \%want);
334 }
335
336 sub uid_search_all { # long_response
337         my ($self, $tag, $ibx, $num) = @_;
338         my $uids = $ibx->mm->ids_after($num);
339         if (scalar(@$uids)) {
340                 $self->msg_more(join(' ', '', @$uids));
341         } else {
342                 $self->write(\"\r\n$tag OK\r\n");
343                 undef;
344         }
345 }
346
347 sub uid_search_uid_range { # long_response
348         my ($self, $tag, $ibx, $beg, $end) = @_;
349         my $uids = $ibx->mm->msg_range($beg, $end, 'num');
350         if (@$uids) {
351                 $self->msg_more(join('', map { " $_->[0]" } @$uids));
352         } else {
353                 $self->write(\"\r\n$tag OK\r\n");
354                 undef;
355         }
356 }
357
358 sub cmd_uid_search ($$$;) {
359         my ($self, $tag, $arg, @rest) = @_;
360         my $ibx = $self->{ibx} or return "$tag BAD No mailbox selected\r\n";
361         $arg = uc($arg);
362         if ($arg eq 'ALL' && !@rest) {
363                 $self->msg_more('* SEARCH');
364                 my $num = 0;
365                 long_response($self, \&uid_search_all, $tag, $ibx, \$num);
366         } elsif ($arg eq 'UID' && scalar(@rest) == 1) {
367                 if ($rest[0] =~ /\A([0-9]+):([0-9]+|\*)\z/s) {
368                         my ($beg, $end) = ($1, $2);
369                         $end = $ibx->mm->max if $end eq '*';
370                         $self->msg_more('* SEARCH');
371                         long_response($self, \&uid_search_uid_range,
372                                         $tag, $ibx, \$beg, $end);
373                 } elsif ($rest[0] =~ /\A[0-9]+\z/s) {
374                         my $uid = $rest[0];
375                         $uid = $ibx->over->get_art($uid) ? " $uid" : '';
376                         "* SEARCH$uid\r\n$tag OK\r\n";
377                 } else {
378                         "$tag BAD\r\n";
379                 }
380         } else {
381                 "$tag BAD\r\n";
382         }
383 }
384
385 sub args_ok ($$) { # duplicated from PublicInbox::NNTP
386         my ($cb, $argc) = @_;
387         my $tot = prototype $cb;
388         my ($nreq, undef) = split(';', $tot);
389         $nreq = ($nreq =~ tr/$//) - 1;
390         $tot = ($tot =~ tr/$//) - 1;
391         ($argc <= $tot && $argc >= $nreq);
392 }
393
394 # returns 1 if we can continue, 0 if not due to buffered writes or disconnect
395 sub process_line ($$) {
396         my ($self, $l) = @_;
397         my ($tag, $req, @args) = split(/[ \t]+/, $l);
398         if (@args && uc($req) eq 'UID') {
399                 $req .= "_".(shift @args);
400         }
401         my $res = eval {
402                 if (my $cmd = $self->can('cmd_'.lc($req // ''))) {
403                         defined($self->{-idle_tag}) ?
404                                 "$self->{-idle_tag} BAD expected DONE\r\n" :
405                                 $cmd->($self, $tag, @args);
406                 } elsif (uc($tag // '') eq 'DONE' && !defined($req)) {
407                         cmd_done($self, $tag);
408                 } else { # this is weird
409                         auth_challenge_ok($self) //
410                                 "$tag BAD Error in IMAP command $req: ".
411                                 "Unknown command\r\n";
412                 }
413         };
414         my $err = $@;
415         if ($err && $self->{sock}) {
416                 $l =~ s/\r?\n//s;
417                 err($self, 'error from: %s (%s)', $l, $err);
418                 $res = "$tag BAD program fault - command not performed\r\n";
419         }
420         return 0 unless defined $res;
421         $self->write($res);
422 }
423
424 sub long_step {
425         my ($self) = @_;
426         # wbuf is unset or empty, here; {long} may add to it
427         my ($fd, $cb, $t0, @args) = @{$self->{long_cb}};
428         my $more = eval { $cb->($self, @args) };
429         if ($@ || !$self->{sock}) { # something bad happened...
430                 delete $self->{long_cb};
431                 my $elapsed = now() - $t0;
432                 if ($@) {
433                         err($self,
434                             "%s during long response[$fd] - %0.6f",
435                             $@, $elapsed);
436                 }
437                 out($self, " deferred[$fd] aborted - %0.6f", $elapsed);
438                 $self->close;
439         } elsif ($more) { # $self->{wbuf}:
440                 $self->update_idle_time;
441
442                 # COMPRESS users all share the same DEFLATE context.
443                 # Flush it here to ensure clients don't see
444                 # each other's data
445                 $self->zflush;
446
447                 # no recursion, schedule another call ASAP, but only after
448                 # all pending writes are done.  autovivify wbuf:
449                 my $new_size = push(@{$self->{wbuf}}, \&long_step);
450
451                 # wbuf may be populated by $cb, no need to rearm if so:
452                 $self->requeue if $new_size == 1;
453         } else { # all done!
454                 delete $self->{long_cb};
455                 my $elapsed = now() - $t0;
456                 my $fd = fileno($self->{sock});
457                 out($self, " deferred[$fd] done - %0.6f", $elapsed);
458                 my $wbuf = $self->{wbuf}; # do NOT autovivify
459
460                 $self->requeue unless $wbuf && @$wbuf;
461         }
462 }
463
464 sub err ($$;@) {
465         my ($self, $fmt, @args) = @_;
466         printf { $self->{imapd}->{err} } $fmt."\n", @args;
467 }
468
469 sub out ($$;@) {
470         my ($self, $fmt, @args) = @_;
471         printf { $self->{imapd}->{out} } $fmt."\n", @args;
472 }
473
474 sub long_response ($$;@) {
475         my ($self, $cb, @args) = @_; # cb returns true if more, false if done
476
477         my $sock = $self->{sock} or return;
478         # make sure we disable reading during a long response,
479         # clients should not be sending us stuff and making us do more
480         # work while we are stream a response to them
481         $self->{long_cb} = [ fileno($sock), $cb, now(), @args ];
482         long_step($self); # kick off!
483         undef;
484 }
485
486 # callback used by PublicInbox::DS for any (e)poll (in/out/hup/err)
487 sub event_step {
488         my ($self) = @_;
489
490         return unless $self->flush_write && $self->{sock};
491
492         $self->update_idle_time;
493         # only read more requests if we've drained the write buffer,
494         # otherwise we can be buffering infinitely w/o backpressure
495
496         my $rbuf = $self->{rbuf} // (\(my $x = ''));
497         my $r = 1;
498
499         if (index($$rbuf, "\n") < 0) {
500                 my $off = length($$rbuf);
501                 $r = $self->do_read($rbuf, LINE_MAX, $off) or return;
502         }
503         while ($r > 0 && $$rbuf =~ s/\A[ \t]*([^\n]*?)\r?\n//) {
504                 my $line = $1;
505                 return $self->close if $line =~ /[[:cntrl:]]/s;
506                 my $t0 = now();
507                 my $fd = fileno($self->{sock});
508                 $r = eval { process_line($self, $line) };
509                 my $pending = $self->{wbuf} ? ' pending' : '';
510                 out($self, "[$fd] %s - %0.6f$pending", $line, now() - $t0);
511         }
512
513         return $self->close if $r < 0;
514         my $len = length($$rbuf);
515         return $self->close if ($len >= LINE_MAX);
516         $self->rbuf_idle($rbuf);
517         $self->update_idle_time;
518
519         # maybe there's more pipelined data, or we'll have
520         # to register it for socket-readiness notifications
521         $self->requeue unless $self->{wbuf};
522 }
523
524 sub compressed { undef }
525
526 sub zflush {} # overridden by IMAPdeflate
527
528 # RFC 4978
529 sub cmd_compress ($$$) {
530         my ($self, $tag, $alg) = @_;
531         return "$tag BAD DEFLATE only\r\n" if uc($alg) ne "DEFLATE";
532         return "$tag BAD COMPRESS active\r\n" if $self->compressed;
533
534         # CRIME made TLS compression obsolete
535         # return "$tag NO [COMPRESSIONACTIVE]\r\n" if $self->tls_compressed;
536
537         PublicInbox::IMAPdeflate->enable($self, $tag);
538         $self->requeue;
539         undef
540 }
541
542 sub cmd_starttls ($$) {
543         my ($self, $tag) = @_;
544         my $sock = $self->{sock} or return;
545         if ($sock->can('stop_SSL') || $self->compressed) {
546                 return "$tag BAD TLS or compression already enabled\r\n";
547         }
548         my $opt = $self->{imapd}->{accept_tls} or
549                 return "$tag BAD can not initiate TLS negotiation\r\n";
550         $self->write(\"$tag OK begin TLS negotiation now\r\n");
551         $self->{sock} = IO::Socket::SSL->start_SSL($sock, %$opt);
552         $self->requeue if PublicInbox::DS::accept_tls_step($self);
553         undef;
554 }
555
556 # for graceful shutdown in PublicInbox::Daemon:
557 sub busy {
558         my ($self, $now) = @_;
559         ($self->{rbuf} || $self->{wbuf} || $self->not_idle_long($now));
560 }
561
562 sub close {
563         my ($self) = @_;
564         if (my $ibx = delete $self->{ibx}) {
565                 if (my $sock = $self->{sock}) {;
566                         $ibx->unsubscribe_unlock(fileno($sock));
567                 }
568         }
569         $self->SUPER::close; # PublicInbox::DS::close
570 }
571
572 # we're read-only, so SELECT and EXAMINE do the same thing
573 no warnings 'once';
574 *cmd_select = \&cmd_examine;
575
576 1;