]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/NNTP.pm
nntp: ensure body lines end with CRLF
[public-inbox.git] / lib / PublicInbox / NNTP.pm
index f86c6335f5f9d5d5b53527eeb6fcb2a4d2e8f753..71b774d224bc03396e2ec582448fb6cddac36e76 100644 (file)
@@ -4,18 +4,21 @@ package PublicInbox::NNTP;
 use strict;
 use warnings;
 use base qw(Danga::Socket);
-use fields qw(nntpd article ng long_res);
+use fields qw(nntpd article rbuf ng long_res);
 use PublicInbox::Msgmap;
 use PublicInbox::GitCatFile;
 use PublicInbox::MID qw(mid2path);
-use Email::Simple;
+use Email::MIME;
 use Data::Dumper qw(Dumper);
 use POSIX qw(strftime);
-use Time::HiRes qw(gettimeofday tv_interval ualarm);
+use Time::HiRes qw(clock_gettime ualarm CLOCK_MONOTONIC);
 use constant {
        r501 => '501 command syntax error',
+       long_response_limit => 0xffffffff,
 };
 
+sub now () { clock_gettime(CLOCK_MONOTONIC) };
+
 my @OVERVIEW = qw(Subject From Date Message-ID References Bytes Lines);
 my %OVERVIEW = map { $_ => 1 } @OVERVIEW;
 
@@ -23,18 +26,29 @@ my %OVERVIEW = map { $_ => 1 } @OVERVIEW;
 # LISTGROUP could get pretty bad, too...
 my %DISABLED; # = map { $_ => 1 } qw(xover list_overview_fmt newnews xhdr);
 
-sub new {
+sub new ($$$) {
        my ($class, $sock, $nntpd) = @_;
        my $self = fields::new($class);
+       binmode $sock, ':utf8'; # RFC 3977
        $self->SUPER::new($sock);
        $self->{nntpd} = $nntpd;
        res($self, '201 server ready - post via email');
+       $self->{rbuf} = '';
        $self->watch_read(1);
        $self;
 }
 
+sub args_ok ($$) {
+       my ($cb, $argc) = @_;
+       my $tot = prototype $cb;
+       my ($nreq, undef) = split(';', $tot);
+       $nreq = ($nreq =~ tr/$//) - 1;
+       $tot = ($tot =~ tr/$//) - 1;
+       ($argc <= $tot && $argc >= $nreq);
+}
+
 # returns 1 if we can continue, 0 if not due to buffered writes or disconnect
-sub process_line {
+sub process_line ($$) {
        my ($self, $l) = @_;
        my ($req, @args) = split(/\s+/, $l);
        $req = lc($req);
@@ -43,67 +57,63 @@ sub process_line {
                $req = $DISABLED{$req} ? undef : *{'cmd_'.$req}{CODE};
        };
        return res($self, '500 command not recognized') unless $req;
+       return res($self, r501) unless args_ok($req, scalar @args);
 
        my $res = eval { $req->($self, @args) };
        my $err = $@;
        if ($err && !$self->{closed}) {
                chomp($l = Dumper(\$l));
-               warning('error from: ', $l, ' ', $err);
+               err($self, "error from: $l $err");
                $res = '503 program fault - command not performed';
        }
        return 0 unless defined $res;
        res($self, $res);
 }
 
-sub cmd_mode {
+sub cmd_mode ($$) {
        my ($self, $arg) = @_;
-       return r501 unless defined $arg;
        $arg = uc $arg;
        return r501 unless $arg eq 'READER';
        '200 reader status acknowledged';
 }
 
-sub cmd_slave {
-       my ($self, @x) = @_;
-       return r501 if @x;
-       '202 slave status noted';
-}
+sub cmd_slave ($) { '202 slave status noted' }
 
-sub cmd_xgtitle {
+sub cmd_xgtitle ($;$) {
        my ($self, $wildmat) = @_;
        more($self, '282 list of groups and descriptions follows');
        list_newsgroups($self, $wildmat);
        '.'
 }
 
-sub list_overview_fmt {
+sub list_overview_fmt ($$) {
        my ($self) = @_;
        more($self, $_ . ':') foreach @OVERVIEW;
 }
 
-sub list_active {
+sub list_active ($;$) {
        my ($self, $wildmat) = @_;
        wildmat2re($wildmat);
-       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+       foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                $ng->{name} =~ $wildmat or next;
                group_line($self, $ng);
        }
 }
 
-sub list_active_times {
+sub list_active_times ($;$) {
        my ($self, $wildmat) = @_;
        wildmat2re($wildmat);
-       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+       foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                $ng->{name} =~ $wildmat or next;
                my $c = eval { $ng->mm->created_at } || time;
                more($self, "$ng->{name} $c $ng->{address}");
        }
 }
 
-sub list_newsgroups {
+sub list_newsgroups ($;$) {
        my ($self, $wildmat) = @_;
        wildmat2re($wildmat);
-       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+       foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                $ng->{name} =~ $wildmat or next;
                my $d = $ng->description;
                more($self, "$ng->{name} $d");
@@ -111,30 +121,31 @@ sub list_newsgroups {
 }
 
 # LIST SUBSCRIPTIONS not supported
-sub cmd_list {
-       my ($self, $arg, $wildmat, @x) = @_;
-       if (defined $arg) {
-               $arg = lc $arg;
-               $arg =~ tr/./_/;
+sub cmd_list ($;$$) {
+       my ($self, @args) = @_;
+       if (scalar @args) {
+               my $arg = shift @args;
+               $arg =~ tr/A-Z./a-z_/;
                $arg = "list_$arg";
                return '503 function not performed' if $DISABLED{$arg};
+
                $arg = eval {
                        no strict 'refs';
                        *{$arg}{CODE};
                };
-               return r501 unless $arg;
+               return r501 unless $arg && args_ok($arg, scalar @args);
                more($self, '215 information follows');
-               $arg->($self, $wildmat, @x);
+               $arg->($self, @args);
        } else {
                more($self, '215 list of newsgroups follows');
-               foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+               foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                        group_line($self, $ng);
                }
        }
        '.'
 }
 
-sub cmd_listgroup {
+sub cmd_listgroup ($;$) {
        my ($self, $group) = @_;
        if (defined $group) {
                my $res = cmd_group($self, $group);
@@ -142,51 +153,59 @@ sub cmd_listgroup {
                more($self, $res);
        }
 
-       my $ng = $self->{ng} or return '412 no newsgroup selected';
-       # Ugh this can be silly expensive for big groups
-       $ng->mm->each_id_batch(sub {
-               my ($ary) = @_;
-               more($self, join("\r\n", @$ary));
+       $self->{ng} or return '412 no newsgroup selected';
+       $self->long_response(0, long_response_limit, sub {
+               my ($i) = @_;
+               my $nr = $self->{ng}->mm->id_batch($$i, sub {
+                       my ($ary) = @_;
+                       more($self, join("\r\n", @$ary));
+               });
+
+               # -1 to adjust for implicit increment in long_response
+               $$i = $nr ? $$i + $nr - 1 : long_response_limit;
        });
-       '.'
 }
 
-sub parse_time {
+sub parse_time ($$;$) {
        my ($date, $time, $gmt) = @_;
        use Time::Local qw();
-       my ($YY, $MM, $DD) = unpack('A2A2A2', $date);
        my ($hh, $mm, $ss) = unpack('A2A2A2', $time);
        if (defined $gmt) {
                $gmt =~ /\A(?:UTC|GMT)\z/i or die "GM invalid: $gmt\n";
                $gmt = 1;
        }
        my @now = $gmt ? gmtime : localtime;
-       if ($YY > strftime('%y', @now)) {
-               my $cur_year = $now[5] + 1900;
-               $YY += int($cur_year / 1000) * 1000 - 100;
+       my ($YYYY, $MM, $DD);
+       if (length($date) == 8) { # RFC 3977 allows YYYYMMDD
+               ($YYYY, $MM, $DD) = unpack('A4A2A2', $date);
+       } else { # legacy clients send YYMMDD
+               ($YYYY, $MM, $DD) = unpack('A2A2A2', $date);
+               if ($YYYY > strftime('%y', @now)) {
+                       my $cur_year = $now[5] + 1900;
+                       $YYYY += int($cur_year / 1000) * 1000 - 100;
+               }
        }
-
        if ($gmt) {
-               Time::Local::timegm($ss, $mm, $hh, $DD, $MM - 1, $YY);
+               Time::Local::timegm($ss, $mm, $hh, $DD, $MM - 1, $YYYY);
        } else {
-               Time::Local::timelocal($ss, $mm, $hh, $DD, $MM - 1, $YY);
+               Time::Local::timelocal($ss, $mm, $hh, $DD, $MM - 1, $YYYY);
        }
 }
 
-sub group_line {
+sub group_line ($$) {
        my ($self, $ng) = @_;
        my ($min, $max) = $ng->mm->minmax;
        more($self, "$ng->{name} $max $min n") if defined $min && defined $max;
 }
 
-sub cmd_newgroups {
+sub cmd_newgroups ($$$;$$) {
        my ($self, $date, $time, $gmt, $dists) = @_;
        my $ts = eval { parse_time($date, $time, $gmt) };
        return r501 if $@;
 
        # TODO dists
        more($self, '231 list of new newsgroups follows');
-       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+       foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                my $c = eval { $ng->mm->created_at } || 0;
                next unless $c > $ts;
                group_line($self, $ng);
@@ -194,7 +213,7 @@ sub cmd_newgroups {
        '.'
 }
 
-sub wildmat2re {
+sub wildmat2re (;$) {
        return $_[0] = qr/.*/ if (!defined $_[0] || $_[0] eq '*');
        my %keep;
        my $salt = rand;
@@ -219,14 +238,14 @@ sub wildmat2re {
        $_[0] = qr/\A$tmp\z/;
 }
 
-sub ngpat2re {
+sub ngpat2re (;$) {
        return $_[0] = qr/\A\z/ unless defined $_[0];
        my %map = ('*' => '.*', ',' => '|');
        $_[0] =~ s!(.)!$map{$1} || "\Q$1"!ge;
        $_[0] = qr/\A(?:$_[0])\z/;
 }
 
-sub cmd_newnews {
+sub cmd_newnews ($$$$;$$) {
        my ($self, $newsgroups, $date, $time, $gmt, $dists) = @_;
        my $ts = eval { parse_time($date, $time, $gmt) };
        return r501 if $@;
@@ -235,7 +254,7 @@ sub cmd_newnews {
        ngpat2re($keep);
        ngpat2re($skip);
        my @srch;
-       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+       foreach my $ng (@{$self->{nntpd}->{grouplist}}) {
                $ng->{name} =~ $keep or next;
                $ng->{name} =~ $skip and next;
                my $srch = $ng->search or next;
@@ -245,9 +264,7 @@ sub cmd_newnews {
 
        $ts .= '..';
        my $opts = { asc => 1, limit => 1000, offset => 0 };
-
-       my $end = 0xffffffff; # would like to read 4 billion messages?
-       $self->long_response(0, $end, sub {
+       $self->long_response(0, long_response_limit, sub {
                my ($i) = @_;
                my $srch = $srch[0];
                my $res = $srch->query($ts, $opts);
@@ -262,13 +279,13 @@ sub cmd_newnews {
                        if (@srch) { # continue onto next newsgroup
                                $opts->{offset} = 0;
                        } else { # break out of the long response.
-                               $$i = $end;
+                               $$i = long_response_limit;
                        }
                }
        });
 }
 
-sub cmd_group {
+sub cmd_group ($$) {
        my ($self, $group) = @_;
        my $no_such = '411 no such news group';
        my $ng = $self->{nntpd}->{groups}->{$group} or return $no_such;
@@ -282,7 +299,7 @@ sub cmd_group {
        "211 $est_size $min $max $group";
 }
 
-sub article_adj {
+sub article_adj ($$) {
        my ($self, $off) = @_;
        my $ng = $self->{ng} or return '412 no newsgroup selected';
 
@@ -299,27 +316,27 @@ sub article_adj {
        "223 $n <$mid> article retrieved - request text separately";
 }
 
-sub cmd_next { article_adj($_[0], 1) }
-sub cmd_last { article_adj($_[0], -1) }
+sub cmd_next ($) { article_adj($_[0], 1) }
+sub cmd_last ($) { article_adj($_[0], -1) }
 
 # We want to encourage using email and CC-ing everybody involved to avoid
 # the single-point-of-failure a single server provides.
-sub cmd_post {
+sub cmd_post ($) {
        my ($self) = @_;
        my $ng = $self->{ng};
        $ng ? "440 mailto:$ng->{address} to post" : '440 posting not allowed'
 }
 
-sub cmd_quit {
+sub cmd_quit ($) {
        my ($self) = @_;
        res($self, '205 closing connection - goodbye!');
        $self->close;
        undef;
 }
 
-sub art_lookup {
+sub art_lookup ($$$) {
        my ($self, $art, $set_headers) = @_;
-       my $ng = $self->{ng} or return '412 no newsgroup has been selected';
+       my $ng = $self->{ng};
        my ($n, $mid);
        my $err;
        if (defined $art) {
@@ -328,10 +345,18 @@ sub art_lookup {
                        $n = int($art);
                        goto find_mid;
                } elsif ($art =~ /\A<([^>]+)>\z/) {
-                       $err = '430 no such article found';
                        $mid = $1;
-                       $n = $ng->mm->num_for($mid);
-                       defined $mid or return $err;
+                       $err = '430 no such article found';
+                       $n = $ng->mm->num_for($mid) if $ng;
+                       goto found if defined $n;
+                       foreach my $g (values %{$self->{nntpd}->{groups}}) {
+                               $n = $g->mm->num_for($mid);
+                               if (defined $n) {
+                                       $ng = $g;
+                                       goto found;
+                               }
+                       }
+                       return $err;
                } else {
                        return r501;
                }
@@ -340,92 +365,105 @@ sub art_lookup {
                $n = $self->{article};
                defined $n or return $err;
 find_mid:
+               $ng or return '412 no newsgroup has been selected';
                $mid = $ng->mm->mid_for($n);
                defined $mid or return $err;
        }
-
+found:
        my $o = 'HEAD:' . mid2path($mid);
-       my $s = eval { Email::Simple->new($ng->gcf->cat_file($o)) };
+       my $bytes;
+       my $s = eval { Email::MIME->new($ng->gcf->cat_file($o, \$bytes)) };
        return $err unless $s;
        if ($set_headers) {
                $s->header_set('Newsgroups', $ng->{name});
                $s->header_set('Lines', $s->body =~ tr!\n!\n!);
-               $s->header_set('Xref', "$ng->{domain} $ng->{name}:$n");
+               $s->header_set('Xref', xref($ng, $n));
 
                # must be last
                if ($set_headers == 2) {
-                       $s->header_set('Bytes', bytes::length($s->as_string));
+                       $s->header_set('Bytes', $bytes);
                        $s->body_set('');
                }
        }
        [ $n, $mid, $s ];
 }
 
-sub simple_body_write {
+sub simple_body_write ($$) {
        my ($self, $s) = @_;
        my $body = $s->body;
        $s->body_set('');
        $body =~ s/^\./../smg;
+       $body =~ s/(?<!\r)\n/\r\n/sg;
        do_more($self, $body);
+       do_more($self, "\r\n") unless $body =~ /\r\n\z/s;
        '.'
 }
 
-sub header_str {
+sub header_str ($) {
        my ($s) = @_;
        my $h = $s->header_obj;
        $h->header_set('Bytes');
        $h->as_string
 }
 
-sub cmd_article {
+sub set_art {
+       my ($self, $art) = @_;
+       $self->{article} = $art if defined $art && $art =~ /\A\d+\z/;
+}
+
+sub cmd_article ($;$) {
        my ($self, $art) = @_;
        my $r = $self->art_lookup($art, 1);
        return $r unless ref $r;
        my ($n, $mid, $s) = @$r;
+       set_art($self, $art);
        more($self, "220 $n <$mid> article retrieved - head and body follow");
        do_more($self, header_str($s));
        do_more($self, "\r\n");
        simple_body_write($self, $s);
 }
 
-sub cmd_head {
+sub cmd_head ($;$) {
        my ($self, $art) = @_;
        my $r = $self->art_lookup($art, 2);
        return $r unless ref $r;
        my ($n, $mid, $s) = @$r;
+       set_art($self, $art);
        more($self, "221 $n <$mid> article retrieved - head follows");
        do_more($self, header_str($s));
        '.'
 }
 
-sub cmd_body {
+sub cmd_body ($;$) {
        my ($self, $art) = @_;
        my $r = $self->art_lookup($art, 0);
        return $r unless ref $r;
        my ($n, $mid, $s) = @$r;
+       set_art($self, $art);
        more($self, "222 $n <$mid> article retrieved - body follows");
        simple_body_write($self, $s);
 }
 
-sub cmd_stat {
+sub cmd_stat ($;$) {
        my ($self, $art) = @_;
        my $r = $self->art_lookup($art, 0);
        return $r unless ref $r;
        my ($n, $mid, undef) = @$r;
+       set_art($self, $art);
        "223 $n <$mid> article retrieved - request text separately";
 }
 
-sub cmd_ihave { '435 article not wanted - do not send it' }
+sub cmd_ihave ($) { '435 article not wanted - do not send it' }
 
-sub cmd_date { '111 '.strftime('%Y%m%d%H%M%S', gmtime(time)) }
+sub cmd_date ($) { '111 '.strftime('%Y%m%d%H%M%S', gmtime(time)) }
 
-sub cmd_help {
+sub cmd_help ($) {
        my ($self) = @_;
        more($self, '100 help text follows');
        '.'
 }
 
-sub get_range {
+sub get_range ($$) {
        my ($self, $range) = @_;
        my $ng = $self->{ng} or return '412 no news group has been selected';
        defined $range or return '420 No article(s) selected';
@@ -446,7 +484,7 @@ sub get_range {
        [ $beg, $end ];
 }
 
-sub xhdr {
+sub xhdr ($$) {
        my ($r, $header) = @_;
        $r = $r->[2]->header_obj->header($header);
        defined $r or return;
@@ -454,7 +492,7 @@ sub xhdr {
        $r;
 }
 
-sub long_response {
+sub long_response ($$$$) {
        my ($self, $beg, $end, $cb) = @_;
        die "BUG: nested long response" if $self->{long_res};
 
@@ -462,6 +500,8 @@ sub long_response {
        # clients should not be sending us stuff and making us do more
        # work while we are stream a response to them
        $self->watch_read(0);
+       my $fd = fileno $self->{sock};
+       my $t0 = now();
        $self->{long_res} = sub {
                # limit our own running time for fairness with other
                # clients and to avoid buffering too much:
@@ -478,8 +518,18 @@ sub long_response {
 
                if ($err || $self->{closed}) {
                        $self->{long_res} = undef;
-                       warning("$err during long response") if $err;
-                       $self->watch_read(1) unless $self->{closed};
+
+                       if ($err) {
+                               err($self,
+                                   "$err during long response[$fd] - %0.6f",
+                                       now() - $t0);
+                       }
+                       if ($self->{closed}) {
+                               out($self, " deferred[$fd] aborted - %0.6f",
+                                          now() - $t0);
+                       } else {
+                               $self->watch_read(1);
+                       }
                } elsif ($yield || $self->{write_buf_size}) {
                        # no recursion, schedule another call ASAP
                        # but only after all pending writes are done
@@ -490,20 +540,128 @@ sub long_response {
                        $self->{long_res} = undef;
                        $self->watch_read(1);
                        res($self, '.');
+                       out($self, " deferred[$fd] done - %0.6f", now() - $t0);
                }
        };
        $self->{long_res}->(); # kick off!
        undef;
 }
 
-sub cmd_xhdr {
+sub xhdr_message_id ($$) { # optimize XHDR Message-ID [range] for slrnpull.
+       my ($self, $range) = @_;
+
+       my $mm = $self->{ng}->mm;
+       if (defined $range && $range =~ /\A<(.+)>\z/) { # Message-ID
+               my $n = $mm->num_for($range);
+               more($self, '221 Header follows');
+               more($self, "<$range> <$range>") if defined $n;
+               '.';
+       } else { # numeric range
+               $range = $self->{article} unless defined $range;
+               my $r = get_range($self, $range);
+               return $r unless ref $r;
+               my ($beg, $end) = @$r;
+               more($self, '221 Header follows');
+               $self->long_response($beg, $end, sub {
+                       my ($i) = @_;
+                       my $mid = $mm->mid_for($$i);
+                       more($self, "$$i <$mid>") if defined $mid;
+               });
+       }
+}
+
+sub xref ($$) {
+       my ($ng, $n) = @_;
+       "$ng->{domain} $ng->{name}:$n"
+}
+
+sub xhdr_xref ($$) { # optimize XHDR Xref [range] for rtin
+       my ($self, $range) = @_;
+
+       my $ng = $self->{ng};
+       my $mm = $ng->mm;
+       if (defined $range && $range =~ /\A<(.+)>\z/) { # Message-ID
+               my $n = $mm->num_for($range);
+               more($self, '221 Header follows');
+               more($self, "<$range> ".xref($ng, $n)) if defined $n;
+               '.';
+       } else { # numeric range
+               $range = $self->{article} unless defined $range;
+               my $r = get_range($self, $range);
+               return $r unless ref $r;
+               my ($beg, $end) = @$r;
+               more($self, '221 Header follows');
+               $self->long_response($beg, $end, sub {
+                       my ($i) = @_;
+                       my $mid = $mm->mid_for($$i);
+                       more($self, "$$i ".xref($ng, $$i)) if defined $mid;
+               });
+       }
+}
+
+sub header_obj_for {
+       my ($srch, $mid) = @_;
+       eval {
+               my $smsg = $srch->lookup_message($mid);
+               $smsg = PublicInbox::SearchMsg->load_doc($smsg->{doc});
+               $smsg->mini_mime->header_obj;
+       };
+};
+
+sub xhdr_searchmsg ($$$) {
+       my ($self, $sub, $range) = @_;
+       my $srch = $self->{ng}->search;
+       my $emit = ($sub eq 'date') ? sub {
+               my ($pfx, $m) = @_;
+               my @t = gmtime($m->header('X-PI-TS'));
+               more($self, "$pfx ". strftime('%a, %d %b %Y %T %z', @t));
+       } : sub {
+               my ($pfx, $m) = @_;
+               my $h = $m->header($sub);
+               more($self, "$pfx $h") if defined $h;
+       };
+
+       if (defined $range && $range =~ /\A<(.+)>\z/) { # Message-ID
+               more($self, '221 Header follows');
+               my $m = header_obj_for($srch, $1);
+               $emit->($range, $m) if defined $m;
+               '.';
+       } else { # numeric range
+               $range = $self->{article} unless defined $range;
+               my $mm = $self->{ng}->mm;
+               my $r = get_range($self, $range);
+               return $r unless ref $r;
+               my ($beg, $end) = @$r;
+               more($self, '221 Header follows');
+               $self->long_response($beg, $end, sub {
+                       my ($i) = @_;
+                       my $mid = $mm->mid_for($$i) or return;
+                       my $m = header_obj_for($srch, $mid) or return;
+                       $emit->($$i, $m);
+               });
+       }
+}
+
+sub cmd_xhdr ($$;$) {
        my ($self, $header, $range) = @_;
-       defined $self->{ng} or return '412 no news group currently selected';
-       unless (defined $range) {
-               defined($range = $self->{article}) or
-                       return '420 no current article has been selected';
+       my $ng = $self->{ng};
+       defined $ng or return '412 no news group currently selected';
+       my $sub = lc $header;
+       if ($sub eq 'message-id') {
+               xhdr_message_id($self, $range);
+       } elsif ($sub eq 'xref') {
+               xhdr_xref($self, $range);
+       } elsif ($sub =~ /\A(subject|references|date)\z/ && $ng->search) {
+               xhdr_searchmsg($self, $sub, $range);
+       } else {
+               xhdr_slow($self, $header, $range);
        }
-       if ($range =~ /\A<(.+)>\z/) { # Message-ID
+}
+
+sub xhdr_slow ($$$) {
+       my ($self, $header, $range) = @_;
+
+       if (defined $range && $range =~ /\A<(.+)>\z/) { # Message-ID
                my $r = $self->art_lookup($range, 2);
                return $r unless ref $r;
                more($self, '221 Header follows');
@@ -512,6 +670,7 @@ sub cmd_xhdr {
                }
                '.';
        } else { # numeric range
+               $range = $self->{article} unless defined $range;
                my $r = get_range($self, $range);
                return $r unless ref $r;
                my ($beg, $end) = @$r;
@@ -526,8 +685,31 @@ sub cmd_xhdr {
        }
 }
 
-sub cmd_xover {
+sub cmd_xrover ($;$) {
+       my ($self, $range) = @_;
+       my $ng = $self->{ng} or return '412 no newsgroup selected';
+       (defined $range && $range =~ /[<>]/) and
+               return '420 No article(s) selected'; # no message IDs
+
+       $range = $self->{article} unless defined $range;
+       my $r = get_range($self, $range);
+       return $r unless ref $r;
+       my ($beg, $end) = @$r;
+       my $mm = $ng->mm;
+       my $srch = $ng->search;
+       more($self, '224 Overview information follows');
+       $self->long_response($beg, $end, sub {
+               my ($i) = @_;
+               my $mid = $mm->mid_for($$i) or return;
+               my $m = header_obj_for($srch, $mid) or return;
+               my $h = $m->header('references');
+               more($self, "$$i $h") if defined $h;
+       });
+}
+
+sub cmd_xover ($;$) {
        my ($self, $range) = @_;
+       $range = $self->{article} unless defined $range;
        my $r = get_range($self, $range);
        return $r unless ref $r;
        my ($beg, $end) = @$r;
@@ -544,17 +726,30 @@ sub cmd_xover {
        });
 }
 
-sub res {
+sub cmd_xpath ($$) {
+       my ($self, $mid) = @_;
+       return r501 unless $mid =~ /\A<(.+)>\z/;
+       $mid = $1;
+       my @paths;
+       foreach my $ng (values %{$self->{nntpd}->{groups}}) {
+               my $n = $ng->mm->num_for($mid);
+               push @paths, "$ng->{name}/$n" if defined $n;
+       }
+       return '430 no such article on server' unless @paths;
+       '223 '.join(' ', @paths);
+}
+
+sub res ($$) {
        my ($self, $line) = @_;
        do_write($self, $line . "\r\n");
 }
 
-sub more {
+sub more ($$) {
        my ($self, $line) = @_;
        do_more($self, $line . "\r\n");
 }
 
-sub do_write {
+sub do_write ($$) {
        my ($self, $data) = @_;
        my $done = $self->write($data);
        die if $self->{closed};
@@ -566,16 +761,26 @@ sub do_write {
        $done;
 }
 
+sub err ($$;@) {
+       my ($self, $fmt, @args) = @_;
+       printf { $self->{nntpd}->{err} } $fmt."\n", @args;
+}
+
+sub out ($$;@) {
+       my ($self, $fmt, @args) = @_;
+       printf { $self->{nntpd}->{out} } $fmt."\n", @args;
+}
+
 use constant MSG_MORE => ($^O eq 'linux') ? 0x8000 : 0;
 
-sub do_more {
+sub do_more ($$) {
        my ($self, $data) = @_;
        if (MSG_MORE && !$self->{write_buf_size}) {
                my $n = send($self->{sock}, $data, MSG_MORE);
                if (defined $n) {
-                       my $dlen = bytes::length($data);
+                       my $dlen = length($data);
                        return 1 if $n == $dlen; # all done!
-                       $data = bytes::substr($data, $n, $dlen - $n);
+                       $data = substr($data, $n, $dlen - $n);
                }
        }
        $self->do_write($data);
@@ -589,27 +794,52 @@ sub event_err { $_[0]->close }
 sub event_write {
        my ($self) = @_;
        # only continue watching for readability when we are done writing:
-       $self->write(undef) == 1 and $self->watch_read(1);
+       if ($self->write(undef) == 1 && !$self->{long_res}) {
+               $self->watch_read(1);
+       }
 }
 
 sub event_read {
        my ($self) = @_;
        use constant LINE_MAX => 512; # RFC 977 section 2.3
+       my $line;
        my $r = 1;
-       my $buf = $self->read(LINE_MAX) or return $self->close;
-       while ($r > 0 && $$buf =~ s/\A([^\r\n]+)\r?\n//) {
-               my $line = $1;
-               my $t0 = [ gettimeofday ];
+again:
+       while ($r > 0 && $self->{rbuf} =~ s/\A\s*([^\r\n]+)\r?\n//) {
+               $line = $1;
+               my $t0 = now();
                $r = eval { $self->process_line($line) };
-               printf(STDERR "$line %0.6f\n",
-                       tv_interval($t0, [gettimeofday]));
+               my $d = $self->{long_res} ?
+                       ' deferred['.fileno($self->{sock}).']' : '';
+               out($self, "$line - %0.6f$d", now() - $t0);
+       }
+       unless (defined $line) {
+               my $buf = $self->read(LINE_MAX) or return $self->close;
+               $self->{rbuf} .= $$buf;
+               goto again;
        }
+
        return $self->close if $r < 0;
-       my $len = bytes::length($$buf);
+       my $len = length($self->{rbuf});
        return $self->close if ($len >= LINE_MAX);
-       $self->push_back_read($buf) if ($len);
 }
 
-sub warning { print STDERR @_, "\n" }
+sub watch_read {
+       my ($self, $bool) = @_;
+       my $rv = $self->SUPER::watch_read($bool);
+       if ($bool && $self->{rbuf} ne '') {
+               # Force another read if there is a pipelined request.
+               # We don't know if the socket has anything for us to read,
+               # and we must double-check again by the time the timer fires
+               # in case we really did dispatch a read event and started
+               # another long response.
+               Danga::Socket->AddTimer(0, sub {
+                       if (&Danga::Socket::POLLIN & $self->{event_watch}) {
+                               $self->event_read;
+                       }
+               });
+       }
+       $rv;
+}
 
 1;