]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/NNTP.pm
nntp: make XOVER, XHDR, OVER, HDR and NEWNEWS faster
[public-inbox.git] / lib / PublicInbox / NNTP.pm
index b7143ff3ef07db59505e34b3d2176447c398c842..ff6d89587756fa70bd8708f5a1c716a91b6d11f7 100644 (file)
@@ -1,5 +1,5 @@
-# Copyright (C) 2015 all contributors <meta@public-inbox.org>
-# License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
+# Copyright (C) 2015-2018 all contributors <meta@public-inbox.org>
+# License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Each instance of this represents a NNTP client socket
 package PublicInbox::NNTP;
@@ -250,8 +250,8 @@ sub parse_time ($$;$) {
                ($YYYY, $MM, $DD) = unpack('A4A2A2', $date);
        } else { # legacy clients send YYMMDD
                ($YYYY, $MM, $DD) = unpack('A2A2A2', $date);
-               if ($YYYY > strftime('%y', @now)) {
-                       my $cur_year = $now[5] + 1900;
+               my $cur_year = $now[5] + 1900;
+               if ($YYYY > $cur_year) {
                        $YYYY += int($cur_year / 1000) * 1000 - 100;
                }
        }
@@ -331,22 +331,20 @@ sub cmd_newnews ($$$$;$$) {
        };
        return '.' unless @srch;
 
-       $ts .= '..';
-       my $opts = { asc => 1, limit => 1000, offset => 0 };
+       my $prev = 0;
        long_response($self, 0, long_response_limit, sub {
                my ($i) = @_;
                my $srch = $srch[0];
-               my $res = $srch->query($ts, $opts);
-               my $msgs = $res->{msgs};
-               if (my $nr = scalar @$msgs) {
+               my $msgs = $srch->query_ts($ts, $prev);
+               if (scalar @$msgs) {
                        more($self, '<' .
                                join(">\r\n<", map { $_->mid } @$msgs ).
                                '>');
-                       $opts->{offset} += $nr;
+                       $prev = $msgs->[-1]->{num};
                } else {
                        shift @srch;
                        if (@srch) { # continue onto next newsgroup
-                               $opts->{offset} = 0;
+                               $prev = 0;
                        } else { # break out of the long response.
                                $$i = long_response_limit;
                        }
@@ -463,18 +461,16 @@ find_mid:
                defined $mid or return $err;
        }
 found:
-       my $bytes;
-       my $s = eval { $ng->msg_by_mid($mid, \$bytes) } or return $err;
-       $s = Email::Simple->new($s);
-       my $lines;
+       my $smsg = $ng->search->{over_ro}->get_art($n) or return $err;
+       my $msg = $ng->msg_by_smsg($smsg) or return $err;
+       my $s = Email::Simple->new($msg);
        if ($set_headers) {
                set_nntp_headers($s->header_obj, $ng, $n, $mid);
-               $lines = $s->body =~ tr!\n!\n!;
 
                # must be last
                $s->body_set('') if ($set_headers == 2);
        }
-       [ $n, $mid, $s, $bytes, $lines, $ng ];
+       [ $n, $mid, $s, $smsg->bytes, $smsg->lines, $ng ];
 }
 
 sub simple_body_write ($$) {
@@ -586,7 +582,7 @@ sub long_response ($$$$) {
        $self->{long_res} = sub {
                # limit our own running time for fairness with other
                # clients and to avoid buffering too much:
-               my $lim = 100;
+               my $lim = $end == long_response_limit ? 1 : 100;
 
                my $err;
                do {
@@ -693,17 +689,18 @@ sub hdr_xref ($$$) { # optimize XHDR Xref [range] for rtin
 }
 
 sub search_header_for {
-       my ($srch, $mid, $field) = @_;
-       my $smsg = $srch->lookup_mail($mid) or return;
-       $smsg->$field;
+       my ($srch, $num, $field) = @_;
+       my $smsg = $srch->{over_ro}->get_art($num) or return;
+       return PublicInbox::SearchMsg::date($smsg) if $field eq 'date';
+       $smsg->{$field};
 }
 
 sub hdr_searchmsg ($$$$) {
        my ($self, $xhdr, $field, $range) = @_;
        if (defined $range && $range =~ /\A<(.+)>\z/) { # Message-ID
                my ($ng, $n) = mid_lookup($self, $1);
-               return r430 unless $n;
-               my $v = search_header_for($ng->search, $range, $field);
+               return r430 unless defined $n;
+               my $v = search_header_for($ng->search, $n, $field);
                hdr_mid_response($self, $xhdr, $ng, $n, $range, $v);
        } else { # numeric range
                $range = $self->{article} unless defined $range;
@@ -713,21 +710,19 @@ sub hdr_searchmsg ($$$$) {
                return $r unless ref $r;
                my ($beg, $end) = @$r;
                more($self, $xhdr ? r221 : r225);
-               my $off = 0;
-               long_response($self, $beg, $end, sub {
+               my $cur = $beg;
+               long_response($self, 0, long_response_limit, sub {
                        my ($i) = @_;
-                       my $res = $srch->query_xover($beg, $end, $off);
-                       my $msgs = $res->{msgs};
-                       my $nr = scalar @$msgs or return;
-                       $off += $nr;
+                       my $msgs = $srch->query_xover($cur, $end);
+                       my $nr = scalar @$msgs or
+                                       return ($$i = long_response_limit);
                        my $tmp = '';
                        foreach my $s (@$msgs) {
                                $tmp .= $s->num . ' ' . $s->$field . "\r\n";
                        }
                        utf8::encode($tmp);
                        do_more($self, $tmp);
-                       # -1 to adjust for implicit increment in long_response
-                       $$i = $nr ? $$i + $nr - 1 : long_response_limit;
+                       $cur = $msgs->[-1]->{num} + 1;
                });
        }
 }
@@ -803,9 +798,10 @@ sub cmd_xrover ($;$) {
        more($self, '224 Overview information follows');
        long_response($self, $beg, $end, sub {
                my ($i) = @_;
-               my $mid = $mm->mid_for($$i) or return;
-               my $h = search_header_for($srch, $mid, 'references');
-               more($self, "$$i $h");
+               my $num = $$i;
+               my $h = search_header_for($srch, $num, 'references');
+               defined $h or return;
+               more($self, "$num $h");
        });
 }
 
@@ -817,10 +813,10 @@ sub over_line ($$) {
                $smsg->{subject},
                $smsg->{from},
                PublicInbox::SearchMsg::date($smsg),
-               '<'.PublicInbox::SearchMsg::mid($smsg).'>',
+               "<$smsg->{mid}>",
                $smsg->{references},
-               PublicInbox::SearchMsg::bytes($smsg),
-               PublicInbox::SearchMsg::lines($smsg));
+               $smsg->{bytes},
+               $smsg->{lines});
        utf8::encode($s);
        $s
 }
@@ -829,8 +825,8 @@ sub cmd_over ($;$) {
        my ($self, $range) = @_;
        if ($range && $range =~ /\A<(.+)>\z/) {
                my ($ng, $n) = mid_lookup($self, $1);
-               my $smsg = $ng->search->lookup_mail($range) or
-                       return '430 No article with that message-id';
+               defined $n or return r430;
+               my $smsg = $ng->search->{over_ro}->get_art($n) or return r430;
                more($self, '224 Overview information follows (multi-line)');
 
                # Only set article number column if it's the current group
@@ -851,21 +847,18 @@ sub cmd_xover ($;$) {
        my ($beg, $end) = @$r;
        more($self, "224 Overview information follows for $beg to $end");
        my $srch = $self->{ng}->search;
-       my $off = 0;
-       long_response($self, $beg, $end, sub {
+       my $cur = $beg;
+       long_response($self, 0, long_response_limit, sub {
                my ($i) = @_;
-               my $res = $srch->query_xover($beg, $end, $off);
-               my $msgs = $res->{msgs};
-               my $nr = scalar @$msgs or return;
-               $off += $nr;
+               my $msgs = $srch->query_xover($cur, $end);
+               my $nr = scalar @$msgs or return ($$i = long_response_limit);
 
                # OVERVIEW.FMT
                more($self, join("\r\n", map {
-                       over_line(PublicInbox::SearchMsg::num($_), $_);
+                       over_line($_->{num}, $_);
                        } @$msgs));
-
-               # -1 to adjust for implicit increment in long_response
-               $$i = $nr ? $$i + $nr - 1 : long_response_limit;
+               $cur = $msgs->[-1]->{num} + 1;
+               1;
        });
 }