]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/HTTP.pm
http: use a larger buffer for ->getline responses
[public-inbox.git] / lib / PublicInbox / HTTP.pm
index 82c2b200c4dd65d9041f4e325a5e95081c85c5c2..e65988bedf06fe2c5236e333bd7fc075021168b4 100644 (file)
@@ -37,16 +37,6 @@ use constant {
 };
 use Errno qw(EAGAIN);
 
-my $pipelineq = [];
-sub process_pipelineq () {
-       my $q = $pipelineq;
-       $pipelineq = [];
-       foreach (@$q) {
-               next unless $_->{sock};
-               rbuf_process($_);
-       }
-}
-
 # Use the same configuration parameter as git since this is primarily
 # a slow-client sponge for git-http-backend
 # TODO: support per-respository http.maxRequestBuffer somehow...
@@ -86,32 +76,25 @@ sub event_step { # called by PublicInbox::DS
        # otherwise we can be buffering infinitely w/o backpressure
 
        return read_input($self) if ref($self->{env});
-       my $rbuf = $self->{rbuf} // (\(my $x = ''));
-       $self->do_read($rbuf, 8192, length($$rbuf)) or return;
-       rbuf_process($self, $rbuf);
-}
-
-sub rbuf_process {
-       my ($self, $rbuf) = @_;
-       $rbuf //= $self->{rbuf} // (\(my $x = ''));
 
+       my $rbuf = $self->{rbuf} // (\(my $x = ''));
        my %env = %{$self->{httpd}->{env}}; # full hash copy
-       my $r = parse_http_request($$rbuf, \%env);
-
-       # We do not support Trailers in chunked requests, for now
-       # (they are rarely-used and git (as of 2.7.2) does not use them)
-       if ($r == -1 || $env{HTTP_TRAILER} ||
-                       # this length-check is necessary for PURE_PERL=1:
-                       ($r == -2 && length($$rbuf) > 0x4000)) {
-               return quit($self, 400);
-       }
-       if ($r < 0) { # incomplete
-               $self->rbuf_idle($rbuf);
-               return $self->requeue;
+       my $r;
+       while (($r = parse_http_request($$rbuf, \%env)) < 0) {
+               # We do not support Trailers in chunked requests, for
+               # now (they are rarely-used and git (as of 2.7.2) does
+               # not use them).
+               # this length-check is necessary for PURE_PERL=1:
+               if ($r == -1 || $env{HTTP_TRAILER} ||
+                               ($r == -2 && length($$rbuf) > 0x4000)) {
+                       return quit($self, 400);
+               }
+               $self->do_read($rbuf, 8192, length($$rbuf)) or return;
        }
+       return quit($self, 400) if grep(/\s/, keys %env); # stop smugglers
        $$rbuf = substr($$rbuf, $r);
-       my $len = input_prepare($self, \%env);
-       defined $len or return write_err($self, undef); # EMFILE/ENFILE
+       my $len = input_prepare($self, \%env) //
+               return write_err($self, undef); # EMFILE/ENFILE
 
        $len ? read_input($self, $rbuf) : app_dispatch($self, undef, $rbuf);
 }
@@ -171,7 +154,7 @@ sub app_dispatch {
                }
        };
        if ($@) {
-               err($self, "response_write error: $@");
+               warn "response_write error: $@";
                $self->close;
        }
 }
@@ -238,22 +221,11 @@ sub identity_write ($$) {
        $self->write(\($_[1])) if $_[1] ne '';
 }
 
-sub next_request ($) {
-       my ($self) = @_;
-       if ($self->{rbuf}) {
-               # avoid recursion for pipelined requests
-               PublicInbox::DS::requeue(\&process_pipelineq) if !@$pipelineq;
-               push @$pipelineq, $self;
-       } else { # wait for next request
-               $self->requeue;
-       }
-}
-
 sub response_done {
        my ($self, $alive) = @_;
        delete $self->{env}; # we're no longer busy
        $self->write(\"0\r\n\r\n") if $alive == 2;
-       $self->write($alive ? \&next_request : \&close);
+       $self->write($alive ? $self->can('requeue') : \&close);
 }
 
 sub getline_pull {
@@ -263,7 +235,7 @@ sub getline_pull {
        # limit our own running time for fairness with other
        # clients and to avoid buffering too much:
        my $buf = eval {
-               local $/ = \8192;
+               local $/ = \65536;
                $forward->getline;
        } if $forward;
 
@@ -285,14 +257,14 @@ sub getline_pull {
                        return; # likely
                }
        } elsif ($@) {
-               err($self, "response ->getline error: $@");
+               warn "response ->getline error: $@";
                $self->close;
        }
        # avoid recursion
        if (delete $self->{forward}) {
                eval { $forward->close };
                if ($@) {
-                       err($self, "response ->close error: $@");
+                       warn "response ->close error: $@";
                        $self->close; # idempotent
                }
        }
@@ -360,15 +332,11 @@ sub input_prepare {
 
 sub env_chunked { ($_[0]->{HTTP_TRANSFER_ENCODING} // '') =~ /\Achunked\z/i }
 
-sub err ($$) {
-       eval { $_[0]->{httpd}->{env}->{'psgi.errors'}->print($_[1]."\n") };
-}
-
 sub write_err {
        my ($self, $len) = @_;
        my $msg = $! || '(zero write)';
        $msg .= " ($len bytes remaining)" if defined $len;
-       err($self, "error buffering to input: $msg");
+       warn "error buffering to input: $msg";
        quit($self, 500);
 }
 
@@ -377,7 +345,7 @@ sub recv_err {
        if ($! == EAGAIN) { # epoll/kevent watch already set by do_read
                $self->{input_left} = $len;
        } else {
-               err($self, "error reading input: $! ($len bytes remaining)");
+               warn "error reading input: $! ($len bytes remaining)";
        }
 }
 
@@ -458,15 +426,14 @@ sub close {
        my $self = $_[0];
        if (my $forward = delete $self->{forward}) {
                eval { $forward->close };
-               err($self, "forward ->close error: $@") if $@;
+               warn "forward ->close error: $@" if $@;
        }
        $self->SUPER::close; # PublicInbox::DS::close
 }
 
-# for graceful shutdown in PublicInbox::Daemon:
-sub busy () {
+sub busy { # for graceful shutdown in PublicInbox::Daemon:
        my ($self) = @_;
-       ($self->{rbuf} || exists($self->{env}) || $self->{wbuf});
+       defined($self->{rbuf}) || exists($self->{env}) || defined($self->{wbuf})
 }
 
 # runs $cb on the next iteration of the event loop at earliest