]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/GitHTTPBackend.pm
git-http-backend: refactor to support cleanup
[public-inbox.git] / lib / PublicInbox / GitHTTPBackend.pm
index 35c338368cbd33cea71f1fb024eb999f5b041fb7..ded56b3330f742c95d965ab59ef18fd74b561215 100644 (file)
@@ -10,6 +10,7 @@ use Fcntl qw(:seek);
 use IO::File;
 use PublicInbox::Spawn qw(spawn);
 use HTTP::Date qw(time2str);
+use HTTP::Status qw(status_message);
 
 # n.b. serving "description" and "cloneurl" should be innocuous enough to
 # not cause problems.  serving "config" might...
@@ -30,24 +31,18 @@ my @no_cache = ('Expires', 'Fri, 01 Jan 1980 00:00:00 GMT',
                'Pragma', 'no-cache',
                'Cache-Control', 'no-cache, max-age=0, must-revalidate');
 
-my $nextq;
-sub do_next () {
-       my $q = $nextq;
-       $nextq = undef;
-       while (my $cb = shift @$q) {
-               $cb->(); # this may redefine nextq
-       }
-}
-
-sub r ($) {
-       my ($s) = @_;
-       [ $s, [qw(Content-Type text/plain Content-Length 0), @no_cache ], [] ]
+sub r ($;$) {
+       my ($code, $msg) = @_;
+       $msg ||= status_message($code);
+       my $len = length($msg);
+       [ $code, [qw(Content-Type text/plain Content-Length), $len, @no_cache],
+               [$msg] ]
 }
 
 sub serve {
        my ($cgi, $git, $path) = @_;
 
-       my $service = $cgi->param('service') || '';
+       my $service = $cgi->query_parameters->get('service') || '';
        if ($service =~ /\Agit-\w+-pack\z/ || $path =~ /\Agit-\w+-pack\z/) {
                my $ok = serve_smart($cgi, $git, $path);
                return $ok if $ok;
@@ -92,43 +87,9 @@ sub serve_dumb {
        # TODO: If-Modified-Since and Last-Modified?
        open my $in, '<', $f or return r(404);
        my $len = $size;
-       my $n = 65536; # try to negotiate a big TCP window, first
-       my ($next, $fh);
-       my $cb = sub {
-               $n = $len if $len < $n;
-               my $r = sysread($in, my $buf, $n);
-               if (!defined $r) {
-                       err($env, "$f read error: $!");
-                       drop_client($env);
-               } elsif ($r <= 0) {
-                       err($env, "$f EOF with $len bytes left");
-                       drop_client($env);
-               } else {
-                       $len -= $r;
-                       $fh->write($buf);
-                       if ($len == 0) {
-                               $fh->close;
-                       } elsif ($next) {
-                               # avoid recursion in Danga::Socket::write
-                               unless ($nextq) {
-                                       $nextq = [];
-                                       Danga::Socket->AddTimer(0, *do_next);
-                               }
-                               # avoid buffering too much in case we have
-                               # slow clients:
-                               $n = 8192;
-                               push @$nextq, $next;
-                               return;
-                       }
-               }
-               # all done, cleanup references:
-               $fh = $next = undef;
-       };
-
        my $code = 200;
        push @h, 'Content-Type', $type;
-       my $range = $env->{HTTP_RANGE};
-       if (defined $range && $range =~ /\bbytes=(\d*)-(\d*)\z/) {
+       if (($env->{HTTP_RANGE} || '') =~ /\bbytes=(\d*)-(\d*)\z/) {
                ($code, $len) = prepare_range($cgi, $in, \@h, $1, $2, $size);
                if ($code == 416) {
                        push @h, 'Content-Range', "bytes */$size";
@@ -136,18 +97,24 @@ sub serve_dumb {
                }
        }
        push @h, 'Content-Length', $len;
-
-       sub {
-               my ($res) = @_; # Plack callback
-               $fh = $res->([ $code, \@h ]);
-               if (defined $env->{'pi-httpd.async'}) {
-                       my $pi_http = $env->{'psgix.io'};
-                       $next = sub { $pi_http->write($cb) };
-                       $cb->(); # start it off!
-               } else {
-                       $cb->() while $fh;
-               }
-       }
+       my $n = 65536;
+       [ $code, \@h, Plack::Util::inline_object(close => sub { close $in },
+               getline => sub {
+                       return if $len == 0;
+                       $n = $len if $len < $n;
+                       my $r = sysread($in, my $buf, $n);
+                       if (!defined $r) {
+                               err($env, "$f read error: $!");
+                       } elsif ($r <= 0) {
+                               err($env, "$f EOF with $len bytes left");
+                       } else {
+                               $len -= $r;
+                               $n = 8192;
+                               return $buf;
+                       }
+                       drop_client($env);
+                       return;
+               })]
 }
 
 sub prepare_range {
@@ -195,14 +162,9 @@ sub prepare_range {
 sub serve_smart {
        my ($cgi, $git, $path) = @_;
        my $env = $cgi->{env};
-
-       my $input = $env->{'psgi.input'};
-       my $buf;
-       my $in;
-       my $fd = eval { fileno($input) };
-       if (defined $fd && $fd >= 0) {
-               $in = $input;
-       } else {
+       my $in = $env->{'psgi.input'};
+       my $fd = eval { fileno($in) };
+       unless (defined $fd && $fd >= 0) {
                $in = input_to_file($env) or return r(500);
        }
        my ($rpipe, $wpipe);
@@ -232,92 +194,66 @@ sub serve_smart {
                return;
        }
        $wpipe = $in = undef;
-       $buf = '';
-       my ($vin, $fh, $res);
+       my $fh;
+       my $end = sub {
+               $rpipe = undef;
+               my $e = $pid == waitpid($pid, 0) ?
+                       $? : "PID:$pid still running?";
+               if ($e) {
+                       err($env, "git http-backend ($git_dir): $e");
+                       drop_client($env);
+               }
+               $fh->close if $fh; # async-only
+       };
 
        # Danga::Socket users, we queue up the read_enable callback to
        # fire after pending writes are complete:
-       my $pi_http = $env->{'psgix.io'};
-       my $read_enable = sub { $rpipe->watch_read(1) };
-       my $read_disable = sub {
-               $rpipe->watch_read(0);
-               $pi_http->write($read_enable);
+       my $buf = '';
+       my $rd_hdr = sub {
+               my $r = sysread($rpipe, $buf, 1024, length($buf));
+               return if !defined($r) && ($!{EINTR} || $!{EAGAIN});
+               return r(500, 'http-backend error') unless $r;
+               $r = parse_cgi_headers(\$buf) or return;
+               $r->[0] == 403 ? serve_dumb($cgi, $git, $path) : $r;
        };
-
-       my $end = sub {
-               if ($fh) {
-                       $fh->close;
-                       $fh = undef;
-               }
-               if ($rpipe) {
-                       # _may_ be Danga::Socket::close via
-                       # PublicInbox::HTTPD::Async::close:
-                       $rpipe->close;
-                       $rpipe = undef;
+       my $res;
+       my $async = $env->{'pi-httpd.async'};
+       my $io = $env->{'psgix.io'};
+       my $cb = sub {
+               my $r = $rd_hdr->() or return;
+               $rd_hdr = undef;
+               if (scalar(@$r) == 3) { # error:
+                       $async->close if $async;
+                       return $res->($r);
                }
-               if (defined $pid) {
-                       my $e = $pid == waitpid($pid, 0) ?
-                               $? : "PID:$pid still running?";
-                       err($env, "git http-backend ($git_dir): $e") if $e;
+               if ($async) {
+                       $fh = $res->($r);
+                       return $async->async_pass($io, $fh, \$buf);
                }
-               return unless $res;
-               my $dumb = serve_dumb($cgi, $git, $path);
-               ref($dumb) eq 'ARRAY' ? $res->($dumb) : $dumb->($res);
+
+               # for synchronous PSGI servers
+               $r->[2] = Plack::Util::inline_object(
+                       close => $end,
+                       getline => sub {
+                               my $ret = $buf;
+                               $buf = undef;
+                               defined $ret ? $ret : $rpipe->getline;
+                       });
+               $res->($r);
        };
-       my $fail = sub {
-               if ($!{EAGAIN} || $!{EINTR}) {
-                       select($vin, undef, undef, undef) if defined $vin;
-                       # $vin is undef on async, so this is a noop on EAGAIN
-                       return;
+       sub {
+               ($res) = @_;
+
+               # hopefully this doesn't break any middlewares,
+               # holding the input here is a waste of FDs and memory
+               $env->{'psgi.input'} = undef;
+
+               if ($async) {
+                       $async = $async->($rpipe, $cb, $end);
+               } else { # generic PSGI
+                       $cb->() while $rd_hdr;
                }
-               my $e = $!;
-               $end->();
-               err($env, "git http-backend ($git_dir): $e\n");
        };
-       my $cb = sub { # read git-http-backend output and stream to client
-               my $r = $rpipe ? $rpipe->sysread($buf, 8192, length($buf)) : 0;
-               return $fail->() unless defined $r;
-               return $end->() if $r == 0; # EOF
-               if ($fh) { # stream body from git-http-backend to HTTP client
-                       $fh->write($buf);
-                       $buf = '';
-                       $read_disable->() if $read_disable;
-               } elsif ($buf =~ s/\A(.*?)\r\n\r\n//s) { # parse headers
-                       my $h = $1;
-                       my $code = 200;
-                       my @h;
-                       foreach my $l (split(/\r\n/, $h)) {
-                               my ($k, $v) = split(/:\s*/, $l, 2);
-                               if ($k =~ /\AStatus\z/i) {
-                                       ($code) = ($v =~ /\b(\d+)\b/);
-                               } else {
-                                       push @h, $k, $v;
-                               }
-                       }
-                       if ($code == 403) {
-                               # smart cloning disabled, serve dumbly
-                               # in $end since we never undef $res in here
-                       } else { # write response header:
-                               $fh = $res->([ $code, \@h ]);
-                               $res = undef;
-                               $fh->write($buf);
-                       }
-                       $buf = '';
-               } # else { keep reading ... }
-       };
-       if (my $async = $env->{'pi-httpd.async'}) {
-               # $async is PublicInbox::HTTPD::Async->new($rpipe, $cb)
-               $rpipe = $async->($rpipe, $cb);
-               sub { ($res) = @_ } # let Danga::Socket handle the rest.
-       } else { # synchronous loop for other PSGI servers
-               $read_enable = $read_disable = undef;
-               $vin = '';
-               vec($vin, fileno($rpipe), 1) = 1;
-               sub {
-                       ($res) = @_;
-                       while ($rpipe) { $cb->() }
-               }
-       }
 }
 
 sub input_to_file {
@@ -339,4 +275,21 @@ sub input_to_file {
        return $in;
 }
 
+sub parse_cgi_headers {
+       my ($bref) = @_;
+       $$bref =~ s/\A(.*?)\r\n\r\n//s or return;
+       my $h = $1;
+       my $code = 200;
+       my @h;
+       foreach my $l (split(/\r\n/, $h)) {
+               my ($k, $v) = split(/:\s*/, $l, 2);
+               if ($k =~ /\AStatus\z/i) {
+                       ($code) = ($v =~ /\b(\d+)\b/);
+               } else {
+                       push @h, $k, $v;
+               }
+       }
+       [ $code, \@h ]
+}
+
 1;