]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/GitHTTPBackend.pm
git-http-backend: use qspawn to limit running processes
[public-inbox.git] / lib / PublicInbox / GitHTTPBackend.pm
index cca8a6d6018c083f34077fe5834ad94f2ea89094..9464cb499a3f0c4744b8b33eec1559e415da4887 100644 (file)
@@ -8,9 +8,9 @@ use strict;
 use warnings;
 use Fcntl qw(:seek);
 use IO::File;
-use PublicInbox::Spawn qw(spawn);
 use HTTP::Date qw(time2str);
 use HTTP::Status qw(status_message);
+use PublicInbox::Qspawn;
 
 # n.b. serving "description" and "cloneurl" should be innocuous enough to
 # not cause problems.  serving "config" might...
@@ -31,15 +31,6 @@ my @no_cache = ('Expires', 'Fri, 01 Jan 1980 00:00:00 GMT',
                'Pragma', 'no-cache',
                'Cache-Control', 'no-cache, max-age=0, must-revalidate');
 
-my $nextq;
-sub do_next () {
-       my $q = $nextq;
-       $nextq = undef;
-       while (my $cb = shift @$q) {
-               $cb->(); # this may redefine nextq
-       }
-}
-
 sub r ($;$) {
        my ($code, $msg) = @_;
        $msg ||= status_message($code);
@@ -51,7 +42,7 @@ sub r ($;$) {
 sub serve {
        my ($cgi, $git, $path) = @_;
 
-       my $service = $cgi->param('service') || '';
+       my $service = $cgi->query_parameters->get('service') || '';
        if ($service =~ /\Agit-\w+-pack\z/ || $path =~ /\Agit-\w+-pack\z/) {
                my $ok = serve_smart($cgi, $git, $path);
                return $ok if $ok;
@@ -176,11 +167,6 @@ sub serve_smart {
        unless (defined $fd && $fd >= 0) {
                $in = input_to_file($env) or return r(500);
        }
-       my ($rpipe, $wpipe);
-       unless (pipe($rpipe, $wpipe)) {
-               err($env, "error creating pipe: $! - going static");
-               return;
-       }
        my %env = %ENV;
        # GIT_COMMITTER_NAME, GIT_COMMITTER_EMAIL
        # may be set in the server-process and are passed as-is
@@ -196,75 +182,70 @@ sub serve_smart {
        my $git_dir = $git->{git_dir};
        $env{GIT_HTTP_EXPORT_ALL} = '1';
        $env{PATH_TRANSLATED} = "$git_dir/$path";
-       my %rdr = ( 0 => fileno($in), 1 => fileno($wpipe) );
-       my $pid = spawn([qw(git http-backend)], \%env, \%rdr);
-       unless (defined $pid) {
-               err($env, "error spawning: $! - going static");
-               return;
-       }
-       $wpipe = $in = undef;
+       my %rdr = ( 0 => fileno($in) );
+       my $x = PublicInbox::Qspawn->new([qw(git http-backend)], \%env, \%rdr);
+       my ($fh, $rpipe);
        my $end = sub {
                $rpipe = undef;
-               my $e = $pid == waitpid($pid, 0) ?
-                       $? : "PID:$pid still running?";
-               if ($e) {
-                       err($env, "git http-backend ($git_dir): $e");
+               if (my $err = $x->finish) {
+                       err($env, "git http-backend ($git_dir): $err");
                        drop_client($env);
                }
+               $fh->close if $fh; # async-only
        };
 
        # Danga::Socket users, we queue up the read_enable callback to
        # fire after pending writes are complete:
        my $buf = '';
-       if (my $async = $env->{'pi-httpd.async'}) {
-               my $res;
-               my $q = sub {
-                       $async->close;
-                       $end->();
-                       $res->(@_);
-               };
-               # $async is PublicInbox::HTTPD::Async->new($rpipe, $cb)
-               $async = $async->($rpipe, sub {
-                       my $r = sysread($rpipe, $buf, 1024, length($buf));
-                       if (!defined $r || $r == 0) {
-                               return $q->(r(500, 'http-backend error'));
-                       }
-                       $r = parse_cgi_headers(\$buf) or return;
-                       if ($r->[0] == 403) {
-                               return $q->(serve_dumb($cgi, $git, $path));
-                       }
-                       my $fh = $res->($r);
-                       $fh->write($buf);
-                       $buf = undef;
-                       my $dst = Plack::Util::inline_object(
-                               write => sub { $fh->write(@_) },
-                               close => sub {
-                                       $end->();
-                                       $fh->close;
-                               });
-                       $async->async_pass($env->{'psgix.io'}, $dst);
-               });
-               sub { ($res) = @_ }; # let Danga::Socket handle the rest.
-       } else { # getline + close for other PSGI servers
-               my $r;
-               do {
-                       $r = read($rpipe, $buf, 1024, length($buf));
-                       if (!defined $r || $r == 0) {
-                               return r(500, 'http-backend error');
-                       }
-                       $r = parse_cgi_headers(\$buf);
-               } until ($r);
-               return serve_dumb($cgi, $git, $path) if $r->[0] == 403;
+       my $rd_hdr = sub {
+               my $r = sysread($rpipe, $buf, 1024, length($buf));
+               return if !defined($r) && ($!{EINTR} || $!{EAGAIN});
+               return r(500, 'http-backend error') unless $r;
+               $r = parse_cgi_headers(\$buf) or return;
+               $r->[0] == 403 ? serve_dumb($cgi, $git, $path) : $r;
+       };
+       my $res;
+       my $async = $env->{'pi-httpd.async'};
+       my $io = $env->{'psgix.io'};
+       my $cb = sub {
+               my $r = $rd_hdr->() or return;
+               $rd_hdr = undef;
+               if (scalar(@$r) == 3) { # error:
+                       $async->close if $async;
+                       return $res->($r);
+               }
+               if ($async) {
+                       $fh = $res->($r);
+                       return $async->async_pass($io, $fh, \$buf);
+               }
+
+               # for synchronous PSGI servers
                $r->[2] = Plack::Util::inline_object(
-                       close => sub { $end->() },
+                       close => $end,
                        getline => sub {
                                my $ret = $buf;
                                $buf = undef;
                                defined $ret ? $ret : $rpipe->getline;
                        });
-               $r;
+               $res->($r);
+       };
+       sub {
+               ($res) = @_;
 
-       }
+               # hopefully this doesn't break any middlewares,
+               # holding the input here is a waste of FDs and memory
+               $env->{'psgi.input'} = undef;
+
+               $x->start(sub { # may run later, much later...
+                       ($rpipe) = @_;
+                       $in = undef;
+                       if ($async) {
+                               $async = $async->($rpipe, $cb, $end);
+                       } else { # generic PSGI
+                               $cb->() while $rd_hdr;
+                       }
+               });
+       };
 }
 
 sub input_to_file {