]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Daemon.pm
daemon: handle per-listener options on inherited, well-known ports
[public-inbox.git] / lib / PublicInbox / Daemon.pm
index 87a359e768d24b11698b0c239217d4324242dc38..862347715e277f7a5cdafe01fe2ecf25d8d0b9b9 100644 (file)
@@ -29,12 +29,15 @@ my (@cfg_listen, $stdout, $stderr, $group, $user, $pid_file, $daemonize);
 my $worker_processes = 1;
 my @listeners;
 my (%pids, %logs);
-my %tls_opt; # scheme://sockname => args for IO::Socket::SSL->start_SSL
+my %tls_opt; # scheme://sockname => args for IO::Socket::SSL::SSL_Context->new
 my $reexec_pid;
 my ($uid, $gid);
 my ($default_cert, $default_key);
 my %KNOWN_TLS = (443 => 'https', 563 => 'nntps', 993 => 'imaps', 995 =>'pop3s');
 my %KNOWN_STARTTLS = (110 => 'pop3', 119 => 'nntp', 143 => 'imap');
+my %SCHEME2PORT = map { $KNOWN_TLS{$_} => $_ + 0 } keys %KNOWN_TLS;
+for (keys %KNOWN_STARTTLS) { $SCHEME2PORT{$KNOWN_STARTTLS{$_}} = $_ + 0 }
+$SCHEME2PORT{http} = 80;
 
 sub listener_opt ($) {
        my ($str) = @_; # opt1=val1,opt2=val2 (opt may repeat for multi-value)
@@ -52,43 +55,31 @@ sub listener_opt ($) {
        $o;
 }
 
+sub check_absolute ($$) {
+       my ($var, $val) = @_;
+       die <<EOM if index($val // '/', '/') != 0;
+$var must be an absolute path when using --daemonize: $val
+EOM
+}
+
 sub accept_tls_opt ($) {
        my ($opt) = @_;
        my $o = ref($opt) eq 'HASH' ? $opt : listener_opt($opt);
        return if !defined($o->{cert});
        require PublicInbox::TLS;
-       my %ctx_opt = (SSL_server => 1);
+       my @ctx_opt;
        # parse out hostname:/path/to/ mappings:
        for my $k (qw(cert key)) {
                $o->{$k} // next;
-               my $x = $ctx_opt{'SSL_'.$k.'_file'} = {};
+               push(@ctx_opt, "SSL_${k}_file", {});
                foreach my $path (@{$o->{$k}}) {
                        my $host = '';
                        $path =~ s/\A([^:]+):// and $host = $1;
-                       $x->{$host} = $path;
+                       $ctx_opt[-1]->{$host} = $path;
                        check_absolute($k, $path) if $daemonize;
                }
        }
-       my $ctx = IO::Socket::SSL::SSL_Context->new(%ctx_opt) or
-               die 'SSL_Context->new: '.PublicInbox::TLS::err();
-
-       # save ~34K per idle connection (cf. SSL_CTX_set_mode(3ssl))
-       # RSS goes from 346MB to 171MB with 10K idle NNTPS clients on amd64
-       # cf. https://rt.cpan.org/Ticket/Display.html?id=129463
-       my $mode = eval { Net::SSLeay::MODE_RELEASE_BUFFERS() };
-       if ($mode && $ctx->{context}) {
-               eval { Net::SSLeay::CTX_set_mode($ctx->{context}, $mode) };
-               warn "W: $@ (setting SSL_MODE_RELEASE_BUFFERS)\n" if $@;
-       }
-
-       { SSL_server => 1, SSL_startHandshake => 0, SSL_reuse_ctx => $ctx };
-}
-
-sub check_absolute ($$) {
-       my ($var, $val) = @_;
-       die <<EOM if index($val // '/', '/') != 0;
-$var must be an absolute path when using --daemonize: $val
-EOM
+       \@ctx_opt;
 }
 
 sub do_chown ($) {
@@ -101,11 +92,13 @@ sub open_log_path ($$) { # my ($fh, $path) = @_; # $_[0] is modified
        open $_[0], '>>', $_[1] or die "open(>> $_[1]): $!";
        $_[0]->autoflush(1);
        do_chown($_[1]);
+       $_[0];
 }
 
-sub load_mod ($;$) {
-       my ($scheme, $opt) = @_;
+sub load_mod ($;$$) {
+       my ($scheme, $opt, $addr) = @_;
        my $modc = "PublicInbox::\U$scheme";
+       $modc =~ s/S\z//;
        my $mod = $modc.'D';
        eval "require $mod"; # IMAPD|HTTPD|NNTPD|POP3D
        die $@ if $@;
@@ -129,6 +122,7 @@ sub load_mod ($;$) {
                        die "multiple psgi= options specified\n" if @$p > 1;
                        check_absolute('psgi=', $p->[0]) if $daemonize;
                        $tlsd->{psgi} = $p->[0];
+                       warn "# $scheme://$addr psgi=$p->[0]\n";
                }
        }
        for my $f (@paths) {
@@ -136,8 +130,8 @@ sub load_mod ($;$) {
                die "multiple $f= options specified\n" if @$p > 1;
                check_absolute("$f=", $p->[0]) if $daemonize;
                $p = File::Spec->canonpath($p->[0]);
-               open_log_path(my $fh, $p);
-               $tlsd->{$f} = $logs{$p} = $fh;
+               $tlsd->{$f} = $logs{$p} //= open_log_path(my $fh, $p);
+               warn "# $scheme://$addr $f=$p\n";
        }
        \%xn;
 }
@@ -198,11 +192,17 @@ EOF
        foreach my $l (@cfg_listen) {
                my $orig = $l;
                my $scheme = '';
-               if ($l =~ s!\A([^:]+)://!!) {
-                       $scheme = $1;
-               } elsif ($l =~ /\A(?:\[[^\]]+\]|[^:]+):([0-9])+/) {
-                       my $s = $KNOWN_TLS{$1} // $KNOWN_STARTTLS{$1};
-                       $scheme = $s if defined $s;
+               my $port;
+               if ($l =~ s!\A([^:]+)://!!) { $scheme = $1 }
+               if ($l =~ /\A(?:\[[^\]]+\]|[^:]+):([0-9]+)/) {
+                       $port = $1 + 0;
+                       my $s = $KNOWN_TLS{$port} // $KNOWN_STARTTLS{$port};
+                       $scheme //= $s if defined $s;
+               } elsif (index($l, '/') != 0) { # unix socket
+                       $port //= $SCHEME2PORT{$scheme} if $scheme;
+                       $port // die "no port in listen=$l\n";
+                       $l =~ s!\A([^/]+)!$1:$port! or
+                               die "unable to add port=$port to $l\n";
                }
                my $opt; # non-TLS options
                if ($l =~ s!/?\?(.+)\z!!) {
@@ -213,8 +213,8 @@ EOF
                } elsif ($scheme =~ /\A(?:https|imaps|nntps|pop3s)\z/) {
                        die "$orig specified w/o cert=\n";
                }
-               $scheme =~ /\A(http|imap|nntp|pop3)/ and
-                       $xnetd->{$l} = load_mod($1, $opt);
+               $scheme =~ /\A(?:http|imap|nntp|pop3)/ and
+                       $xnetd->{$l} = load_mod($scheme, $opt, $l);
 
                next if $listener_names->{$l}; # already inherited
                my (%o, $sock_pkg);
@@ -247,8 +247,10 @@ EOF
                warn "error binding $l: $! ($@)\n" unless $s;
                umask $prev;
                if ($s) {
-                       $listener_names->{sockname($s)} = $s;
                        $s->blocking(0);
+                       my $k = sockname($s);
+                       warn "# bound $scheme://$k\n";
+                       $listener_names->{$k} = $s;
                        push @listeners, $s;
                }
        }
@@ -259,10 +261,10 @@ EOF
        for my $sockname (@inherited_names) {
                $sockname =~ /:([0-9]+)\z/ or next;
                if (my $scheme = $KNOWN_TLS{$1}) {
-                       $xnetd->{$sockname} = load_mod(substr($scheme, 0, -1));
+                       $xnetd->{$sockname} //= load_mod($scheme);
                        $tls_opt{"$scheme://$sockname"} ||= accept_tls_opt('');
                } elsif (($scheme = $KNOWN_STARTTLS{$1})) {
-                       $xnetd->{$sockname} = load_mod($scheme);
+                       $xnetd->{$sockname} //= load_mod($scheme);
                        $tls_opt{"$scheme://$sockname"} ||= accept_tls_opt('');
                        $tls_opt{''} ||= accept_tls_opt('');
                }
@@ -434,11 +436,12 @@ sub inherit ($) {
                if (my $k = sockname($s)) {
                        my $prev_was_blocking = $s->blocking(0);
                        warn <<"" if $prev_was_blocking;
-Inherited socket (fd=$fd) is blocking, making it non-blocking.
+Inherited socket ($k fd=$fd) is blocking, making it non-blocking.
 Set 'NonBlocking = true' in the systemd.service unit to avoid stalled
 processes when multiple service instances start.
 
                        $listener_names->{$k} = $s;
+                       warn "# inherited $k fd=$fd\n";
                        push @rv, $s;
                } else {
                        warn "failed to inherit fd=$fd (LISTEN_FDS=$fds)";
@@ -622,12 +625,11 @@ EOF
        exit # never gets here, just for documentation
 }
 
-sub tls_start_cb ($$) {
-       my ($opt, $orig_post_accept) = @_;
+sub tls_cb {
+       my ($post_accept, $tlsd) = @_;
        sub {
                my ($io, $addr, $srv) = @_;
-               my $ssl = IO::Socket::SSL->start_SSL($io, %$opt);
-               $orig_post_accept->($ssl, $addr, $srv);
+               $post_accept->(PublicInbox::TLS::start($io, $tlsd), $addr, $srv)
        }
 }
 
@@ -654,21 +656,20 @@ sub daemon_loop ($) {
        my $refresh = sub {
                my ($sig) = @_;
                for my $xn (values %$xnetd) {
+                       delete $xn->{tlsd}->{ssl_ctx}; # PublicInbox::TLS::start
                        eval { $xn->{refresh}->($sig) };
                        warn "refresh $@\n" if $@;
                }
        };
        my %post_accept;
-       while (my ($k, $v) = each %tls_opt) {
+       while (my ($k, $ctx_opt) = each %tls_opt) {
                my $l = $k;
                $l =~ s!\A([^:]+)://!!;
                my $scheme = $1 // '';
                my $xn = $xnetd->{$l} // $xnetd->{''};
-               if ($scheme =~ m!\A(?:https|imaps|nntps|pop3s)!) {
-                       $post_accept{$l} = tls_start_cb($v, $xn->{post_accept});
-               } elsif ($xn->{tlsd}) { # STARTTLS, $k eq '' is OK
-                       $xn->{tlsd}->{accept_tls} = $v;
-               }
+               $xn->{tlsd}->{ssl_ctx_opt} //= $ctx_opt;
+               $scheme =~ m!\A(?:https|imaps|nntps|pop3s)! and
+                       $post_accept{$l} = tls_cb(@$xn{qw(post_accept tlsd)});
        }
        my $sig = {
                HUP => $refresh,