]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Daemon.pm
Merge remote-tracking branch 'origin/email-simple-mem' into master
[public-inbox.git] / lib / PublicInbox / Daemon.pm
index 24c13ad24d159fcd300f7a64ef9090d99dc53205..2b7ac266dfabbccfa83c106c0a114d2f1a446faf 100644 (file)
@@ -8,6 +8,8 @@ use warnings;
 use Getopt::Long qw/:config gnu_getopt no_ignore_case auto_abbrev/;
 use IO::Handle;
 use IO::Socket;
+use Socket qw(IPPROTO_TCP SOL_SOCKET);
+sub SO_ACCEPTFILTER () { 0x1000 }
 use Cwd qw/abs_path/;
 STDOUT->autoflush(1);
 STDERR->autoflush(1);
@@ -29,9 +31,11 @@ my $cleanup;
 my ($uid, $gid);
 my ($default_cert, $default_key);
 END { $cleanup->() if $cleanup };
+my %KNOWN_TLS = ( 443 => 'https', 563 => 'nntps' );
+my %KNOWN_STARTTLS = ( 119 => 'nntp' );
 
-sub tls_listen ($$$) {
-       my ($scheme, $sockname, $opt_str) = @_;
+sub accept_tls_opt ($) {
+       my ($opt_str) = @_;
        # opt_str: opt1=val1,opt2=val2 (opt may repeat for multi-value)
        require PublicInbox::TLS;
        my $o = {};
@@ -57,11 +61,17 @@ sub tls_listen ($$$) {
        }
        my $ctx = IO::Socket::SSL::SSL_Context->new(%ctx_opt) or
                die 'SSL_Context->new: '.PublicInbox::TLS::err();
-       $tls_opt{"$scheme://$sockname"} = {
-               SSL_server => 1,
-               SSL_startHandshake => 0,
-               SSL_reuse_ctx => $ctx
-       };
+
+       # save ~34K per idle connection (cf. SSL_CTX_set_mode(3ssl))
+       # RSS goes from 346MB to 171MB with 10K idle NNTPS clients on amd64
+       # cf. https://rt.cpan.org/Ticket/Display.html?id=129463
+       my $mode = eval { Net::SSLeay::MODE_RELEASE_BUFFERS() };
+       if ($mode && $ctx->{context}) {
+               eval { Net::SSLeay::CTX_set_mode($ctx->{context}, $mode) };
+               warn "W: $@ (setting SSL_MODE_RELEASE_BUFFERS)\n" if $@;
+       }
+
+       { SSL_server => 1, SSL_startHandshake => 0, SSL_reuse_ctx => $ctx };
 }
 
 sub daemon_prepare ($) {
@@ -87,6 +97,11 @@ sub daemon_prepare ($) {
                die "--pid-file cannot end with '.oldbin'\n";
        }
        @listeners = inherit();
+
+       # allow socket-activation users to set certs once and not
+       # have to configure each socket:
+       my @inherited_names = keys(%listener_names) if defined($default_cert);
+
        # ignore daemonize when inheriting
        $daemonize = undef if scalar @listeners;
 
@@ -95,11 +110,16 @@ sub daemon_prepare ($) {
        foreach my $l (@cfg_listen) {
                my $orig = $l;
                my $scheme = '';
-               $l =~ s!\A([^:]+)://!! and $scheme = $1;
+               if ($l =~ s!\A([^:]+)://!!) {
+                       $scheme = $1;
+               } elsif ($l =~ /\A(?:\[[^\]]+\]|[^:]+):([0-9])+/) {
+                       my $s = $KNOWN_TLS{$1} // $KNOWN_STARTTLS{$1};
+                       $scheme = $s if defined $s;
+               }
                if ($l =~ s!/?\?(.+)\z!!) {
-                       tls_listen($scheme, $l, $1);
+                       $tls_opt{"$scheme://$l"} = accept_tls_opt($1);
                } elsif (defined($default_cert)) {
-                       tls_listen($scheme, $l, '');
+                       $tls_opt{"$scheme://$l"} = accept_tls_opt('');
                } elsif ($scheme =~ /\A(?:nntps|https)\z/) {
                        die "$orig specified w/o cert=\n";
                }
@@ -141,6 +161,20 @@ sub daemon_prepare ($) {
                        push @listeners, $s;
                }
        }
+
+       # cert/key options in @cfg_listen takes precedence when inheriting,
+       # but map well-known inherited ports if --listen isn't specified
+       # at all
+       for my $sockname (@inherited_names) {
+               $sockname =~ /:([0-9]+)\z/ or next;
+               if (my $scheme = $KNOWN_TLS{$1}) {
+                       $tls_opt{"$scheme://$sockname"} ||= accept_tls_opt('');
+               } elsif (($scheme = $KNOWN_STARTTLS{$1})) {
+                       next if $tls_opt{"$scheme://$sockname"};
+                       $tls_opt{''} ||= accept_tls_opt('');
+               }
+       }
+
        die "No listeners bound\n" unless @listeners;
 }
 
@@ -218,13 +252,11 @@ sub daemonize () {
 
 
 sub worker_quit {
-       my ($reason) = @_;
        # killing again terminates immediately:
        exit unless @listeners;
 
        $_->close foreach @listeners; # call PublicInbox::DS::close
        @listeners = ();
-       $reason->close if ref($reason) eq 'PublicInbox::ParentPipe';
 
        my $proc_name;
        my $warn = 0;
@@ -520,8 +552,25 @@ sub tls_start_cb ($$) {
        }
 }
 
-sub daemon_loop ($$$) {
-       my ($refresh, $post_accept, $nntpd) = @_;
+sub defer_accept ($$) {
+       my ($s, $af_name) = @_;
+       return unless defined $af_name;
+       if ($^O eq 'linux') {
+               my $x = getsockopt($s, IPPROTO_TCP, Socket::TCP_DEFER_ACCEPT());
+               return unless defined $x; # may be Unix socket
+               my $sec = unpack('i', $x);
+               return if $sec > 0; # systemd users may set a higher value
+               setsockopt($s, IPPROTO_TCP, Socket::TCP_DEFER_ACCEPT(), 1);
+       } elsif ($^O eq 'freebsd') {
+               my $x = getsockopt($s, SOL_SOCKET, SO_ACCEPTFILTER);
+               return if defined $x; # don't change if set
+               my $accf_arg = pack('a16a240', $af_name, '');
+               setsockopt($s, SOL_SOCKET, SO_ACCEPTFILTER, $accf_arg);
+       }
+}
+
+sub daemon_loop ($$$$) {
+       my ($refresh, $post_accept, $nntpd, $af_default) = @_;
        PublicInbox::EvCleanup::enable(); # early for $refresh
        my %post_accept;
        while (my ($k, $v) = each %tls_opt) {
@@ -539,7 +588,7 @@ sub daemon_loop ($$$) {
        } else {
                reopen_logs();
                $set_user->() if $set_user;
-               $SIG{USR2} = sub { worker_quit('USR2') if upgrade() };
+               $SIG{USR2} = sub { worker_quit() if upgrade() };
                $refresh->();
        }
        $uid = $gid = undef;
@@ -549,10 +598,15 @@ sub daemon_loop ($$$) {
        $SIG{HUP} = $refresh;
        $SIG{CHLD} = 'DEFAULT';
        $SIG{$_} = 'IGNORE' for qw(USR2 TTIN TTOU WINCH);
-       # this calls epoll_create:
-       @listeners = map {
-               PublicInbox::Listener->new($_,
-                               $post_accept{sockname($_)} || $post_accept)
+       @listeners = map {;
+               my $tls_cb = $post_accept{sockname($_)};
+
+               # NNTPS, HTTPS, HTTP, and POP3S are client-first traffic
+               # NNTP and POP3 are server-first
+               defer_accept($_, $tls_cb ? 'dataready' : $af_default);
+
+               # this calls epoll_create:
+               PublicInbox::Listener->new($_, $tls_cb || $post_accept)
        } @listeners;
        PublicInbox::DS->EventLoop;
        $parent_pipe = undef;
@@ -562,8 +616,9 @@ sub daemon_loop ($$$) {
 sub run ($$$;$) {
        my ($default, $refresh, $post_accept, $nntpd) = @_;
        daemon_prepare($default);
+       my $af_default = $default =~ /:8080\z/ ? 'httpready' : undef;
        daemonize();
-       daemon_loop($refresh, $post_accept, $nntpd);
+       daemon_loop($refresh, $post_accept, $nntpd, $af_default);
 }
 
 sub do_chown ($) {