]> Sergey Matveev's repositories - public-inbox.git/blob - t/perf-nntpd.t
msgmap: speed up minmax with separate queries
[public-inbox.git] / t / perf-nntpd.t
1 # Copyright (C) 2018 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3 use strict;
4 use warnings;
5 use Test::More;
6 use Benchmark qw(:all :hireswallclock);
7 use PublicInbox::Inbox;
8 use File::Temp qw/tempdir/;
9 use POSIX qw(dup2);
10 use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD);
11 use Net::NNTP;
12 my $pi_dir = $ENV{GIANT_PI_DIR};
13 plan skip_all => "GIANT_PI_DIR not defined for $0" unless $pi_dir;
14 eval { require PublicInbox::Search };
15 my ($host_port, $group, %opts, $s, $pid);
16 END {
17         if ($s) {
18                 $s->print("QUIT\r\n");
19                 $s->getline;
20                 $s = undef;
21         }
22         kill 'TERM', $pid if defined $pid;
23 };
24
25 if (($ENV{NNTP_TEST_URL} || '') =~ m!\Anntp://([^/]+)/([^/]+)\z!) {
26         ($host_port, $group) = ($1, $2);
27         $host_port .= ":119" unless index($host_port, ':') > 0;
28 } else {
29         $group = 'inbox.test.perf.nntpd';
30         my $ibx = { mainrepo => $pi_dir, newsgroup => $group };
31         $ibx = PublicInbox::Inbox->new($ibx);
32         my $nntpd = 'blib/script/public-inbox-nntpd';
33         my $tmpdir = tempdir('perf-nntpd-XXXXXX', TMPDIR => 1, CLEANUP => 1);
34
35         my $pi_config = "$tmpdir/config";
36         {
37                 open my $fh, '>', $pi_config or die "open($pi_config): $!";
38                 print $fh <<"" or die "print $pi_config: $!";
39 [publicinbox "test"]
40         newsgroup = $group
41         mainrepo = $pi_dir
42         address = test\@example.com
43
44                 close $fh or die "close($pi_config): $!";
45         }
46
47         %opts = (
48                 LocalAddr => '127.0.0.1',
49                 ReuseAddr => 1,
50                 Proto => 'tcp',
51                 Listen => 1024,
52         );
53         my $sock = IO::Socket::INET->new(%opts);
54
55         ok($sock, 'sock created');
56         $! = 0;
57         $pid = fork;
58         if ($pid == 0) {
59                 # pretend to be systemd
60                 my $fl = fcntl($sock, F_GETFD, 0);
61                 dup2(fileno($sock), 3) or die "dup2 failed: $!\n";
62                 dup2(1, 2) or die "dup2 failed: $!\n";
63                 fcntl($sock, F_SETFD, $fl &= ~FD_CLOEXEC);
64                 $ENV{LISTEN_PID} = $$;
65                 $ENV{LISTEN_FDS} = 1;
66                 $ENV{PI_CONFIG} = $pi_config;
67                 exec $nntpd, '-W0';
68                 die "FAIL: $!\n";
69         }
70         ok(defined $pid, 'forked nntpd process successfully');
71         $host_port = $sock->sockhost . ':' . $sock->sockport;
72 }
73 %opts = (
74         PeerAddr => $host_port,
75         Proto => 'tcp',
76         Timeout => 1,
77 );
78 $s = IO::Socket::INET->new(%opts);
79 $s->autoflush(1);
80 my $buf = $s->getline;
81 is($buf, "201 server ready - post via email\r\n", 'got greeting');
82
83 my $t = timeit(10, sub {
84         ok($s->print("GROUP $group\r\n"), 'changed group');
85         $buf = $s->getline;
86 });
87 diag 'GROUP took: ' . timestr($t);
88
89 my ($tot, $min, $max) = ($buf =~ /\A211 (\d+) (\d+) (\d+) /);
90 ok($tot && $min && $max, 'got GROUP response');
91 my $nr = $max - $min;
92 my $nmax = 50000;
93 my $nmin = $max - $nmax;
94 $nmin = $min if $nmin < $min;
95 my $res;
96 my $spec = "$nmin-$max";
97 my $n;
98
99 sub read_until_dot ($) {
100         my $n = 0;
101         do {
102                 $buf = $s->getline;
103                 ++$n
104         } until $buf eq ".\r\n";
105         $n;
106 }
107
108 $t = timeit(1, sub {
109         $s->print("XOVER $spec\r\n");
110         $n = read_until_dot($s);
111 });
112 diag 'xover took: ' . timestr($t) . " for $n";
113
114 $t = timeit(1, sub {
115         $s->print("HDR From $spec\r\n");
116         $n = read_until_dot($s);
117
118 });
119 diag "XHDR From ". timestr($t) . " for $n";
120
121 my $date = $ENV{NEWNEWS_DATE};
122 unless ($date) {
123         my (undef, undef, undef, $d, $m, $y) = gmtime(time - 30 * 86400);
124         $date = sprintf('%04u%02u%02u', $y + 1900, $m, $d);
125         diag "NEWNEWS_DATE undefined, using $date";
126 }
127 $t = timeit(1, sub {
128         $s->print("NEWNEWS * $date 000000 GMT\r\n");
129         $n = read_until_dot($s);
130 });
131 diag 'newnews took: ' . timestr($t) . " for $n";
132
133 done_testing();
134
135 1;