]> Sergey Matveev's repositories - public-inbox.git/blob - t/run.perl
README: add a missing "be"
[public-inbox.git] / t / run.perl
1 #!/usr/bin/perl -w
2 # Copyright (C) 2019-2020 all contributors <meta@public-inbox.org>
3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
4 #
5 # Parallel test runner which preloads code and reuses worker processes
6 # to give a nice speedup over prove(1).  It also generates per-test
7 # .log files (similar to automake tests).
8 #
9 # *.t files run by this should not rely on global state.
10 #
11 # Usage: $PERL -I lib -w t/run.perl -j4
12 # Or via prove(1): prove -lvw t/run.perl :: -j4
13 use strict;
14 use PublicInbox::TestCommon;
15 use Cwd qw(getcwd);
16 use Getopt::Long qw(:config gnu_getopt no_ignore_case auto_abbrev);
17 use Errno qw(EINTR);
18 use POSIX qw(_POSIX_PIPE_BUF WNOHANG);
19 my $jobs = 1;
20 my $repeat = 1;
21 $| = 1;
22 our $log_suffix = '.log';
23 my ($shuffle, %pids, @err);
24 GetOptions('j|jobs=i' => \$jobs,
25         'repeat=i' => \$repeat,
26         'log=s' => \$log_suffix,
27         's|shuffle' => \$shuffle,
28 ) or die "Usage: $0 [-j JOBS] [--log=SUFFIX] [--repeat RUNS]";
29 if (($ENV{TEST_RUN_MODE} // 1) == 0) {
30         die "$0 is not compatible with TEST_RUN_MODE=0\n";
31 }
32 my @tests = scalar(@ARGV) ? @ARGV : glob('t/*.t');
33 my $cwd = getcwd();
34 open OLDOUT, '>&STDOUT' or die "dup STDOUT: $!";
35 open OLDERR, '>&STDERR' or die "dup STDERR: $!";
36 OLDOUT->autoflush(1);
37 OLDERR->autoflush(1);
38
39 key2sub($_) for @tests; # precache
40
41 if ($shuffle) {
42         require List::Util;
43 } elsif (open(my $prove_state, '<', '.prove') && eval { require YAML::XS }) {
44         # reuse "prove --state=save" data to start slowest tests, first
45         my $state = YAML::XS::Load(do { local $/; <$prove_state> });
46         my $t = $state->{tests};
47         @tests = sort {
48                 ($t->{$b}->{elapsed} // 0) <=> ($t->{$a}->{elapsed} // 0)
49         } @tests;
50 }
51
52 our $tb = Test::More->builder;
53
54 sub DIE (;$) {
55         print OLDERR @_;
56         exit(1);
57 }
58
59 our ($worker, $worker_test);
60
61 sub test_status () {
62         $? = 255 if $? == 0 && !$tb->is_passing;
63         my $status = $? ? 'not ok' : 'ok';
64         print OLDOUT "$status $worker_test\n" if $log_suffix ne '';
65 }
66
67 # Test::Builder or Test2::Hub may call exit() from plan(skip_all => ...)
68 END { test_status() if (defined($worker_test) && $worker == $$) }
69
70 sub run_test ($) {
71         my ($test) = @_;
72         my $log_fh;
73         if ($log_suffix ne '') {
74                 my $log = $test;
75                 $log =~ s/\.[^\.]+\z/$log_suffix/ or DIE "can't log for $test";
76                 open $log_fh, '>', $log or DIE "open $log: $!";
77                 $log_fh->autoflush(1);
78                 $tb->output($log_fh);
79                 $tb->failure_output($log_fh);
80                 $tb->todo_output($log_fh);
81                 open STDOUT, '>&', $log_fh or DIE "1>$log: $!";
82                 open STDERR, '>&', $log_fh or DIE "2>$log: $!";
83         }
84         $worker_test = $test;
85         run_script([$test]);
86         test_status();
87         $worker_test = undef;
88         push @err, "$test ($?)" if $?;
89 }
90
91 sub UINT_SIZE () { 4 }
92
93 # worker processes will SIGUSR1 the producer process when it
94 # sees EOF on the pipe.  On FreeBSD 11.2 and Perl 5.30.0,
95 # sys/ioctl.ph gives the wrong value for FIONREAD().
96 my $producer = $$;
97 my $eof; # we stop respawning if true
98
99 my $start_worker = sub {
100         my ($i, $j, $rd, $todo) = @_;
101         defined(my $pid = fork) or DIE "fork: $!";
102         if ($pid == 0) {
103                 $worker = $$;
104                 while (1) {
105                         my $r = sysread($rd, my $buf, UINT_SIZE);
106                         if (!defined($r)) {
107                                 next if $! == EINTR;
108                                 DIE "sysread: $!";
109                         }
110                         last if $r == 0;
111                         DIE "short read $r" if $r != UINT_SIZE;
112                         my $t = unpack('I', $buf);
113                         run_test($todo->[$t]);
114                         $tb->reset;
115                         chdir($cwd) or DIE "chdir: $!";
116                 }
117                 kill 'USR1', $producer if !$eof; # sets $eof in $producer
118                 DIE join('', map { "E: $_\n" } @err) if @err;
119                 exit(0);
120         } else {
121                 $pids{$pid} = $j;
122         }
123 };
124
125 # negative $repeat means loop forever:
126 for (my $i = $repeat; $i != 0; $i--) {
127         my @todo = $shuffle ? List::Util::shuffle(@tests) : @tests;
128
129         # single-producer, multi-consumer queue relying on POSIX semantics
130         pipe(my ($rd, $wr)) or DIE "pipe: $!";
131
132         # fill the queue before forking so children can start earlier
133         my $n = (_POSIX_PIPE_BUF / UINT_SIZE);
134         if ($n >= $#todo) {
135                 print $wr join('', map { pack('I', $_) } (0..$#todo)) or DIE;
136                 close $wr or die;
137                 $wr = undef;
138         } else { # write what we can...
139                 $wr->autoflush(1);
140                 print $wr join('', map { pack('I', $_) } (0..$n)) or DIE;
141                 $n += 1; # and send more ($n..$#todo), later
142         }
143         $eof = undef;
144         local $SIG{USR1} = sub { $eof = 1 };
145         my $sigchld = sub {
146                 my ($sig) = @_;
147                 my $flags = $sig ? WNOHANG : 0;
148                 while (1) {
149                         my $pid = waitpid(-1, $flags) or return;
150                         return if $pid < 0;
151                         my $j = delete $pids{$pid};
152                         if (!defined($j)) {
153                                 push @err, "reaped unknown $pid ($?)";
154                                 next;
155                         }
156                         push @err, "job[$j] ($?)" if $?;
157                         # skip_all can exit(0), respawn if needed:
158                         if (!$eof) {
159                                 print OLDERR "# respawning job[$j]\n";
160                                 $start_worker->($i, $j, $rd, \@todo);
161                         }
162                 }
163         };
164
165         # start the workers to consume the queue
166         for (my $j = 0; $j < $jobs; $j++) {
167                 $start_worker->($i, $j, $rd, \@todo);
168         }
169
170         if ($wr) {
171                 local $SIG{CHLD} = $sigchld;
172                 # too many tests to fit in the pipe before starting workers,
173                 # send the rest now the workers are running
174                 print $wr join('', map { pack('I', $_) } ($n..$#todo)) or DIE;
175                 close $wr or die;
176         }
177
178         $sigchld->(0) while scalar(keys(%pids));
179         DIE join('', map { "E: $_\n" } @err) if @err;
180 }
181
182 print OLDOUT "1..".($repeat * scalar(@tests))."\n" if $repeat >= 0;