]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/TestCommon.pm
tests: consistently check for xapian-compact
[public-inbox.git] / lib / PublicInbox / TestCommon.pm
index 600843f006663815a3b0f95b1f61a1c24dfa3899..299b9c6a830833966df288687270d27ae95e1b49 100644 (file)
@@ -5,22 +5,18 @@
 package PublicInbox::TestCommon;
 use strict;
 use parent qw(Exporter);
+use v5.10.1;
 use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD :seek);
 use POSIX qw(dup2);
 use IO::Socket::INET;
 our @EXPORT = qw(tmpdir tcp_server tcp_connect require_git require_mods
-       run_script start_script key2sub xsys xqx mime_load eml_load);
-
-sub mime_load ($) {
-       my ($path) = @_;
-       open(my $fh, '<', $path) or die "open $path: $!";
-       PublicInbox::MIME->new(\(do { local $/; <$fh> }));
-}
+       run_script start_script key2sub xsys xqx eml_load tick
+       have_xapian_compact);
 
 sub eml_load ($) {
        my ($path, $cb) = @_;
        open(my $fh, '<', $path) or die "open $path: $!";
-       binmode $fh;
+       require PublicInbox::Eml;
        PublicInbox::Eml->new(\(do { local $/; <$fh> }));
 }
 
@@ -42,32 +38,34 @@ sub tcp_server () {
                Type => Socket::SOCK_STREAM(),
                Listen => 1024,
                Blocking => 0,
-       )
+       ) or Test::More::BAIL_OUT("failed to create TCP server: $!");
 }
 
 sub tcp_connect {
        my ($dest, %opt) = @_;
+       my $addr = $dest->sockhost . ':' . $dest->sockport;
        my $s = IO::Socket::INET->new(
                Proto => 'tcp',
                Type => Socket::SOCK_STREAM(),
-               PeerAddr => $dest->sockhost . ':' . $dest->sockport,
+               PeerAddr => $addr,
                %opt,
-       );
+       ) or Test::More::BAIL_OUT("failed to connect to $addr: $!");
        $s->autoflush(1);
        $s;
 }
 
 sub require_git ($;$) {
        my ($req, $maybe) = @_;
-       my ($req_maj, $req_min) = split(/\./, $req);
-       my ($cur_maj, $cur_min) = (`git --version` =~ /version (\d+)\.(\d+)/);
+       my ($req_maj, $req_min, $req_sub) = split(/\./, $req);
+       my ($cur_maj, $cur_min, $cur_sub) = (xqx([qw(git --version)])
+                       =~ /version (\d+)\.(\d+)(?:\.(\d+))?/);
 
-       my $req_int = ($req_maj << 24) | ($req_min << 16);
-       my $cur_int = ($cur_maj << 24) | ($cur_min << 16);
+       my $req_int = ($req_maj << 24) | ($req_min << 16) | ($req_sub // 0);
+       my $cur_int = ($cur_maj << 24) | ($cur_min << 16) | ($cur_sub // 0);
        if ($cur_int < $req_int) {
                return 0 if $maybe;
                Test::More::plan(skip_all =>
-                               "git $req+ required, have $cur_maj.$cur_min");
+                       "git $req+ required, have $cur_maj.$cur_min.$cur_sub");
        }
        1;
 }
@@ -76,7 +74,7 @@ sub require_mods {
        my @mods = @_;
        my $maybe = pop @mods if $mods[-1] =~ /\A[0-9]+\z/;
        my @need;
-       for my $mod (@mods) {
+       while (my $mod = shift(@mods)) {
                if ($mod eq 'Search::Xapian') {
                        if (eval { require PublicInbox::Search } &&
                                PublicInbox::Search::load_xapian()) {
@@ -87,10 +85,27 @@ sub require_mods {
                                PublicInbox::SearchIdx::load_xapian_writable()){
                                        next;
                        }
+               } elsif (index($mod, '||') >= 0) { # "Foo||Bar"
+                       my $ok;
+                       for my $m (split(/\Q||\E/, $mod)) {
+                               eval "require $m";
+                               next if $@;
+                               $ok = $m;
+                               last;
+                       }
+                       next if $ok;
                } else {
                        eval "require $mod";
                }
-               push @need, $mod if $@;
+               if ($@) {
+                       push @need, $mod;
+               } elsif ($mod eq 'IO::Socket::SSL' &&
+                       # old versions of IO::Socket::SSL aren't supported
+                       # by libnet, at least:
+                       # https://rt.cpan.org/Ticket/Display.html?id=100529
+                               !eval{ IO::Socket::SSL->VERSION(2.007); 1 }) {
+                       push @need, $@;
+               }
        }
        return unless @need;
        my $m = join(', ', @need)." missing for $0";
@@ -144,7 +159,7 @@ sub _undo_redirects ($) {
 # The default is 2.
 our $run_script_exit_code;
 sub RUN_SCRIPT_EXIT () { "RUN_SCRIPT_EXIT\n" };
-sub run_script_exit (;$) {
+sub run_script_exit {
        $run_script_exit_code = $_[0] // 0;
        die RUN_SCRIPT_EXIT;
 }
@@ -166,7 +181,7 @@ package $pkg;
 use strict;
 use subs qw(exit);
 
-*exit = *PublicInbox::TestCommon::run_script_exit;
+*exit = \\&PublicInbox::TestCommon::run_script_exit;
 sub main {
 # the below "line" directive is a magic comment, see perlsyn(1) manpage
 # line 1 "$f"
@@ -255,7 +270,39 @@ sub run_script ($;$$) {
        $? == 0;
 }
 
-sub wait_for_tail () { sleep(2) }
+sub tick (;$) {
+       my $tick = shift // 0.1;
+       select undef, undef, undef, $tick;
+       1;
+}
+
+sub wait_for_tail ($;$) {
+       my ($tail_pid, $want) = @_;
+       my $wait = 2;
+       if ($^O eq 'linux') { # GNU tail may use inotify
+               state $tail_has_inotify;
+               return tick if $want < 0 && $tail_has_inotify;
+               my $end = time + $wait;
+               my @ino;
+               do {
+                       @ino = grep {
+                               readlink($_) =~ /\binotify\b/
+                       } glob("/proc/$tail_pid/fd/*");
+               } while (!@ino && time <= $end and tick);
+               return if !@ino;
+               $tail_has_inotify = 1;
+               $ino[0] =~ s!/fd/!/fdinfo/!;
+               my @info;
+               do {
+                       if (open my $fh, '<', $ino[0]) {
+                               local $/ = "\n";
+                               @info = grep(/^inotify wd:/, <$fh>);
+                       }
+               } while (scalar(@info) < $want && time <= $end and tick);
+       } else {
+               sleep($wait);
+       }
+}
 
 # like system() built-in, but uses spawn() for env/rdr + vfork
 sub xsys {
@@ -291,6 +338,18 @@ sub start_script {
                        next unless /\A--std(?:err|out)=(.+)\z/;
                        push @paths, $1;
                }
+               if ($opt) {
+                       for (1, 2) {
+                               my $f = $opt->{$_} or next;
+                               if (!ref($f)) {
+                                       push @paths, $f;
+                               } elsif (ref($f) eq 'GLOB' && $^O eq 'linux') {
+                                       my $fd = fileno($f);
+                                       my $f = readlink "/proc/$$/fd/$fd";
+                                       push @paths, $f if -e $f;
+                               }
+                       }
+               }
                if (@paths) {
                        defined($tail_pid = fork) or die "fork: $!\n";
                        if ($tail_pid == 0) {
@@ -300,11 +359,12 @@ sub start_script {
                                exec(split(' ', $tail_cmd), @paths);
                                die "$tail_cmd failed: $!";
                        }
-                       wait_for_tail();
+                       wait_for_tail($tail_pid, scalar @paths);
                }
        }
        defined(my $pid = fork) or die "fork: $!\n";
        if ($pid == 0) {
+               eval { PublicInbox::DS->Reset };
                # pretend to be systemd (cf. sd_listen_fds(3))
                # 3 == SD_LISTEN_FDS_START
                my $fd;
@@ -327,6 +387,7 @@ sub start_script {
                }
                $0 = join(' ', @$cmd);
                if ($sub) {
+                       eval { PublicInbox::DS->Reset };
                        _run_sub($sub, $key, \@argv);
                        POSIX::_exit($? >> 8);
                } else {
@@ -337,6 +398,12 @@ sub start_script {
        PublicInboxTestProcess->new($pid, $tail_pid);
 }
 
+sub have_xapian_compact () {
+       require PublicInbox::Spawn;
+       # $ENV{XAPIAN_COMPACT} is used by PublicInbox/Xapcmd.pm, too
+       PublicInbox::Spawn::which($ENV{XAPIAN_COMPACT} || 'xapian-compact');
+}
+
 package PublicInboxTestProcess;
 use strict;
 
@@ -365,11 +432,15 @@ sub join {
 sub DESTROY {
        my ($self) = @_;
        return if $self->{owner} != $$;
-       if (my $tail = delete $self->{tail_pid}) {
-               PublicInbox::TestCommon::wait_for_tail();
-               CORE::kill('TERM', $tail);
+       if (my $tail_pid = delete $self->{tail_pid}) {
+               PublicInbox::TestCommon::wait_for_tail($tail_pid, -1);
+               CORE::kill('TERM', $tail_pid);
        }
        $self->join('TERM');
 }
 
+package PublicInbox::TestCommon::InboxWakeup;
+use strict;
+sub on_inbox_unlock { ${$_[0]}->($_[1]) }
+
 1;