]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/nntpd.t
lazy load Xapian and make it optional for v2
[public-inbox.git] / t / nntpd.t
index 56b1d604518558e67284580f08076eef6820c4d9..c7ea3197c20f3808fc037e5144ee5aad2fd89c5f 100644 (file)
--- a/t/nntpd.t
+++ b/t/nntpd.t
@@ -3,31 +3,40 @@
 use strict;
 use warnings;
 use Test::More;
-foreach my $mod (qw(DBD::SQLite Search::Xapian Danga::Socket)) {
+foreach my $mod (qw(DBD::SQLite)) {
        eval "require $mod";
        plan skip_all => "$mod missing for nntpd.t" if $@;
 }
 require PublicInbox::SearchIdx;
 require PublicInbox::Msgmap;
-use Cwd;
 use Email::Simple;
 use IO::Socket;
-use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD);
-use Socket qw(SO_KEEPALIVE IPPROTO_TCP TCP_NODELAY);
+use Socket qw(IPPROTO_TCP TCP_NODELAY);
 use File::Temp qw/tempdir/;
 use Net::NNTP;
+use Sys::Hostname;
+require './t/common.perl';
+
+# FIXME: make easier to test both versions
+my $version = $ENV{PI_VERSION} || 2;
+require_git('2.6') if $version == 2;
 
 my $tmpdir = tempdir('pi-nntpd-XXXXXX', TMPDIR => 1, CLEANUP => 1);
 my $home = "$tmpdir/pi-home";
 my $err = "$tmpdir/stderr.log";
 my $out = "$tmpdir/stdout.log";
-my $maindir = "$tmpdir/main.git";
+my $mainrepo = "$tmpdir/main.git";
 my $group = 'test-nntpd';
 my $addr = $group . '@example.com';
 my $nntpd = 'blib/script/public-inbox-nntpd';
 my $init = 'blib/script/public-inbox-init';
 use_ok 'PublicInbox::Import';
+use_ok 'PublicInbox::Inbox';
 use_ok 'PublicInbox::Git';
+SKIP: {
+       skip "git 2.6+ required for V2Writable", 1 if $version == 1;
+       use_ok 'PublicInbox::V2Writable';
+}
 
 my %opts = (
        LocalAddr => '127.0.0.1',
@@ -40,14 +49,35 @@ my $sock = IO::Socket::INET->new(%opts);
 my $pid;
 my $len;
 END { kill 'TERM', $pid if defined $pid };
+
+my $ibx = {
+       mainrepo => $mainrepo,
+       name => $group,
+       version => $version,
+       -primary_address => $addr,
+       indexlevel => 'basic',
+};
+$ibx = PublicInbox::Inbox->new($ibx);
 {
        local $ENV{HOME} = $home;
-       system($init, $group, $maindir, 'http://example.com/', $addr);
+       my @cmd = ($init, $group, $mainrepo, 'http://example.com/', $addr);
+       push @cmd, "-V$version", '-Lbasic';
+       is(system(@cmd), 0, 'init OK');
        is(system(qw(git config), "--file=$home/.public-inbox/config",
                        "publicinbox.$group.newsgroup", $group),
                0, 'enabled newsgroup');
        my $len;
 
+       my $im;
+       if ($version == 2) {
+               $im = PublicInbox::V2Writable->new($ibx);
+       } elsif ($version == 1) {
+               use_ok 'PublicInbox::V1Writable';
+               $im = PublicInbox::V1Writable->new($ibx);
+       } else {
+               die "unsupported version: $version";
+       }
+
        # ensure successful message delivery
        {
                my $mime = Email::MIME->new(<<EOF);
@@ -56,9 +86,10 @@ From: =?utf-8?Q?El=C3=A9anor?= <me\@example.com>
 Cc: $addr
 Message-Id: <nntp\@example.com>
 Content-Type: text/plain; charset=utf-8
-Subject: Testing for =?utf-8?Q?El=C3=A9anor?=
+Subject: Testing for   =?utf-8?Q?El=C3=A9anor?=
 Date: Thu, 01 Jan 1970 06:06:06 +0000
 Content-Transfer-Encoding: 8bit
+References: <ref       tab     squeezed>
 
 This is a test message for El\xc3\xa9anor
 EOF
@@ -66,39 +97,24 @@ EOF
                $list_id =~ s/@/./;
                $mime->header_set('List-Id', "<$list_id>");
                $len = length($mime->as_string);
-               my $git = PublicInbox::Git->new($maindir);
-               my $im = PublicInbox::Import->new($git, 'test', $addr);
                $im->add($mime);
                $im->done;
-               my $s = PublicInbox::SearchIdx->new($maindir, 1);
-               $s->index_sync;
+               if ($version == 1) {
+                       my $s = PublicInbox::SearchIdx->new($mainrepo, 1);
+                       $s->index_sync;
+               }
        }
 
        ok($sock, 'sock created');
-       $! = 0;
-       my $fl = fcntl($sock, F_GETFD, 0);
-       ok(! $!, 'no error from fcntl(F_GETFD)');
-       is($fl, FD_CLOEXEC, 'cloexec set by default (Perl behavior)');
-       $pid = fork;
-       if ($pid == 0) {
-               use POSIX qw(dup2);
-               # pretend to be systemd
-               fcntl($sock, F_SETFD, $fl &= ~FD_CLOEXEC);
-               dup2(fileno($sock), 3) or die "dup2 failed: $!\n";
-               $ENV{LISTEN_PID} = $$;
-               $ENV{LISTEN_FDS} = 1;
-               exec $nntpd, "--stdout=$out", "--stderr=$err";
-               die "FAIL: $!\n";
-       }
+       my $cmd = [ $nntpd, "--stdout=$out", "--stderr=$err" ];
+       $pid = spawn_listener(undef, $cmd, [ $sock ]);
        ok(defined $pid, 'forked nntpd process successfully');
-       $! = 0;
-       fcntl($sock, F_SETFD, $fl |= FD_CLOEXEC);
-       ok(! $!, 'no error from fcntl(F_SETFD)');
        my $host_port = $sock->sockhost . ':' . $sock->sockport;
        my $n = Net::NNTP->new($host_port);
        my $list = $n->list;
        is_deeply($list, { $group => [ qw(1 1 n) ] }, 'LIST works');
        is_deeply([$n->group($group)], [ qw(0 1 1), $group ], 'GROUP works');
+       is_deeply($n->listgroup($group), [1], 'listgroup OK');
 
        %opts = (
                PeerAddr => $host_port,
@@ -114,20 +130,25 @@ EOF
                'from' => "El\xc3\xa9anor <me\@example.com>",
                'to' => "El\xc3\xa9anor <you\@example.com>",
                'cc' => $addr,
-               'xref' => "example.com $group:1"
+               'xref' => hostname . " $group:1",
+               'references' => '<reftabsqueezed>',
        );
 
        my $s = IO::Socket::INET->new(%opts);
        sysread($s, my $buf, 4096);
-       is($buf, "201 server ready - post via email\r\n", 'got greeting');
+       is($buf, "201 " . hostname . " ready - post via email\r\n",
+               'got greeting');
        $s->autoflush(1);
 
+       ok(syswrite($s, "   \r\n"), 'wrote spaces');
+       ok(syswrite($s, "\r\n"), 'wrote nothing');
        syswrite($s, "NEWGROUPS\t19990424 000000 \033GMT\007\r\n");
        is(0, sysread($s, $buf, 4096), 'GOT EOF on cntrl');
 
        $s = IO::Socket::INET->new(%opts);
        sysread($s, $buf, 4096);
-       is($buf, "201 server ready - post via email\r\n", 'got greeting');
+       is($buf, "201 " . hostname . " ready - post via email\r\n",
+               'got greeting');
        $s->autoflush(1);
 
        syswrite($s, "NEWGROUPS 19990424 000000 GMT\r\n");
@@ -162,18 +183,22 @@ EOF
                        "El\xc3\xa9anor <me\@example.com>",
                        'Thu, 01 Jan 1970 06:06:06 +0000',
                        '<nntp@example.com>',
-                       '',
+                       '<reftabsqueezed>',
                        $len,
-                       '1' ] }, "XOVER range works");
+                       '1',
+                       'Xref: '. hostname . ' test-nntpd:1'] },
+               "XOVER range works");
 
        is_deeply($n->xover('1'), {
                '1' => ["Testing for El\xc3\xa9anor",
                        "El\xc3\xa9anor <me\@example.com>",
                        'Thu, 01 Jan 1970 06:06:06 +0000',
                        '<nntp@example.com>',
-                       '',
+                       '<reftabsqueezed>',
                        $len,
-                       '1' ] }, "XOVER by article works");
+                       '1',
+                       'Xref: '. hostname . ' test-nntpd:1'] },
+               "XOVER by article works");
 
        is_deeply($n->head(1), $n->head('<nntp@example.com>'), 'HEAD OK');
        is_deeply($n->body(1), $n->body('<nntp@example.com>'), 'BODY OK');
@@ -193,17 +218,21 @@ EOF
                is($r[1], "0\tTesting for El\xc3\xa9anor\t" .
                        "El\xc3\xa9anor <me\@example.com>\t" .
                        "Thu, 01 Jan 1970 06:06:06 +0000\t" .
-                       "$mid\t\t$len\t1", 'OVER by Message-ID works');
+                       "$mid\t<reftabsqueezed>\t$len\t1" .
+                       "\tXref: " . hostname . " test-nntpd:0",
+                       'OVER by Message-ID works');
                is($r[2], '.', 'correctly terminated response');
        }
 
        is_deeply($n->xhdr(qw(Cc 1-)), { 1 => 'test-nntpd@example.com' },
                 'XHDR Cc 1- works');
-       is_deeply($n->xhdr(qw(References 1-)), { 1 => '' },
-                'XHDR References 1- works (empty string)');
+       is_deeply($n->xhdr(qw(References 1-)), { 1 => '<reftabsqueezed>' },
+                'XHDR References 1- works)');
        is_deeply($n->xhdr(qw(list-id 1-)), {},
                 'XHDR on invalid header returns empty');
 
+       my $mids = $n->newnews(0, '*');
+       is_deeply($mids, ['<nntp@example.com>'], 'NEWNEWS works');
        {
                my $t0 = time;
                my $date = $n->date;
@@ -212,6 +241,33 @@ EOF
                ok($date <= $t1, 'valid date before stop');
        }
 
+       # pipelined requests:
+       {
+               my $nreq = 90;
+               syswrite($s, "GROUP $group\r\n");
+               my $res = <$s>;
+               my $rdr = fork;
+               if ($rdr == 0) {
+                       use POSIX qw(_exit);
+                       for (1..$nreq) {
+                               <$s> =~ /\A224 / or _exit(1);
+                               <$s> =~ /\A1/ or _exit(2);
+                               <$s> eq ".\r\n" or _exit(3);
+                       }
+                       _exit(0);
+               }
+               for (1..$nreq) {
+                       syswrite($s, "XOVER 1\r\n");
+               }
+               is($rdr, waitpid($rdr, 0), 'reader done');
+               is($? >> 8, 0, 'no errors');
+       }
+       SKIP: {
+               my @of = `lsof -p $pid 2>/dev/null`;
+               skip('lsof broken', 1) if (!scalar(@of) || $?);
+               my @xap = grep m!Search/Xapian!, @of;
+               is_deeply(\@xap, [], 'Xapian not loaded in nntpd');
+       }
        {
                setsockopt($s, IPPROTO_TCP, TCP_NODELAY, 1);
                syswrite($s, 'HDR List-id 1-');