]> Sergey Matveev's repositories - public-inbox.git/blobdiff - t/nntpd.t
tests: consistently check for xapian-compact
[public-inbox.git] / t / nntpd.t
index 9d0ee2baa6d7eb22e47d37b509f52b3f66b22635..c7a7ee6bb3ad512a1ed0b12807ae93016a58be7d 100644 (file)
--- a/t/nntpd.t
+++ b/t/nntpd.t
@@ -14,8 +14,9 @@ use Net::NNTP;
 use Sys::Hostname;
 use POSIX qw(_exit);
 use Digest::SHA;
+use_ok 'PublicInbox::Msgmap';
 
-# FIXME: make easier to test both versions
+# t/nntpd-v2.t wraps this for v2
 my $version = $ENV{PI_TEST_VERSION} || 1;
 require_git('2.6') if $version == 2;
 my $lsof = which('lsof');
@@ -26,13 +27,10 @@ my ($tmpdir, $for_destroy) = tmpdir();
 my $home = "$tmpdir/pi-home";
 my $err = "$tmpdir/stderr.log";
 my $out = "$tmpdir/stdout.log";
-my $inboxdir = "$tmpdir/main.git";
+my $inboxdir = "$tmpdir/main";
+my $otherdir = "$tmpdir/other";
 my $group = 'test-nntpd';
 my $addr = $group . '@example.com';
-SKIP: {
-       skip "git 2.6+ required for V2Writable", 1 if $version == 1;
-       use_ok 'PublicInbox::V2Writable';
-}
 
 my %opts;
 my $sock = tcp_server();
@@ -49,14 +47,22 @@ my $ibx = {
 $ibx = PublicInbox::Inbox->new($ibx);
 {
        local $ENV{HOME} = $home;
-       my @cmd = ('-init', $group, $inboxdir, 'http://example.com/', $addr);
-       push @cmd, "-V$version", '-Lbasic';
-       ok(run_script(\@cmd), 'init OK');
-       is(xsys(qw(git config), "--file=$home/.public-inbox/config",
-                       "publicinbox.$group.newsgroup", $group),
-               0, 'enabled newsgroup');
-       my $len;
+       my @cmd = ('-init', $group, $inboxdir, 'http://example.com/abc', $addr,
+               "-V$version", '-Lbasic', '--newsgroup', $group);
+       ok(run_script(\@cmd), "init $group");
+
+       @cmd = ('-init', 'xyz', $otherdir, 'http://example.com/xyz',
+               'e@example.com', "-V$version", qw(-Lbasic --newsgroup x.y.z));
+       ok(run_script(\@cmd), 'init xyz');
+       is(xsys([qw(git config -f), "$home/.public-inbox/config",
+               qw(publicinboxmda.spamcheck none)]), 0, 'disable spamcheck');
 
+       open(my $fh, '<', 't/utf8.eml') or BAIL_OUT("open t/utf8.eml: $!");
+       my $env = { ORIGINAL_RECIPIENT => 'e@example.com' };
+       run_script([qw(-mda --no-precheck)], $env, { 0 => $fh }) or
+               BAIL_OUT('-mda delivery');
+
+       my $len;
        $ibx = PublicInbox::InboxWritable->new($ibx);
        my $im = $ibx->importer(0);
 
@@ -96,6 +102,7 @@ EOF
        my $host_port = $sock->sockhost . ':' . $sock->sockport;
        my $n = Net::NNTP->new($host_port);
        my $list = $n->list;
+       ok(delete $list->{'x.y.z'}, 'deleted x.y.z group');
        is_deeply($list, { $group => [ qw(1 1 n) ] }, 'LIST works');
        is_deeply([$n->group($group)], [ qw(0 1 1), $group ], 'GROUP works');
        is_deeply($n->listgroup($group), [1], 'listgroup OK');
@@ -205,6 +212,7 @@ EOF
 
        is_deeply($n->head(1), $n->head('<nntp@example.com>'), 'HEAD OK');
        is_deeply($n->body(1), $n->body('<nntp@example.com>'), 'BODY OK');
+       is_deeply($n->nntpstat(1), '<nntp@example.com>', 'STAT');
        is($n->body(1)->[0], "This is a test message for El\xc3\xa9anor\n",
                'body really matches');
        my $art = $n->article(1);
@@ -234,7 +242,7 @@ EOF
        is_deeply($n->xhdr(qw(list-id 1-)), {},
                 'XHDR on invalid header returns empty');
 
-       my $mids = $n->newnews(0, '*');
+       my $mids = $n->newnews(0, $group);
        is_deeply($mids, ['<nntp@example.com>'], 'NEWNEWS works');
        {
                my $t0 = time;
@@ -281,6 +289,15 @@ Date: Fri, 02 Oct 1993 00:00:00 +0000
                }
        }
 
+       ok($n->article('<testmessage@example.com>'),
+               'cross newsgroup ARTICLE by Message-ID');
+       ok($n->body('<testmessage@example.com>'),
+               'cross newsgroup BODY by Message-ID');
+       ok($n->head('<testmessage@example.com>'),
+               'cross newsgroup HEAD by Message-ID');
+       is($n->xpath('<testmessage@example.com>'), 'x.y.z/1', 'xpath hit');
+       is($n->xpath('<non-existent@example.com>'), undef, 'xpath miss');
+
        # pipelined requests:
        {
                my $nreq = 90;
@@ -332,7 +349,7 @@ Date: Fri, 02 Oct 1993 00:00:00 +0000
        # -compact requires Xapian
        SKIP: {
                require_mods('Search::Xapian', 2);
-               which('xapian-compact') or skip 'xapian-compact missing', 2;
+               have_xapian_compact or skip 'xapian-compact missing', 2;
                is(xsys(qw(git config), "--file=$home/.public-inbox/config",
                                "publicinbox.$group.indexlevel", 'medium'),
                        0, 'upgraded indexlevel');
@@ -341,7 +358,14 @@ Date: Fri, 02 Oct 1993 00:00:00 +0000
                        'article did not exist');
                $im->add($ex);
                $im->done;
-               ok(run_script([qw(-index --reindex -c), $ibx->{inboxdir}],
+               {
+                       my $f = $ibx->mm->{dbh}->sqlite_db_filename;
+                       my $tmp = "$tmpdir/tmp.sqlite3";
+                       $ibx->mm->{dbh}->sqlite_backup_to_file($tmp);
+                       delete $ibx->{mm};
+                       rename($tmp, $f) or BAIL_OUT "rename($tmp, $f): $!";
+               }
+               ok(run_script([qw(-index -c -j0 --reindex), $ibx->{inboxdir}],
                                undef, $noerr), '-compacted');
                select(undef, undef, undef, $fast_idle ? 0.1 : 2.1);
                $art = $n->article($ex->header('Message-ID'));
@@ -352,6 +376,7 @@ Date: Fri, 02 Oct 1993 00:00:00 +0000
                my @of = xqx([$lsof, '-p', $td->{pid}], undef, $noerr);
                is(scalar(grep(/\(deleted\)/, @of)), 0, 'no deleted files');
        };
+       SKIP: { test_watch($tmpdir, $sock, $group) };
        {
                setsockopt($s, IPPROTO_TCP, TCP_NODELAY, 1);
                syswrite($s, 'HDR List-id 1-');
@@ -391,4 +416,56 @@ sub read_til_dot {
        $buf;
 }
 
+sub test_watch {
+       my ($tmpdir, $sock, $group) = @_;
+       use_ok 'PublicInbox::Watch';
+       use_ok 'PublicInbox::InboxIdle';
+       use_ok 'PublicInbox::Config';
+       require_git('1.8.5', 1) or skip('git 1.8.5+ needed for --urlmatch', 4);
+       my $old_env = { HOME => $ENV{HOME} };
+       my $home = "$tmpdir/watch_home";
+       mkdir $home or BAIL_OUT $!;
+       mkdir "$home/.public-inbox" or BAIL_OUT $!;
+       local $ENV{HOME} = $home;
+       my $name = 'watchnntp';
+       my $addr = "i1\@example.com";
+       my $url = "http://example.com/i1";
+       my $inboxdir = "$tmpdir/watchnntp";
+       my $cmd = ['-init', '-V1', '-Lbasic', $name, $inboxdir, $url, $addr];
+       my ($ihost, $iport) = ($sock->sockhost, $sock->sockport);
+       my $nntpurl = "nntp://$ihost:$iport/$group";
+       run_script($cmd) or BAIL_OUT("init $name");
+       xsys(qw(git config), "--file=$home/.public-inbox/config",
+                       "publicinbox.$name.watch",
+                       $nntpurl) == 0 or BAIL_OUT "git config $?";
+       # try again with polling
+       xsys(qw(git config), "--file=$home/.public-inbox/config",
+               'nntp.PollInterval', 0.11) == 0
+               or BAIL_OUT "git config $?";
+       my $cfg = PublicInbox::Config->new;
+       PublicInbox::DS->Reset;
+       my $ii = PublicInbox::InboxIdle->new($cfg);
+       my $cb = sub { PublicInbox::DS->SetPostLoopCallback(sub {}) };
+       my $obj = bless \$cb, 'PublicInbox::TestCommon::InboxWakeup';
+       $cfg->each_inbox(sub { $_[0]->subscribe_unlock('ident', $obj) });
+       my $watcherr = "$tmpdir/watcherr";
+       open my $err_wr, '>', $watcherr or BAIL_OUT $!;
+       open my $err, '<', $watcherr or BAIL_OUT $!;
+       my $w = start_script(['-watch'], undef, { 2 => $err_wr });
+
+       diag 'waiting for initial fetch...';
+       PublicInbox::DS->EventLoop;
+       diag 'inbox unlocked on initial fetch';
+       $w->kill;
+       $w->join;
+       is($?, 0, 'no error in exited -watch process');
+       $cfg->each_inbox(sub { shift->unsubscribe_unlock('ident') });
+       $ii->close;
+       PublicInbox::DS->Reset;
+       my @err = grep(!/^I:/, <$err>);
+       is(@err, 0, 'no warnings/errors from -watch'.join(' ', @err));
+       my @ls = xqx(['git', "--git-dir=$inboxdir", qw(ls-tree -r HEAD)]);
+       isnt(scalar(@ls), 0, 'imported something');
+}
+
 1;