t/nntpd.t

   1 # Copyright (C) 2015 all contributors <meta@public-inbox.org>
   2 # License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 foreach my $mod (qw(DBD::SQLite Search::Xapian Danga::Socket)) {
   7         eval "require $mod";
   8         plan skip_all => "$mod missing for nntpd.t" if $@;
   9 }
  10 require PublicInbox::SearchIdx;
  11 require PublicInbox::Msgmap;
  12 use Cwd;
  13 use Email::Simple;
  14 use IO::Socket;
  15 use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD);
  16 use Socket qw(SO_KEEPALIVE IPPROTO_TCP TCP_NODELAY);
  17 use File::Temp qw/tempdir/;
  18 use Net::NNTP;
  19 use IPC::Run qw(run);
  20
  21 my $tmpdir = tempdir('pi-nntpd-XXXXXX', TMPDIR => 1, CLEANUP => 1);
  22 my $home = "$tmpdir/pi-home";
  23 my $err = "$tmpdir/stderr.log";
  24 my $out = "$tmpdir/stdout.log";
  25 my $pi_home = "$home/.public-inbox";
  26 my $pi_config = "$pi_home/config";
  27 my $maindir = "$tmpdir/main.git";
  28 my $main_bin = getcwd()."/t/main-bin";
  29 my $main_path = "$main_bin:$ENV{PATH}"; # for spamc ham mock
  30 my $group = 'test-nntpd';
  31 my $addr = $group . '@example.com';
  32 my $cfgpfx = "publicinbox.$group";
  33 my $failbox = "$home/fail.mbox";
  34 local $ENV{PI_EMERGENCY} = $failbox;
  35 my $mda = 'blib/script/public-inbox-mda';
  36 my $nntpd = 'blib/script/public-inbox-nntpd';
  37 my $init = 'blib/script/public-inbox-init';
  38 my $index = 'blib/script/public-inbox-index';
  39
  40 my %opts = (
  41         LocalAddr => '127.0.0.1',
  42         ReuseAddr => 1,
  43         Proto => 'tcp',
  44         Type => SOCK_STREAM,
  45         Listen => 1024,
  46 );
  47 my $sock = IO::Socket::INET->new(%opts);
  48 my $pid;
  49 my $len;
  50 END { kill 'TERM', $pid if defined $pid };
  51 {
  52         local $ENV{HOME} = $home;
  53         system($init, $group, $maindir, 'http://example.com/', $addr);
  54
  55         # ensure successful message delivery
  56         {
  57                 local $ENV{ORIGINAL_RECIPIENT} = $addr;
  58                 my $simple = Email::Simple->new(<<EOF);
  59 From: Me <me\@example.com>
  60 To: You <you\@example.com>
  61 Cc: $addr
  62 Message-Id: <nntp\@example.com>
  63 Subject: hihi
  64 Date: Thu, 01 Jan 1970 06:06:06 +0000
  65
  66 nntp
  67 EOF
  68                 my $in = $simple->as_string;
  69                 local $ENV{PATH} = $main_path;
  70                 IPC::Run::run([$mda], \$in);
  71                 is(0, $?, 'ran MDA correctly');
  72                 is(0, system($index, $maindir), 'indexed git dir');
  73                 $simple->header_set('List-Id', "<$addr>");
  74                 $len = length($simple->as_string);
  75         }
  76
  77         ok($sock, 'sock created');
  78         $! = 0;
  79         my $fl = fcntl($sock, F_GETFD, 0);
  80         ok(! $!, 'no error from fcntl(F_GETFD)');
  81         is($fl, FD_CLOEXEC, 'cloexec set by default (Perl behavior)');
  82         $pid = fork;
  83         if ($pid == 0) {
  84                 use POSIX qw(dup2);
  85                 # pretend to be systemd
  86                 fcntl($sock, F_SETFD, $fl &= ~FD_CLOEXEC);
  87                 dup2(fileno($sock), 3) or die "dup2 failed: $!\n";
  88                 $ENV{LISTEN_PID} = $$;
  89                 $ENV{LISTEN_FDS} = 1;
  90                 exec $nntpd, "--stdout=$out", "--stderr=$err";
  91                 die "FAIL: $!\n";
  92         }
  93         ok(defined $pid, 'forked nntpd process successfully');
  94         $! = 0;
  95         fcntl($sock, F_SETFD, $fl |= FD_CLOEXEC);
  96         ok(! $!, 'no error from fcntl(F_SETFD)');
  97         my $host_port = $sock->sockhost . ':' . $sock->sockport;
  98         my $n = Net::NNTP->new($host_port);
  99         my $list = $n->list;
 100         is_deeply($list, { $group => [ qw(1 1 n) ] }, 'LIST works');
 101         is_deeply([$n->group($group)], [ qw(0 1 1), $group ], 'GROUP works');
 102
 103         %opts = (
 104                 PeerAddr => $host_port,
 105                 Proto => 'tcp',
 106                 Type => SOCK_STREAM,
 107                 Timeout => 1,
 108         );
 109         my $mid = '<nntp@example.com>';
 110         my %xhdr = (
 111                 'message-id' => $mid,
 112                 'subject' => 'hihi',
 113                 'date' => 'Thu, 01 Jan 1970 06:06:06 +0000',
 114                 'from' => 'Me <me@example.com>',
 115                 'to' => 'You <you@example.com>',
 116                 'cc' => $addr,
 117                 'xref' => "example.com $group:1"
 118         );
 119
 120         my $s = IO::Socket::INET->new(%opts);
 121         sysread($s, my $buf, 4096);
 122         is($buf, "201 server ready - post via email\r\n", 'got greeting');
 123         $s->autoflush(1);
 124
 125         while (my ($k, $v) = each %xhdr) {
 126                 is_deeply($n->xhdr("$k $mid"), { $mid => $v },
 127                           "XHDR $k by message-id works");
 128                 is_deeply($n->xhdr("$k 1"), { 1 => $v },
 129                           "$k by article number works");
 130                 is_deeply($n->xhdr("$k 1-"), { 1 => $v },
 131                           "$k by article range works");
 132                 next;
 133                 $buf = '';
 134                 syswrite($s, "HDR $k $mid\r\n");
 135                 do {
 136                         sysread($s, $buf, 4096, length($buf));
 137                 } until ($buf =~ /\r\n\.\r\n\z/);
 138                 my @r = split("\r\n", $buf);
 139                 like($r[0], qr/\A224 /, '224 response for HDR');
 140                 is($r[1], "0 $v", 'got expected response for HDR');
 141         }
 142
 143         {
 144                 my $nogroup = Net::NNTP->new($host_port);
 145                 while (my ($k, $v) = each %xhdr) {
 146                         is_deeply($nogroup->xhdr("$k $mid"), { $mid => $v },
 147                                   "$k by message-id works without group");
 148                 }
 149         }
 150
 151         is_deeply($n->xover('1-'), {
 152                 '1' => ['hihi',
 153                         'Me <me@example.com>',
 154                         'Thu, 01 Jan 1970 06:06:06 +0000',
 155                         '<nntp@example.com>',
 156                         '',
 157                         $len,
 158                         '1' ] }, "XOVER range works");
 159
 160         is_deeply($n->xover('1'), {
 161                 '1' => ['hihi',
 162                         'Me <me@example.com>',
 163                         'Thu, 01 Jan 1970 06:06:06 +0000',
 164                         '<nntp@example.com>',
 165                         '',
 166                         $len,
 167                         '1' ] }, "XOVER by article works");
 168
 169         {
 170                 syswrite($s, "OVER $mid\r\n");
 171                 $buf = '';
 172                 do {
 173                         sysread($s, $buf, 4096, length($buf));
 174                 } until ($buf =~ /\r\n\.\r\n\z/);
 175                 my @r = split("\r\n", $buf);
 176                 like($r[0], qr/^224 /, 'got 224 response for OVER');
 177                 is($r[1], "0\thihi\tMe <me\@example.com>\t" .
 178                         "Thu, 01 Jan 1970 06:06:06 +0000\t" .
 179                         "$mid\t\t$len\t1", 'OVER by Message-ID works');
 180                 is($r[2], '.', 'correctly terminated response');
 181         }
 182
 183         is_deeply($n->xhdr(qw(Cc 1-)), { 1 => 'test-nntpd@example.com' },
 184                  'XHDR Cc 1- works');
 185         is_deeply($n->xhdr(qw(References 1-)), { 1 => '' },
 186                  'XHDR References 1- works (empty string)');
 187         is_deeply($n->xhdr(qw(list-id 1-)), {},
 188                  'XHDR on invalid header returns empty');
 189
 190         {
 191                 setsockopt($s, IPPROTO_TCP, TCP_NODELAY, 1);
 192                 syswrite($s, 'HDR List-id 1-');
 193                 select(undef, undef, undef, 0.15);
 194                 ok(kill('TERM', $pid), 'killed nntpd');
 195                 select(undef, undef, undef, 0.15);
 196                 syswrite($s, "\r\n");
 197                 $buf = '';
 198                 do {
 199                         sysread($s, $buf, 4096, length($buf));
 200                 } until ($buf =~ /\r\n\z/);
 201                 my @r = split("\r\n", $buf);
 202                 like($r[0], qr/^5\d\d /,
 203                         'got 5xx response for unoptimized HDR');
 204                 is(scalar @r, 1, 'only one response line');
 205         }
 206
 207         is($pid, waitpid($pid, 0), 'nntpd exited successfully');
 208         is($?, 0, 'no error in exited process');
 209 }
 210
 211 done_testing();
 212
 213 1;