t/nntpd.t

   1 # Copyright (C) 2015 all contributors <meta@public-inbox.org>
   2 # License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 foreach my $mod (qw(DBD::SQLite Search::Xapian Danga::Socket)) {
   7         eval "require $mod";
   8         plan skip_all => "$mod missing for nntpd.t" if $@;
   9 }
  10 require PublicInbox::SearchIdx;
  11 require PublicInbox::Msgmap;
  12 use Cwd;
  13 use Email::Simple;
  14 use IO::Socket;
  15 use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD);
  16 use Socket qw(SO_KEEPALIVE IPPROTO_TCP TCP_NODELAY);
  17 use File::Temp qw/tempdir/;
  18 use Net::NNTP;
  19 use IPC::Run qw(run);
  20
  21 my $tmpdir = tempdir('pi-nntpd-XXXXXX', TMPDIR => 1, CLEANUP => 1);
  22 my $home = "$tmpdir/pi-home";
  23 my $err = "$tmpdir/stderr.log";
  24 my $out = "$tmpdir/stdout.log";
  25 my $pi_home = "$home/.public-inbox";
  26 my $pi_config = "$pi_home/config";
  27 my $maindir = "$tmpdir/main.git";
  28 my $main_bin = getcwd()."/t/main-bin";
  29 my $main_path = "$main_bin:$ENV{PATH}"; # for spamc ham mock
  30 my $group = 'test-nntpd';
  31 my $addr = $group . '@example.com';
  32 my $cfgpfx = "publicinbox.$group";
  33 my $failbox = "$home/fail.mbox";
  34 local $ENV{PI_EMERGENCY} = $failbox;
  35 my $mda = 'blib/script/public-inbox-mda';
  36 my $nntpd = 'blib/script/public-inbox-nntpd';
  37 my $init = 'blib/script/public-inbox-init';
  38 my $index = 'blib/script/public-inbox-index';
  39
  40 my %opts = (
  41         LocalAddr => '127.0.0.1',
  42         ReuseAddr => 1,
  43         Proto => 'tcp',
  44         Type => SOCK_STREAM,
  45         Listen => 1024,
  46 );
  47 my $sock = IO::Socket::INET->new(%opts);
  48 my $pid;
  49 END { kill 'TERM', $pid if defined $pid };
  50 {
  51         local $ENV{HOME} = $home;
  52         system($init, $group, $maindir, 'http://example.com/', $addr);
  53
  54         # ensure successful message delivery
  55         {
  56                 local $ENV{ORIGINAL_RECIPIENT} = $addr;
  57                 my $simple = Email::Simple->new(<<EOF);
  58 From: Me <me\@example.com>
  59 To: You <you\@example.com>
  60 Cc: $addr
  61 Message-Id: <nntp\@example.com>
  62 Subject: hihi
  63 Date: Thu, 01 Jan 1970 06:06:06 +0000
  64
  65 nntp
  66 EOF
  67                 my $in = $simple->as_string;
  68                 local $ENV{PATH} = $main_path;
  69                 IPC::Run::run([$mda], \$in);
  70                 is(0, $?, 'ran MDA correctly');
  71                 is(0, system($index, $maindir), 'indexed git dir');
  72         }
  73
  74         ok($sock, 'sock created');
  75         $! = 0;
  76         my $fl = fcntl($sock, F_GETFD, 0);
  77         ok(! $!, 'no error from fcntl(F_GETFD)');
  78         is($fl, FD_CLOEXEC, 'cloexec set by default (Perl behavior)');
  79         $pid = fork;
  80         if ($pid == 0) {
  81                 use POSIX qw(dup2);
  82                 # pretend to be systemd
  83                 fcntl($sock, F_SETFD, $fl &= ~FD_CLOEXEC);
  84                 dup2(fileno($sock), 3) or die "dup2 failed: $!\n";
  85                 $ENV{LISTEN_PID} = $$;
  86                 $ENV{LISTEN_FDS} = 1;
  87                 exec $nntpd, "--stdout=$out", "--stderr=$err";
  88                 die "FAIL: $!\n";
  89         }
  90         ok(defined $pid, 'forked nntpd process successfully');
  91         $! = 0;
  92         fcntl($sock, F_SETFD, $fl |= FD_CLOEXEC);
  93         ok(! $!, 'no error from fcntl(F_SETFD)');
  94         my $host_port = $sock->sockhost . ':' . $sock->sockport;
  95         my $n = Net::NNTP->new($host_port);
  96         my $list = $n->list;
  97         is_deeply($list, { $group => [ qw(1 1 n) ] }, 'LIST works');
  98         is_deeply([$n->group($group)], [ qw(0 1 1), $group ], 'GROUP works');
  99
 100         %opts = (
 101                 PeerAddr => $host_port,
 102                 Proto => 'tcp',
 103                 Type => SOCK_STREAM,
 104                 Timeout => 1,
 105         );
 106         my $mid = '<nntp@example.com>';
 107         my %xhdr = (
 108                 'message-id' => $mid,
 109                 'subject' => 'hihi',
 110                 'date' => 'Thu, 01 Jan 1970 06:06:06 +0000',
 111                 'from' => 'Me <me@example.com>',
 112                 'to' => 'You <you@example.com>',
 113                 'cc' => $addr,
 114                 'xref' => "example.com $group:1"
 115         );
 116
 117         my $s = IO::Socket::INET->new(%opts);
 118         sysread($s, my $buf, 4096);
 119         is($buf, "201 server ready - post via email\r\n", 'got greeting');
 120         $s->autoflush(1);
 121
 122         while (my ($k, $v) = each %xhdr) {
 123                 is_deeply($n->xhdr("$k $mid"), { $mid => $v },
 124                           "XHDR $k by message-id works");
 125                 is_deeply($n->xhdr("$k 1"), { 1 => $v },
 126                           "$k by article number works");
 127                 is_deeply($n->xhdr("$k 1-"), { 1 => $v },
 128                           "$k by article range works");
 129                 next;
 130                 $buf = '';
 131                 syswrite($s, "HDR $k $mid\r\n");
 132                 do {
 133                         sysread($s, $buf, 4096, length($buf));
 134                 } until ($buf =~ /\r\n\.\r\n\z/);
 135                 my @r = split("\r\n", $buf);
 136                 like($r[0], qr/\A224 /, '224 response for HDR');
 137                 is($r[1], "0 $v", 'got expected response for HDR');
 138         }
 139
 140         {
 141                 my $nogroup = Net::NNTP->new($host_port);
 142                 while (my ($k, $v) = each %xhdr) {
 143                         is_deeply($nogroup->xhdr("$k $mid"), { $mid => $v },
 144                                   "$k by message-id works without group");
 145                 }
 146         }
 147
 148         is_deeply($n->xover('1-'), {
 149                 '1' => ['hihi',
 150                         'Me <me@example.com>',
 151                         'Thu, 01 Jan 1970 06:06:06 +0000',
 152                         '<nntp@example.com>',
 153                         '',
 154                         '202',
 155                         '1' ] }, "XOVER range works");
 156
 157         is_deeply($n->xover('1'), {
 158                 '1' => ['hihi',
 159                         'Me <me@example.com>',
 160                         'Thu, 01 Jan 1970 06:06:06 +0000',
 161                         '<nntp@example.com>',
 162                         '',
 163                         '202',
 164                         '1' ] }, "XOVER by article works");
 165
 166         {
 167                 syswrite($s, "OVER $mid\r\n");
 168                 $buf = '';
 169                 do {
 170                         sysread($s, $buf, 4096, length($buf));
 171                 } until ($buf =~ /\r\n\.\r\n\z/);
 172                 my @r = split("\r\n", $buf);
 173                 like($r[0], qr/^224 /, 'got 224 response for OVER');
 174                 is($r[1], "0\thihi\tMe <me\@example.com>\t" .
 175                         "Thu, 01 Jan 1970 06:06:06 +0000\t" .
 176                         "$mid\t\t202\t1", 'OVER by Message-ID works');
 177                 is($r[2], '.', 'correctly terminated response');
 178         }
 179
 180         is_deeply($n->xhdr(qw(Cc 1-)), { 1 => 'test-nntpd@example.com' },
 181                  'XHDR Cc 1- works');
 182         is_deeply($n->xhdr(qw(References 1-)), { 1 => '' },
 183                  'XHDR References 1- works (empty string)');
 184         is_deeply($n->xhdr(qw(list-id 1-)), {},
 185                  'XHDR on invalid header returns empty');
 186
 187         {
 188                 syswrite($s, "HDR List-id 1-\r\n");
 189                 $buf = '';
 190                 do {
 191                         sysread($s, $buf, 4096, length($buf));
 192                 } until ($buf =~ /\r\n\z/);
 193                 my @r = split("\r\n", $buf);
 194                 like($r[0], qr/^5\d\d /,
 195                         'got 5xx response for unoptimized HDR');
 196                 is(scalar @r, 1, 'only one response line');
 197         }
 198
 199         ok(kill('TERM', $pid), 'killed nntpd');
 200         $pid = undef;
 201         waitpid(-1, 0);
 202 }
 203
 204 done_testing();
 205
 206 1;