t/nntpd.t

   1 # Copyright (C) 2015 all contributors <meta@public-inbox.org>
   2 # License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 foreach my $mod (qw(DBD::SQLite Search::Xapian Danga::Socket)) {
   7         eval "require $mod";
   8         plan skip_all => "$mod missing for nntpd.t" if $@;
   9 }
  10 require PublicInbox::SearchIdx;
  11 require PublicInbox::Msgmap;
  12 use Cwd;
  13 use Email::Simple;
  14 use IO::Socket;
  15 use Fcntl qw(FD_CLOEXEC F_SETFD F_GETFD);
  16 use Socket qw(SO_KEEPALIVE IPPROTO_TCP TCP_NODELAY);
  17 use File::Temp qw/tempdir/;
  18 use Net::NNTP;
  19 use IPC::Run qw(run);
  20 use Data::Dumper;
  21
  22 my $tmpdir = tempdir(CLEANUP => 1);
  23 my $home = "$tmpdir/pi-home";
  24 my $err = "$tmpdir/stderr.log";
  25 my $out = "$tmpdir/stdout.log";
  26 my $pi_home = "$home/.public-inbox";
  27 my $pi_config = "$pi_home/config";
  28 my $maindir = "$tmpdir/main.git";
  29 my $main_bin = getcwd()."/t/main-bin";
  30 my $main_path = "$main_bin:$ENV{PATH}"; # for spamc ham mock
  31 my $group = 'test-nntpd';
  32 my $addr = $group . '@example.com';
  33 my $cfgpfx = "publicinbox.$group";
  34 my $failbox = "$home/fail.mbox";
  35 local $ENV{PI_EMERGENCY} = $failbox;
  36 my $mda = 'blib/script/public-inbox-mda';
  37 my $nntpd = 'blib/script/public-inbox-nntpd';
  38 my $init = 'blib/script/public-inbox-init';
  39 my $index = 'blib/script/public-inbox-index';
  40
  41 my %opts = (
  42         LocalAddr => '127.0.0.1',
  43         ReuseAddr => 1,
  44         Proto => 'tcp',
  45         Type => SOCK_STREAM,
  46         Listen => 1024,
  47 );
  48 my $sock = IO::Socket::INET->new(%opts);
  49 my $pid;
  50 END { kill 'TERM', $pid if defined $pid };
  51 {
  52         local $ENV{HOME} = $home;
  53         system($init, $group, $maindir, 'http://example.com/', $addr);
  54
  55         # ensure successful message delivery
  56         {
  57                 local $ENV{ORIGINAL_RECIPIENT} = $addr;
  58                 my $simple = Email::Simple->new(<<EOF);
  59 From: Me <me\@example.com>
  60 To: You <you\@example.com>
  61 Cc: $addr
  62 Message-Id: <nntp\@example.com>
  63 Subject: hihi
  64 Date: Thu, 01 Jan 1970 06:06:06 +0000
  65
  66 nntp
  67 EOF
  68                 my $in = $simple->as_string;
  69                 local $ENV{PATH} = $main_path;
  70                 IPC::Run::run([$mda], \$in);
  71                 is(0, $?, 'ran MDA correctly');
  72                 is(0, system($index, $maindir), 'indexed git dir');
  73         }
  74
  75         ok($sock, 'sock created');
  76         $! = 0;
  77         my $fl = fcntl($sock, F_GETFD, 0);
  78         ok(! $!, 'no error from fcntl(F_GETFD)');
  79         is($fl, FD_CLOEXEC, 'cloexec set by default (Perl behavior)');
  80         $pid = fork;
  81         if ($pid == 0) {
  82                 use POSIX qw(dup2);
  83                 # pretend to be systemd
  84                 fcntl($sock, F_SETFD, $fl &= ~FD_CLOEXEC);
  85                 dup2(fileno($sock), 3) or die "dup2 failed: $!\n";
  86                 $ENV{LISTEN_PID} = $$;
  87                 $ENV{LISTEN_FDS} = 1;
  88                 exec $nntpd, "--stdout=$out", "--stderr=$err";
  89                 die "FAIL: $!\n";
  90         }
  91         ok(defined $pid, 'forked nntpd process successfully');
  92         $! = 0;
  93         fcntl($sock, F_SETFD, $fl |= FD_CLOEXEC);
  94         ok(! $!, 'no error from fcntl(F_SETFD)');
  95         my $host_port = $sock->sockhost . ':' . $sock->sockport;
  96         my $n = Net::NNTP->new($host_port);
  97         my $list = $n->list;
  98         is_deeply($list, { $group => [ qw(1 1 n) ] }, 'LIST works');
  99         is_deeply([$n->group($group)], [ qw(0 1 1), $group ], 'GROUP works');
 100
 101         %opts = (
 102                 PeerAddr => $host_port,
 103                 Proto => 'tcp',
 104                 Type => SOCK_STREAM,
 105                 Timeout => 1,
 106         );
 107         my $mid = '<nntp@example.com>';
 108         my %xhdr = (
 109                 'message-id' => $mid,
 110                 'subject' => 'hihi',
 111                 'date' => 'Thu, 01 Jan 1970 06:06:06 +0000',
 112                 'from' => 'Me <me@example.com>',
 113                 'to' => 'You <you@example.com>',
 114                 'cc' => $addr,
 115                 'xref' => "example.com $group:1"
 116         );
 117
 118         my $s = IO::Socket::INET->new(%opts);
 119         sysread($s, my $buf, 4096);
 120         is($buf, "201 server ready - post via email\r\n", 'got greeting');
 121         $s->autoflush(1);
 122
 123         while (my ($k, $v) = each %xhdr) {
 124                 is_deeply($n->xhdr("$k $mid"), { $mid => $v },
 125                           "XHDR $k by message-id works");
 126                 is_deeply($n->xhdr("$k 1"), { 1 => $v },
 127                           "$k by article number works");
 128                 is_deeply($n->xhdr("$k 1-"), { 1 => $v },
 129                           "$k by article range works");
 130                 next;
 131                 $buf = '';
 132                 syswrite($s, "HDR $k $mid\r\n");
 133                 do {
 134                         sysread($s, $buf, 4096, length($buf));
 135                 } until ($buf =~ /\r\n\.\r\n\z/);
 136                 my @r = split("\r\n", $buf);
 137                 like($r[0], qr/\A224 /, '224 response for HDR');
 138                 is($r[1], "0 $v", 'got expected response for HDR');
 139         }
 140
 141         {
 142                 my $nogroup = Net::NNTP->new($host_port);
 143                 while (my ($k, $v) = each %xhdr) {
 144                         is_deeply($nogroup->xhdr("$k $mid"), { $mid => $v },
 145                                   "$k by message-id works without group");
 146                 }
 147         }
 148
 149         is_deeply($n->xover('1-'), {
 150                 '1' => ['hihi',
 151                         'Me <me@example.com>',
 152                         'Thu, 01 Jan 1970 06:06:06 +0000',
 153                         '<nntp@example.com>',
 154                         '',
 155                         '202',
 156                         '1' ] }, "XOVER range works");
 157
 158         is_deeply($n->xover('1'), {
 159                 '1' => ['hihi',
 160                         'Me <me@example.com>',
 161                         'Thu, 01 Jan 1970 06:06:06 +0000',
 162                         '<nntp@example.com>',
 163                         '',
 164                         '202',
 165                         '1' ] }, "XOVER by article works");
 166
 167         {
 168                 syswrite($s, "OVER $mid\r\n");
 169                 $buf = '';
 170                 do {
 171                         sysread($s, $buf, 4096, length($buf));
 172                 } until ($buf =~ /\r\n\.\r\n\z/);
 173                 my @r = split("\r\n", $buf);
 174                 like($r[0], qr/^224 /, 'got 224 response for OVER');
 175                 is($r[1], "0\thihi\tMe <me\@example.com>\t" .
 176                         "Thu, 01 Jan 1970 06:06:06 +0000\t" .
 177                         "$mid\t\t202\t1", 'OVER by Message-ID works');
 178                 is($r[2], '.', 'correctly terminated response');
 179         }
 180
 181         is_deeply($n->xhdr(qw(Cc 1-)), { 1 => 'test-nntpd@example.com' },
 182                  'XHDR Cc 1- works');
 183         is_deeply($n->xhdr(qw(References 1-)), { 1 => '' },
 184                  'XHDR References 1- works (empty string)');
 185         is_deeply($n->xhdr(qw(list-id 1-)), {},
 186                  'XHDR on invalid header returns empty');
 187
 188         {
 189                 syswrite($s, "HDR List-id 1-\r\n");
 190                 $buf = '';
 191                 do {
 192                         sysread($s, $buf, 4096, length($buf));
 193                 } until ($buf =~ /\r\n\z/);
 194                 my @r = split("\r\n", $buf);
 195                 like($r[0], qr/^5\d\d /,
 196                         'got 5xx response for unoptimized HDR');
 197                 is(scalar @r, 1, 'only one response line');
 198         }
 199
 200         ok(kill('TERM', $pid), 'killed nntpd');
 201         $pid = undef;
 202         waitpid(-1, 0);
 203 }
 204
 205 done_testing();
 206
 207 1;