t/import.t

   1 # Copyright (C) 2016-2018 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 use PublicInbox::MIME;
   7 use PublicInbox::Git;
   8 use PublicInbox::Import;
   9 use PublicInbox::Spawn qw(spawn);
  10 use IO::File;
  11 use Fcntl qw(:DEFAULT);
  12 use File::Temp qw/tempdir tempfile/;
  13 my $dir = tempdir('pi-import-XXXXXX', TMPDIR => 1, CLEANUP => 1);
  14
  15 is(system(qw(git init -q --bare), $dir), 0, 'git init successful');
  16 my $git = PublicInbox::Git->new($dir);
  17
  18 my $im = PublicInbox::Import->new($git, 'testbox', 'test@example');
  19 my $mime = PublicInbox::MIME->create(
  20         header => [
  21                 From => 'a@example.com',
  22                 To => 'b@example.com',
  23                 'Content-Type' => 'text/plain',
  24                 Subject => 'this is a subject',
  25                 'Message-ID' => '<a@example.com>',
  26                 Date => 'Fri, 02 Oct 1993 00:00:00 +0000',
  27         ],
  28         body => "hello world\n",
  29 );
  30
  31 $im->{want_object_id} = 1 if 'v2';
  32 like($im->add($mime), qr/\A:\d+\z/, 'added one message');
  33
  34 if ('v2') {
  35         like($im->{last_object_id}, qr/\A[a-f0-9]{40}\z/, 'got last_object_id');
  36         my @cmd = ('git', "--git-dir=$git->{git_dir}", qw(hash-object --stdin));
  37         my $in = tempfile();
  38         print $in $mime->as_string or die "write failed: $!";
  39         $in->flush or die "flush failed: $!";
  40         $in->seek(0, SEEK_SET);
  41         my $out = tempfile();
  42         my $pid = spawn(\@cmd, {}, { 0 => fileno($in), 1 => fileno($out)});
  43         is(waitpid($pid, 0), $pid, 'waitpid succeeds on hash-object');
  44         is($?, 0, 'hash-object');
  45         $out->seek(0, SEEK_SET);
  46         chomp(my $hashed_obj = <$out>);
  47         is($hashed_obj, $im->{last_object_id}, "last_object_id matches exp");
  48 }
  49
  50 $im->done;
  51 my @revs = $git->qx(qw(rev-list HEAD));
  52 is(scalar @revs, 1, 'one revision created');
  53
  54 $mime->header_set('Message-ID', '<b@example.com>');
  55 $mime->header_set('Subject', 'msg2');
  56 like($im->add($mime, sub { $mime }), qr/\A:\d+\z/, 'added 2nd message');
  57 $im->done;
  58 @revs = $git->qx(qw(rev-list HEAD));
  59 is(scalar @revs, 2, '2 revisions exist');
  60
  61 is($im->add($mime), undef, 'message only inserted once');
  62 $im->done;
  63 @revs = $git->qx(qw(rev-list HEAD));
  64 is(scalar @revs, 2, '2 revisions exist');
  65
  66 foreach my $c ('c'..'z') {
  67         $mime->header_set('Message-ID', "<$c\@example.com>");
  68         $mime->header_set('Subject', "msg - $c");
  69         like($im->add($mime), qr/\A:\d+\z/, "added $c message");
  70 }
  71 $im->done;
  72 @revs = $git->qx(qw(rev-list HEAD));
  73 is(scalar @revs, 26, '26 revisions exist after mass import');
  74 my ($mark, $msg) = $im->remove($mime);
  75 like($mark, qr/\A:\d+\z/, 'got mark');
  76 is(ref($msg), 'PublicInbox::MIME', 'got old message deleted');
  77
  78 is(undef, $im->remove($mime), 'remove is idempotent');
  79
  80 # mismatch on identical Message-ID
  81 $mime->header_set('Message-ID', '<a@example.com>');
  82 ($mark, $msg) = $im->remove($mime);
  83 is($mark, 'MISMATCH', 'mark == MISMATCH on mismatch');
  84 is($msg->header('Message-ID'), '<a@example.com>', 'Message-ID matches');
  85 isnt($msg->header('Subject'), $mime->header('Subject'), 'subject mismatch');
  86
  87 $mime->header_set('Message-Id', '<failcheck@example.com>');
  88 is($im->add($mime, sub { undef }), undef, 'check callback fails');
  89 is($im->remove($mime), undef, 'message not added, so not removed');
  90
  91 $im->done;
  92 done_testing();