t/convert-compact.t

   1 # Copyright (C) 2018-2019 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3 use strict;
   4 use warnings;
   5 use Test::More;
   6 use File::Temp qw/tempdir/;
   7 use PublicInbox::MIME;
   8 use PublicInbox::Spawn qw(which);
   9 require './t/common.perl';
  10 require_git(2.6);
  11 my @mods = qw(DBD::SQLite Search::Xapian);
  12 foreach my $mod (@mods) {
  13         eval "require $mod";
  14         plan skip_all => "$mod missing for convert-compact.t" if $@;
  15 }
  16 which('xapian-compact') or
  17         plan skip_all => 'xapian-compact missing for '.__FILE__;
  18
  19 use_ok 'PublicInbox::V2Writable';
  20 use PublicInbox::Import;
  21 my $tmpdir = tempdir('convert-compact-XXXXXX', TMPDIR => 1, CLEANUP => 1);
  22 my $ibx = {
  23         inboxdir => "$tmpdir/v1",
  24         name => 'test-v1',
  25         -primary_address => 'test@example.com',
  26 };
  27
  28 ok(PublicInbox::Import::run_die([qw(git init --bare -q), $ibx->{inboxdir}]),
  29         'initialized v1 repo');
  30 ok(umask(077), 'set restrictive umask');
  31 ok(PublicInbox::Import::run_die([qw(git) , "--git-dir=$ibx->{inboxdir}",
  32         qw(config core.sharedRepository 0644)]), 'set sharedRepository');
  33 $ibx = PublicInbox::Inbox->new($ibx);
  34 my $im = PublicInbox::Import->new($ibx->git, undef, undef, $ibx);
  35 my $mime = PublicInbox::MIME->create(
  36         header => [
  37                 From => 'a@example.com',
  38                 To => 'test@example.com',
  39                 Subject => 'this is a subject',
  40                 'Message-ID' => '<a-mid@b>',
  41                 Date => 'Fri, 02 Oct 1993 00:00:00 +0000',
  42         ],
  43         body => "hello world\n",
  44 );
  45 ok($im->add($mime), 'added one message');
  46 ok($im->remove($mime), 'remove message');
  47 ok($im->add($mime), 'added message again');
  48 $im->done;
  49 for (1..2) {
  50         eval { PublicInbox::SearchIdx->new($ibx, 1)->index_sync; };
  51         is($@, '', 'no errors syncing');
  52 }
  53
  54 is(((stat("$ibx->{inboxdir}/public-inbox"))[2]) & 07777, 0755,
  55         'sharedRepository respected for v1');
  56 is(((stat("$ibx->{inboxdir}/public-inbox/msgmap.sqlite3"))[2]) & 07777, 0644,
  57         'sharedRepository respected for v1 msgmap');
  58 my @xdir = glob("$ibx->{inboxdir}/public-inbox/xap*/*");
  59 foreach (@xdir) {
  60         my @st = stat($_);
  61         is($st[2] & 07777, -f _ ? 0644 : 0755,
  62                 'sharedRepository respected on file after convert');
  63 }
  64
  65 local $ENV{PI_CONFIG} = '/dev/null';
  66 my ($out, $err) = ('', '');
  67 my $rdr = { 1 => \$out, 2 => \$err };
  68
  69 my $cmd = [ '-compact', $ibx->{inboxdir} ];
  70 ok(run_script($cmd, undef, $rdr), 'v1 compact works');
  71
  72 @xdir = glob("$ibx->{inboxdir}/public-inbox/xap*");
  73 is(scalar(@xdir), 1, 'got one xapian directory after compact');
  74 is(((stat($xdir[0]))[2]) & 07777, 0755,
  75         'sharedRepository respected on v1 compact');
  76
  77 $cmd = [ '-convert', $ibx->{inboxdir}, "$tmpdir/v2" ];
  78 ok(run_script($cmd, undef, $rdr), 'convert works');
  79 @xdir = glob("$tmpdir/v2/xap*/*");
  80 foreach (@xdir) {
  81         my @st = stat($_);
  82         is($st[2] & 07777, -f _ ? 0644 : 0755,
  83                 'sharedRepository respected after convert');
  84 }
  85
  86 $cmd = [ '-compact', "$tmpdir/v2" ];
  87 my $env = { NPROC => 2 };
  88 ok(run_script($cmd, $env, $rdr), 'v2 compact works');
  89 $ibx->{inboxdir} = "$tmpdir/v2";
  90 $ibx->{version} = 2;
  91
  92 @xdir = glob("$tmpdir/v2/xap*/*");
  93 foreach (@xdir) {
  94         my @st = stat($_);
  95         is($st[2] & 07777, -f _ ? 0644 : 0755,
  96                 'sharedRepository respected after v2 compact');
  97 }
  98 is(((stat("$tmpdir/v2/msgmap.sqlite3"))[2]) & 07777, 0644,
  99         'sharedRepository respected for v2 msgmap');
 100
 101 @xdir = (glob("$tmpdir/v2/git/*.git/objects/*/*"),
 102          glob("$tmpdir/v2/git/*.git/objects/pack/*"));
 103 foreach (@xdir) {
 104         my @st = stat($_);
 105         is($st[2] & 07777, -f _ ? 0444 : 0755,
 106                 'sharedRepository respected after v2 compact');
 107 }
 108 my $msgs = $ibx->recent({limit => 1000});
 109 is($msgs->[0]->{mid}, 'a-mid@b', 'message exists in history');
 110 is(scalar @$msgs, 1, 'only one message in history');
 111
 112 done_testing();