]> Sergey Matveev's repositories - public-inbox.git/blob - t/convert-compact.t
public-inbox 1.7.0
[public-inbox.git] / t / convert-compact.t
1 #!perl -w
2 # Copyright (C) 2018-2021 all contributors <meta@public-inbox.org>
3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
4 use strict;
5 use v5.10.1;
6 use PublicInbox::Eml;
7 use PublicInbox::TestCommon;
8 use PublicInbox::Import;
9 require_git(2.6);
10 require_mods(qw(DBD::SQLite Search::Xapian));
11 have_xapian_compact or
12         plan skip_all => 'xapian-compact missing for '.__FILE__;
13 my ($tmpdir, $for_destroy) = tmpdir();
14 my $ibx = create_inbox 'v1', indexlevel => 'medium', tmpdir => "$tmpdir/v1",
15                 pre_cb => sub {
16                         my ($inboxdir) = @_;
17                         PublicInbox::Import::init_bare($inboxdir);
18                         xsys_e(qw(git) , "--git-dir=$inboxdir",
19                                 qw(config core.sharedRepository 0644));
20                 }, sub {
21         my ($im, $ibx) = @_;
22         $im->done;
23         umask(077) or BAIL_OUT "umask: $!";
24         $_[0] = $im = $ibx->importer(0);
25         my $eml = PublicInbox::Eml->new(<<'EOF');
26 From: a@example.com
27 To: b@example.com
28 Subject: this is a subject
29 Message-ID: <a-mid@b>
30 Date: Fri, 02 Oct 1993 00:00:00 +0000
31
32 hello world
33 EOF
34         $im->add($eml) or BAIL_OUT '->add';
35         $im->remove($eml) or BAIL_OUT '->remove';
36         $im->add($eml) or BAIL_OUT '->add';
37 };
38 umask(077) or BAIL_OUT "umask: $!";
39 is(((stat("$ibx->{inboxdir}/public-inbox"))[2]) & 07777, 0755,
40         'sharedRepository respected for v1');
41 is(((stat("$ibx->{inboxdir}/public-inbox/msgmap.sqlite3"))[2]) & 07777, 0644,
42         'sharedRepository respected for v1 msgmap');
43 my @xdir = glob("$ibx->{inboxdir}/public-inbox/xap*/*");
44 foreach (@xdir) {
45         my @st = stat($_);
46         is($st[2] & 07777, -f _ ? 0644 : 0755,
47                 'sharedRepository respected on file after convert');
48 }
49
50 local $ENV{PI_CONFIG} = '/dev/null';
51 my ($out, $err) = ('', '');
52 my $rdr = { 1 => \$out, 2 => \$err };
53
54 my $cmd = [ '-compact', $ibx->{inboxdir} ];
55 ok(run_script($cmd, undef, $rdr), 'v1 compact works');
56
57 @xdir = glob("$ibx->{inboxdir}/public-inbox/xap*");
58 is(scalar(@xdir), 1, 'got one xapian directory after compact');
59 is(((stat($xdir[0]))[2]) & 07777, 0755,
60         'sharedRepository respected on v1 compact');
61
62 my $hwm = do {
63         my $mm = $ibx->mm;
64         $ibx->cleanup;
65         $mm->num_highwater;
66 };
67 ok(defined($hwm) && $hwm > 0, "highwater mark set #$hwm");
68
69 $cmd = [ '-convert', '--no-index', $ibx->{inboxdir}, "$tmpdir/no-index" ];
70 ok(run_script($cmd, undef, $rdr), 'convert --no-index works');
71
72 $cmd = [ '-convert', $ibx->{inboxdir}, "$tmpdir/x/v2" ];
73 ok(run_script($cmd, undef, $rdr), 'convert works');
74 @xdir = glob("$tmpdir/x/v2/xap*/*");
75 foreach (@xdir) {
76         my @st = stat($_);
77         is($st[2] & 07777, -f _ ? 0644 : 0755,
78                 'sharedRepository respected after convert');
79 }
80
81 $cmd = [ '-compact', "$tmpdir/x/v2" ];
82 my $env = { NPROC => 2 };
83 ok(run_script($cmd, $env, $rdr), 'v2 compact works');
84 $ibx->{inboxdir} = "$tmpdir/x/v2";
85 $ibx->{version} = 2;
86 is($ibx->mm->num_highwater, $hwm, 'highwater mark unchanged in v2 inbox');
87
88 @xdir = glob("$tmpdir/x/v2/xap*/*");
89 foreach (@xdir) {
90         my @st = stat($_);
91         is($st[2] & 07777, -f _ ? 0644 : 0755,
92                 'sharedRepository respected after v2 compact');
93 }
94 is(((stat("$tmpdir/x/v2/msgmap.sqlite3"))[2]) & 07777, 0644,
95         'sharedRepository respected for v2 msgmap');
96
97 @xdir = (glob("$tmpdir/x/v2/git/*.git/objects/*/*"),
98          glob("$tmpdir/x/v2/git/*.git/objects/pack/*"));
99 foreach (@xdir) {
100         my @st = stat($_);
101         is($st[2] & 07777, -f _ ? 0444 : 0755,
102                 'sharedRepository respected after v2 compact');
103 }
104 my $msgs = $ibx->recent({limit => 1000});
105 is($msgs->[0]->{mid}, 'a-mid@b', 'message exists in history');
106 is(scalar @$msgs, 1, 'only one message in history');
107
108 $ibx = undef;
109 $err = '';
110 $cmd = [ qw(-index -j0 --reindex -c), "$tmpdir/x/v2" ];
111 ok(run_script($cmd, undef, $rdr), '--reindex -c');
112 like($err, qr/xapian-compact/, 'xapian-compact ran (-c)');
113
114 $rdr->{2} = \(my $err2 = '');
115 $cmd = [ qw(-index -j0 --reindex -cc), "$tmpdir/x/v2" ];
116 ok(run_script($cmd, undef, $rdr), '--reindex -c -c');
117 like($err2, qr/xapian-compact/, 'xapian-compact ran (-c -c)');
118 ok(($err2 =~ tr/\n/\n/) > ($err =~ tr/\n/\n/), '-compacted twice');
119
120 done_testing();