t/lei-q-save.t

   1 #!perl -w
   2 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 use PublicInbox::Smsg;
   6 use List::Util qw(sum);
   7 use File::Path qw(remove_tree);
   8
   9 my $doc1 = eml_load('t/plack-qp.eml');
  10 $doc1->header_set('Date', PublicInbox::Smsg::date({ds => time - (86400 * 5)}));
  11 my $doc2 = eml_load('t/utf8.eml');
  12 $doc2->header_set('Date', PublicInbox::Smsg::date({ds => time - (86400 * 4)}));
  13 my $doc3 = eml_load('t/msg_iter-order.eml');
  14 $doc3->header_set('Date', PublicInbox::Smsg::date({ds => time - (86400 * 4)}));
  15
  16 my $pre_existing = <<'EOF';
  17 From x Mon Sep 17 00:00:00 2001
  18 Message-ID: <import-before@example.com>
  19 Subject: pre-existing
  20 Date: Sat, 02 Oct 2010 00:00:00 +0000
  21
  22 blah
  23 EOF
  24
  25 test_lei(sub {
  26         my $home = $ENV{HOME};
  27         my $in = $doc1->as_string;
  28         lei_ok [qw(import -q -F eml -)], undef, { 0 => \$in, %$lei_opt };
  29         lei_ok qw(q -q z:0.. d:last.week..), '-o', "MAILDIR:$home/md/";
  30         my %before = map { $_ => 1 } glob("$home/md/cur/*");
  31         my $f = (keys %before)[0] or xbail({before => \%before});
  32         is_deeply(eml_load($f), $doc1, 'doc1 matches');
  33         lei_ok qw(ls-mail-sync);
  34         is($lei_out, "maildir:$home/md\n", 'canonicalized mail sync name');
  35
  36         my @s = glob("$home/.local/share/lei/saved-searches/md-*");
  37         is(scalar(@s), 1, 'got one saved search');
  38         my $cfg = PublicInbox::Config->new("$s[0]/lei.saved-search");
  39         is($cfg->{'lei.q.output'}, "maildir:$home/md", 'canonicalized output');
  40         is_deeply($cfg->{'lei.q'}, ['z:0..', 'd:last.week..'],
  41                 'store relative time, not parsed (absolute) timestamp');
  42
  43         # ensure "lei up" works, since it compliments "lei q --save"
  44         $in = $doc2->as_string;
  45         lei_ok [qw(import -q -F eml -)], undef, { 0 => \$in, %$lei_opt };
  46         lei_ok qw(up -q md -C), $home;
  47         lei_ok qw(up -q . -C), "$home/md";
  48         lei_ok qw(up -q), "/$home/md";
  49         my %after = map { $_ => 1 } glob("$home/md/{new,cur}/*");
  50         is(delete $after{(keys(%before))[0]}, 1, 'original message kept');
  51         is(scalar(keys %after), 1, 'one new message added');
  52         $f = (keys %after)[0] or xbail({after => \%after});
  53         is_deeply(eml_load($f), $doc2, 'doc2 matches');
  54
  55         # check stdin
  56         lei_ok [qw(q - -o), "mboxcl2:mbcl2" ], undef,
  57                 { -C => $home, %$lei_opt, 0 => \'d:last.week..'};
  58         @s = glob("$home/.local/share/lei/saved-searches/mbcl2-*");
  59         $cfg = PublicInbox::Config->new("$s[0]/lei.saved-search");
  60         is_deeply $cfg->{'lei.q'}, 'd:last.week..',
  61                 'q --stdin stores relative time';
  62         my $size = -s "$home/mbcl2";
  63         ok(defined($size) && $size > 0, 'results written');
  64         lei_ok([qw(up mbcl2)], undef, { -C => $home, %$lei_opt });
  65         is(-s "$home/mbcl2", $size, 'size unchanged on noop up');
  66
  67         $in = $doc3->as_string;
  68         lei_ok [qw(import -q -F eml -)], undef, { 0 => \$in, %$lei_opt };
  69         lei_ok([qw(up mbcl2)], undef, { -C => $home, %$lei_opt });
  70         ok(-s "$home/mbcl2" > $size, 'size increased after up');
  71
  72         ok(!lei(qw(up -q), $home), 'up fails on unknown dir');
  73         like($lei_err, qr/--no-save was used/, 'error noted --no-save');
  74
  75         lei_ok(qw(q --no-save d:last.week.. -q -o), "$home/no-save");
  76         ok(!lei(qw(up -q), "$home/no-save"), 'up fails on --no-save');
  77         like($lei_err, qr/--no-save was used/, 'error noted --no-save');
  78
  79         lei_ok qw(ls-search); my @d = split(/\n/, $lei_out);
  80         lei_ok qw(ls-search -z); my @z = split(/\0/, $lei_out);
  81         is_deeply(\@d, \@z, '-z output matches non-z');
  82         is_deeply(\@d, [ "$home/mbcl2", "$home/md" ],
  83                 'ls-search output alphabetically sorted');
  84         lei_ok qw(ls-search -l);
  85         my $json = PublicInbox::Config->json->decode($lei_out);
  86         ok($json && $json->[0]->{output}, 'JSON has output');
  87         lei_ok qw(_complete lei up);
  88         like($lei_out, qr!^\Q$home/mbcl2\E$!sm, 'complete got mbcl2 output');
  89         like($lei_out, qr!^\Q$home/md\E$!sm, 'complete got maildir output');
  90
  91         unlink("$home/mbcl2") or xbail "unlink $!";
  92         lei_ok qw(_complete lei up);
  93         like($lei_out, qr!^\Q$home/mbcl2\E$!sm,
  94                 'mbcl2 output shown despite unlink');
  95         lei_ok([qw(up mbcl2)], undef, { -C => $home, %$lei_opt });
  96         ok(-f "$home/mbcl2"  && -s _ == 0, 'up recreates on missing output');
  97
  98         # no --augment
  99         open my $mb, '>', "$home/mbrd" or xbail "open $!";
 100         print $mb $pre_existing;
 101         close $mb or xbail "close: $!";
 102         lei_ok(qw(q -o mboxrd:mbrd m:qp@example.com -C), $home);
 103         open $mb, '<', "$home/mbrd" or xbail "open $!";
 104         is_deeply([grep(/pre-existing/, <$mb>)], [],
 105                 'pre-existing messsage gone w/o augment');
 106         close $mb;
 107         lei_ok(qw(q m:import-before@example.com));
 108         is(json_utf8->decode($lei_out)->[0]->{'s'},
 109                 'pre-existing', '--save imported before clobbering');
 110
 111         # --augment
 112         open $mb, '>', "$home/mbrd-aug" or xbail "open $!";
 113         print $mb $pre_existing;
 114         close $mb or xbail "close: $!";
 115         lei_ok(qw(q -a -o mboxrd:mbrd-aug m:qp@example.com -C), $home);
 116         open $mb, '<', "$home/mbrd-aug" or xbail "open $!";
 117         $mb = do { local $/; <$mb> };
 118         like($mb, qr/pre-existing/, 'pre-existing message preserved w/ -a');
 119         like($mb, qr/<qp\@example\.com>/, 'new result written w/ -a');
 120
 121         lei_ok(qw(up --all=local));
 122
 123         ok(!lei(qw(forget-search), "$home/bogus"), 'bogus forget');
 124         like($lei_err, qr/--save was not used/, 'error noted --save');
 125
 126         lei_ok qw(_complete lei forget-search);
 127         like($lei_out, qr/mbrd-aug/, 'forget-search completion');
 128         lei_ok(qw(forget-search -v), "$home/mbrd-aug");
 129         is($lei_out, '', 'no output');
 130         like($lei_err, qr/\bmbrd-aug\b/, '-v (verbose) reported unlinks');
 131         lei_ok qw(_complete lei forget-search);
 132         unlike($lei_out, qr/mbrd-aug/,
 133                 'forget-search completion cleared after forget');
 134         ok(!lei('up', "$home/mbrd-aug"), 'lei up fails after forget');
 135         like($lei_err, qr/--no-save was used/, 'error noted --no-save');
 136
 137         # dedupe=mid
 138         my $o = "$home/dd-mid";
 139         $in = $doc2->as_string . "\n-------\nappended list sig\n";
 140         lei_ok [qw(import -q -F eml -)], undef, { 0 => \$in, %$lei_opt };
 141         lei_ok(qw(q --dedupe=mid m:testmessage@example.com -o), $o);
 142         my @m = glob("$o/cur/*");
 143         is(scalar(@m), 1, '--dedupe=mid w/ --save');
 144         $in = $doc2->as_string . "\n-------\nanother list sig\n";
 145         lei_ok [qw(import -q -F eml -)], undef, { 0 => \$in, %$lei_opt };
 146         lei_ok 'up', $o;
 147         is_deeply([glob("$o/cur/*")], \@m, 'lei up dedupe=mid works');
 148
 149         for my $dd (qw(content)) {
 150                 $o = "$home/dd-$dd";
 151                 lei_ok(qw(q m:testmessage@example.com -o), $o, "--dedupe=$dd");
 152                 @m = glob("$o/cur/*");
 153                 is(scalar(@m), 3, 'all 3 matches with dedupe='.$dd);
 154         }
 155
 156         # dedupe=oid
 157         $o = "$home/dd-oid";
 158         my $ibx = create_inbox 'ibx', indexlevel => 'medium',
 159                         tmpdir => "$home/v1", sub {};
 160         lei_ok(qw(q --dedupe=oid m:qp@example.com -o), $o,
 161                 '-I', $ibx->{inboxdir});
 162         @m = glob("$o/cur/*");
 163         is(scalar(@m), 1, 'got first result');
 164
 165         my $im = $ibx->importer(0);
 166         my $diff = "X-Insignificant-Header: x\n".$doc1->as_string;
 167         $im->add(PublicInbox::Eml->new($diff));
 168         $im->done;
 169         lei_ok('up', $o);
 170         @m = glob("$o/{new,cur}/*");
 171         is(scalar(@m), 2, 'got 2nd result due to different OID');
 172
 173         SKIP: {
 174                 symlink($o, "$home/ln -s") or
 175                         skip "symlinks not supported in $home?: $!", 1;
 176                 lei_ok('up', "$home/ln -s");
 177                 lei_ok('forget-search', "$home/ln -s");
 178         };
 179
 180         my $v2 = "$home/v2"; # v2: as an output destination
 181         my (@before, @after);
 182         require PublicInbox::MboxReader;
 183         lei_ok(qw(q z:0.. -o), "v2:$v2");
 184         like($lei_err, qr/^# ([1-9][0-9]*) written to \Q$v2\E/sm,
 185                 'non-zero write output to stderr');
 186         lei_ok(qw(q z:0.. -o), "mboxrd:$home/before", '--only', $v2, '-j1,1');
 187         open my $fh, '<', "$home/before";
 188         PublicInbox::MboxReader->mboxrd($fh, sub { push @before, $_[0] });
 189         isnt(scalar(@before), 0, 'initial v2 written');
 190         my $orig = sum(map { -f $_ ? -s _ : () } (
 191                         glob("$v2/git/0.git/objects/*/*")));
 192         lei_ok(qw(import t/data/0001.patch));
 193         lei_ok 'up', $v2;
 194         lei_ok(qw(q z:0.. -o), "mboxrd:$home/after", '--only', $v2, '-j1,1');
 195         open $fh, '<', "$home/after";
 196         PublicInbox::MboxReader->mboxrd($fh, sub { push @after, $_[0] });
 197
 198         my $last = shift @after;
 199         $last->header_set('Status');
 200         is_deeply($last, eml_load('t/data/0001.patch'), 'lei up worked on v2');
 201         is_deeply(\@before, \@after, 'got same results');
 202
 203         my $v2s = "$home/v2s";
 204         lei_ok(qw(q --shared z:0.. -o), "v2:$v2s");
 205         my $shared = sum(map { -f $_ ? -s _ : () } (
 206                         glob("$v2s/git/0.git/objects/*/*")));
 207         ok($shared < $orig, 'fewer bytes stored with --shared') or
 208                 diag "shared=$shared orig=$orig";
 209
 210         lei_ok([qw(edit-search), $v2s], { VISUAL => 'cat', EDITOR => 'cat' });
 211         like($lei_out, qr/^\[lei/sm, 'edit-search can cat');
 212
 213         lei_ok('-C', "$home/v2s", qw(q -q -o ../s m:testmessage@example.com));
 214         lei_ok qw(ls-search);
 215         unlike $lei_out, qr{/\.\./s$}sm, 'relative path not in ls-search';
 216         like $lei_out, qr{^\Q$home\E/s$}sm,
 217                 'absolute path appears in ls-search';
 218         lei_ok qw(up ../s -C), "$home/v2s", \'relative lei up';
 219         lei_ok qw(up), "$home/s", \'absolute lei up';
 220
 221         # mess up a config file
 222         my @lss = glob("$home/" .
 223                 '.local/share/lei/saved-searches/*/lei.saved-search');
 224         my $out = xqx([qw(git config -f), $lss[0], 'lei.q.output']);
 225         xsys($^X, qw(-i -p -e), "s/\\[/\\0/", $lss[0])
 226                 and xbail "-ipe $lss[0]: $?";
 227         lei_ok qw(ls-search);
 228         like($lei_err, qr/bad config line.*?\Q$lss[0]\E/,
 229                 'git config parse error shown w/ lei ls-search');
 230         lei_ok qw(up --all), \'up works with bad config';
 231         like($lei_err, qr/bad config line.*?\Q$lss[0]\E/,
 232                 'git config parse error shown w/ lei up');
 233         xsys($^X, qw(-i -p -e), "s/\\0/\\[/", $lss[0])
 234                 and xbail "-ipe $lss[0]: $?";
 235         lei_ok qw(ls-search);
 236         is($lei_err, '', 'no errors w/ fixed config');
 237
 238         like($lei_out, qr!\Q$home/after\E!, "`after' in ls-search");
 239         remove_tree("$home/after");
 240         lei_ok qw(forget-search --prune);
 241         lei_ok qw(ls-search);
 242         unlike($lei_out, qr!\Q$home/after\E!, "`after' pruned");
 243
 244         my $d = "$home/d";
 245         lei_ok [qw(import -q -F eml)], undef,
 246                 {0 => \"Subject: do not call\n\n"};
 247         lei_ok qw(q -o), $d, 's:do not call';
 248
 249         my @orig = glob("$d/*/*");
 250         is(scalar(@orig), 1, 'got one message via argv');
 251         lei_ok [qw(import -q -Feml)], undef,
 252                 {0 => \"Subject: do not ever call\n\n"};
 253         lei_ok 'up', $d;
 254         is_deeply([glob("$d/*/*")], \@orig, 'nothing written');
 255         lei_ok [qw(import -q -Feml)], undef,
 256                 {0 => \"Subject: do not call, ever\n\n"};
 257         lei_ok 'up', $d;
 258         @after = glob("$d/*/*");
 259         is(scalar(@after), 2, '2 total, messages, now');
 260         is_deeply([glob("$d/cur/*")], \@orig, 'cur untouched');
 261         my @new = glob("$d/new/*");
 262         is(scalar(@new), 1, "new message written to `new'");
 263         is(eml_load($new[0])->header('Subject'), 'do not call, ever',
 264                 'up retrieved correct message');
 265
 266         $d = "$home/d-stdin";
 267         lei_ok [ qw(q -q -o), $d ], undef, { 0 => \'s:"do not ever call"' };
 268         @orig = glob("$d/*/*");
 269         is(scalar(@orig), 1, 'got one message via stdin');
 270
 271         lei_ok [qw(import -q -Feml)], undef,
 272                 {0 => \"Subject: do not fall or ever call\n\n"};
 273         lei_ok [qw(import -q -Feml)], undef,
 274                 {0 => \"Subject: do not ever call, again\n\n"};
 275         lei_ok 'up', $d;
 276         @new = glob("$d/new/*");
 277         is(scalar(@new), 1, "new message written to `new'") or do {
 278                 for (@new) { diag "$_ ".eml_load($_)->header('Subject') }
 279         };
 280         is_deeply([glob("$d/cur/*")], \@orig, 'cur untouched');
 281         is(eml_load($new[0])->header('Subject'), 'do not ever call, again',
 282                 'up retrieved correct message');
 283
 284 });
 285 done_testing;