t/lei-index.t

   1 #!perl -w
   2 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 use File::Spec;
   6 require_mods(qw(lei -nntpd));
   7 my ($ro_home, $cfg_path) = setup_public_inboxes;
   8 my ($tmpdir, $for_destroy) = tmpdir;
   9 my $env = { PI_CONFIG => $cfg_path };
  10
  11 my $sock = tcp_server;
  12 my $cmd = [ '-nntpd', '-W0', "--stdout=$tmpdir/n1", "--stderr=$tmpdir/n2" ];
  13 my $nntpd = start_script($cmd, $env, { 3 => $sock }) or BAIL_OUT("-nntpd $?");
  14 my $nntp_host_port = tcp_host_port($sock);
  15
  16 $sock = tcp_server;
  17 $cmd = [ '-imapd', '-W0', "--stdout=$tmpdir/i1", "--stderr=$tmpdir/i2" ];
  18 my $imapd = start_script($cmd, $env, { 3 => $sock }) or BAIL_OUT("-imapd $?");
  19 my $imap_host_port = tcp_host_port($sock);
  20 undef $sock;
  21 for ('', qw(cur new)) {
  22         mkdir "$tmpdir/md/$_" or xbail "mkdir: $!";
  23         mkdir "$tmpdir/md1/$_" or xbail "mkdir: $!";
  24 }
  25 symlink(File::Spec->rel2abs('t/plack-qp.eml'), "$tmpdir/md/cur/x:2,");
  26 my $expect = do {
  27         open my $fh, '<', 't/plack-qp.eml' or xbail $!;
  28         local $/;
  29         <$fh>;
  30 };
  31
  32 # mbsync and offlineimap both put ":2," in "new/" files:
  33 symlink(File::Spec->rel2abs('t/utf8.eml'), "$tmpdir/md/new/u:2,") or
  34         xbail "symlink $!";
  35
  36 symlink(File::Spec->rel2abs('t/mda-mime.eml'), "$tmpdir/md1/cur/x:2,S") or
  37         xbail "symlink $!";
  38
  39 test_lei({ tmpdir => $tmpdir }, sub {
  40         my $store_path = "$ENV{HOME}/.local/share/lei/store/";
  41
  42         lei_ok('index', "$tmpdir/md");
  43         lei_ok(qw(q mid:qp@example.com));
  44         my $res_a = json_utf8->decode($lei_out);
  45         my $blob = $res_a->[0]->{'blob'};
  46         like($blob, qr/\A[0-9a-f]{40,}\z/, 'got blob from qp@example');
  47         lei_ok(qw(-C / blob), $blob);
  48         is($lei_out, $expect, 'got expected blob via Maildir');
  49         lei_ok(qw(q mid:qp@example.com -f text));
  50         like($lei_out, qr/^hi = bye/sm, 'lei2mail fallback');
  51
  52         lei_ok(qw(q mid:testmessage@example.com -f text));
  53         lei_ok(qw(-C / blob --mail 9bf1002c49eb075df47247b74d69bcd555e23422));
  54
  55         my $all_obj = ['git', "--git-dir=$store_path/ALL.git",
  56                         qw(cat-file --batch-check --batch-all-objects)];
  57         is_deeply([xqx($all_obj)], [], 'no git objects');
  58         lei_ok('import', 't/plack-qp.eml');
  59         ok(grep(/\A$blob blob /, my @objs = xqx($all_obj)),
  60                 'imported blob');
  61         lei_ok(qw(q m:qp@example.com --dedupe=none));
  62         my $res_b = json_utf8->decode($lei_out);
  63         is_deeply($res_b, $res_a, 'no extra DB entries');
  64
  65         # ensure tag works on index-only messages:
  66         lei_ok(qw(tag +kw:seen t/utf8.eml));
  67         lei_ok(qw(q mid:testmessage@example.com));
  68         is_deeply(json_utf8->decode($lei_out)->[0]->{kw},
  69                 ['seen'], 'seen kw can be set on index-only message');
  70
  71         lei_ok(qw(q z:0.. -o), "$tmpdir/all-results") for (1..2);
  72         is_deeply([xqx($all_obj)], \@objs,
  73                 'no new objects after 2x q to trigger implicit import');
  74
  75         lei_ok 'index', "$tmpdir/md1/cur/x:2,S";
  76         lei_ok qw(q m:multipart-html-sucks@11);
  77         is_deeply(json_utf8->decode($lei_out)->[0]->{'kw'},
  78                 ['seen'], 'keyword set');
  79
  80         lei_ok('index', "nntp://$nntp_host_port/t.v2");
  81         lei_ok('index', "imap://$imap_host_port/t.v2.0");
  82         is_deeply([xqx($all_obj)], \@objs, 'no new objects from NNTP+IMAP');
  83
  84         lei_ok qw(q m:multipart-html-sucks@11);
  85         $res_a = json_utf8->decode($lei_out)->[0];
  86         is_deeply($res_a->{'kw'}, ['seen'],
  87                 'keywords still set after NNTP + IMAP import');
  88
  89         # ensure import works after lms->local_blob fallback in lei/store
  90         lei_ok('import', 't/mda-mime.eml');
  91         lei_ok qw(q m:multipart-html-sucks@11);
  92         $res_b = json_utf8->decode($lei_out)->[0];
  93         my $t = xqx(['git', "--git-dir=$store_path/ALL.git",
  94                         qw(cat-file -t), $res_b->{blob}]);
  95         is($t, "blob\n", 'got blob');
  96 });
  97
  98 done_testing;