t/lei_store.t

   1 #!perl -w
   2 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use v5.10.1;
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 require_mods(qw(DBD::SQLite Search::Xapian));
   9 require_git 2.6;
  10 require_ok 'PublicInbox::LeiStore';
  11 require_ok 'PublicInbox::ExtSearch';
  12 my ($home, $for_destroy) = tmpdir();
  13 my $opt = { 1 => \(my $out = ''), 2 => \(my $err = '') };
  14 my $store_dir = "$home/lst";
  15 my $lst = PublicInbox::LeiStore->new($store_dir, { creat => 1 });
  16 ok($lst, '->new');
  17 my $smsg = $lst->add_eml(eml_load('t/data/0001.patch'));
  18 like($smsg->{blob}, qr/\A[0-9a-f]+\z/, 'add returned OID');
  19 my $eml = eml_load('t/data/0001.patch');
  20 is($lst->add_eml($eml), undef, 'idempotent');
  21 $lst->done;
  22 is_deeply([$lst->mbox_keywords($eml)], [], 'no keywords');
  23 $eml->header_set('Status', 'RO');
  24 is_deeply([$lst->mbox_keywords($eml)], ['seen'], 'seen extracted');
  25 $eml->header_set('X-Status', 'A');
  26 is_deeply([$lst->mbox_keywords($eml)], [qw(answered seen)],
  27         'seen+answered extracted');
  28 $eml->header_set($_) for qw(Status X-Status);
  29
  30 is_deeply([$lst->maildir_keywords('/foo:2,')], [], 'Maildir no keywords');
  31 is_deeply([$lst->maildir_keywords('/foo:2,S')], ['seen'], 'Maildir seen');
  32 is_deeply([$lst->maildir_keywords('/foo:2,RS')], ['answered', 'seen'],
  33         'Maildir answered + seen');
  34 is_deeply([$lst->maildir_keywords('/foo:2,RSZ')], ['answered', 'seen'],
  35         'Maildir answered + seen w/o Z');
  36 {
  37         my $es = $lst->search;
  38         my $msgs = $es->over->query_xover(0, 1000);
  39         is(scalar(@$msgs), 1, 'one message');
  40         is($msgs->[0]->{blob}, $smsg->{blob}, 'blob matches');
  41         my $mset = $es->mset("mid:$msgs->[0]->{mid}");
  42         is($mset->size, 1, 'search works');
  43         is_deeply($es->mset_to_artnums($mset), [ $msgs->[0]->{num} ],
  44                 'mset_to_artnums');
  45         my @kw = $es->msg_keywords(($mset->items)[0]);
  46         is_deeply(\@kw, [], 'no flags');
  47 }
  48
  49 for my $parallel (0, 1) {
  50         $lst->{priv_eidx}->{parallel} = $parallel;
  51         my $docids = $lst->set_eml_keywords($eml, qw(seen draft));
  52         is(scalar @$docids, 1, 'set keywords on one doc');
  53         $lst->done;
  54         my @kw = $lst->search->msg_keywords($docids->[0]);
  55         is_deeply(\@kw, [qw(draft seen)], 'kw matches');
  56
  57         $docids = $lst->add_eml_keywords($eml, qw(seen draft));
  58         $lst->done;
  59         is(scalar @$docids, 1, 'idempotently added keywords to doc');
  60         @kw = $lst->search->msg_keywords($docids->[0]);
  61         is_deeply(\@kw, [qw(draft seen)], 'kw matches after noop');
  62
  63         $docids = $lst->remove_eml_keywords($eml, qw(seen draft));
  64         is(scalar @$docids, 1, 'removed from one doc');
  65         $lst->done;
  66         @kw = $lst->search->msg_keywords($docids->[0]);
  67         is_deeply(\@kw, [], 'kw matches after remove');
  68
  69         $docids = $lst->remove_eml_keywords($eml, qw(answered));
  70         is(scalar @$docids, 1, 'removed from one doc (idempotently)');
  71         $lst->done;
  72         @kw = $lst->search->msg_keywords($docids->[0]);
  73         is_deeply(\@kw, [], 'kw matches after remove (idempotent)');
  74
  75         $docids = $lst->add_eml_keywords($eml, qw(answered));
  76         is(scalar @$docids, 1, 'added to empty doc');
  77         $lst->done;
  78         @kw = $lst->search->msg_keywords($docids->[0]);
  79         is_deeply(\@kw, ['answered'], 'kw matches after add');
  80
  81         $docids = $lst->set_eml_keywords($eml);
  82         is(scalar @$docids, 1, 'set to clobber');
  83         $lst->done;
  84         @kw = $lst->search->msg_keywords($docids->[0]);
  85         is_deeply(\@kw, [], 'set clobbers all');
  86
  87         my $set = eml_load('t/plack-qp.eml');
  88         $set->header_set('Message-ID', "<set\@$parallel>");
  89         my $ret = $lst->set_eml($set, 'seen');
  90         is(ref $ret, 'PublicInbox::Smsg', 'initial returns smsg');
  91         my $ids = $lst->set_eml($set, qw(seen));
  92         is_deeply($ids, [ $ret->{num} ], 'set_eml idempotent');
  93         $ids = $lst->set_eml($set, qw(seen answered));
  94         is_deeply($ids, [ $ret->{num} ], 'set_eml to change kw');
  95         $lst->done;
  96         @kw = $lst->search->msg_keywords($ids->[0]);
  97         is_deeply(\@kw, [qw(answered seen)], 'set changed kw');
  98 }
  99
 100 SKIP: {
 101         require_mods(qw(Storable), 1);
 102         ok($lst->can('ipc_do'), 'ipc_do works if we have Storable');
 103         $eml->header_set('Message-ID', '<ipc-test@example>');
 104         my $pid = $lst->ipc_worker_spawn('lei-store');
 105         ok($pid > 0, 'got a worker');
 106         my $smsg = $lst->ipc_do('set_eml', $eml, qw(seen));
 107         is(ref($smsg), 'PublicInbox::Smsg', 'set_eml works over ipc');
 108         my $ids = $lst->ipc_do('set_eml', $eml, qw(seen));
 109         is_deeply($ids, [ $smsg->{num} ], 'docid returned');
 110
 111         $eml->header_set('Message-ID');
 112         my $no_mid = $lst->ipc_do('set_eml', $eml, qw(seen));
 113         my $wait = $lst->ipc_do('done');
 114         my @kw = $lst->search->msg_keywords($no_mid->{num});
 115         is_deeply(\@kw, [qw(seen)], 'ipc set changed kw');
 116
 117         is(ref($smsg), 'PublicInbox::Smsg', 'no mid works ipc');
 118         $ids = $lst->ipc_do('set_eml', $eml, qw(seen));
 119         is_deeply($ids, [ $no_mid->{num} ], 'docid returned w/o mid w/ ipc');
 120         $lst->ipc_do('done');
 121         $lst->ipc_worker_stop;
 122         $ids = $lst->ipc_do('set_eml', $eml, qw(seen answered));
 123         is_deeply($ids, [ $no_mid->{num} ], 'docid returned w/o mid w/o ipc');
 124         $wait = $lst->ipc_do('done');
 125         @kw = $lst->search->msg_keywords($no_mid->{num});
 126         is_deeply(\@kw, [qw(answered seen)], 'set changed kw w/o ipc');
 127 }
 128
 129 done_testing;