t/search-thr-index.t

   1 # Copyright (C) 2017-2019 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3 use strict;
   4 use warnings;
   5 use bytes (); # only for bytes::length
   6 use Test::More;
   7 use File::Temp qw/tempdir/;
   8 use PublicInbox::MID qw(mids);
   9 use Email::MIME;
  10 my @mods = qw(DBI DBD::SQLite Search::Xapian);
  11 foreach my $mod (@mods) {
  12         eval "require $mod";
  13         plan skip_all => "missing $mod for $0" if $@;
  14 }
  15 require PublicInbox::SearchIdx;
  16 require PublicInbox::Inbox;
  17 my $tmpdir = tempdir('pi-search-thr-index.XXXXXX', TMPDIR => 1, CLEANUP => 1);
  18 my $git_dir = "$tmpdir/a.git";
  19
  20 is(0, system(qw(git init -q --bare), $git_dir), "git init (main)");
  21 my $ibx = PublicInbox::Inbox->new({inboxdir => $git_dir});
  22 my $rw = PublicInbox::SearchIdx->new($ibx, 1);
  23 ok($rw, "search indexer created");
  24 my $data = <<'EOF';
  25 Subject: [RFC 00/14]
  26 Message-Id: <1-bw@g>
  27
  28 Subject: [RFC 09/14]
  29 Message-Id: <10-bw@g>
  30 In-Reply-To: <1-bw@g>
  31 References: <1-bw@g>
  32
  33 Subject: [RFC 03/14]
  34 Message-Id: <4-bw@g>
  35 In-Reply-To: <1-bw@g>
  36 References: <1-bw@g>
  37
  38 EOF
  39
  40 my $num = 0;
  41 # nb. using internal API, fragile!
  42 my $xdb = $rw->begin_txn_lazy;
  43 my @mids;
  44
  45 foreach (reverse split(/\n\n/, $data)) {
  46         $_ .= "\n";
  47         my $mime = Email::MIME->new(\$_);
  48         $mime->header_set('From' => 'bw@g');
  49         $mime->header_set('To' => 'git@vger.kernel.org');
  50         my $bytes = bytes::length($mime->as_string);
  51         my $mid = mids($mime->header_obj)->[0];
  52         my $doc_id = $rw->add_message($mime, $bytes, ++$num, 'ignored', $mid);
  53         push @mids, $mid;
  54         ok($doc_id, 'message added: '. $mid);
  55 }
  56
  57 my $prev;
  58 my %tids;
  59 my $dbh = $rw->{over}->connect;
  60 foreach my $mid (@mids) {
  61         my $msgs = $rw->{over}->get_thread($mid);
  62         is(3, scalar(@$msgs), "got all messages from $mid");
  63         foreach my $m (@$msgs) {
  64                 my $tid = $dbh->selectrow_array(<<'', undef, $m->{num});
  65 SELECT tid FROM over WHERE num = ? LIMIT 1
  66
  67                 $tids{$tid}++;
  68         }
  69 }
  70
  71 is(scalar keys %tids, 1, 'all messages have the same tid');
  72
  73 $rw->commit_txn_lazy;
  74
  75 $xdb = $rw->begin_txn_lazy;
  76 {
  77         my $mime = Email::MIME->new(<<'');
  78 Subject: [RFC 00/14]
  79 Message-Id: <1-bw@g>
  80 From: bw@g
  81 To: git@vger.kernel.org
  82
  83         my $dbh = $rw->{over}->connect;
  84         my ($id, $prev);
  85         my $reidx = $rw->{over}->next_by_mid('1-bw@g', \$id, \$prev);
  86         ok(defined $reidx);
  87         my $num = $reidx->{num};
  88         my $tid0 = $dbh->selectrow_array(<<'', undef, $num);
  89 SELECT tid FROM over WHERE num = ? LIMIT 1
  90
  91         my $bytes = bytes::length($mime->as_string);
  92         my $mid = mids($mime->header_obj)->[0];
  93         my $doc_id = $rw->add_message($mime, $bytes, $num, 'ignored', $mid);
  94         ok($doc_id, 'message reindexed'. $mid);
  95         is($doc_id, $num, "article number unchanged: $num");
  96
  97         my $tid1 = $dbh->selectrow_array(<<'', undef, $num);
  98 SELECT tid FROM over WHERE num = ? LIMIT 1
  99
 100         is($tid1, $tid0, 'tid unchanged on reindex');
 101 }
 102
 103 $rw->commit_txn_lazy;
 104
 105 done_testing();
 106
 107 1;