t/search-thr-index.t

   1 # Copyright (C) 2017-2020 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3 use strict;
   4 use warnings;
   5 use bytes (); # only for bytes::length
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::MID qw(mids);
   9 use Email::MIME;
  10 require_mods(qw(DBD::SQLite Search::Xapian));
  11 require PublicInbox::SearchIdx;
  12 require PublicInbox::Smsg;
  13 require PublicInbox::Inbox;
  14 my ($tmpdir, $for_destroy) = tmpdir();
  15 my $git_dir = "$tmpdir/a.git";
  16
  17 is(0, system(qw(git init -q --bare), $git_dir), "git init (main)");
  18 my $ibx = PublicInbox::Inbox->new({inboxdir => $git_dir});
  19 my $rw = PublicInbox::SearchIdx->new($ibx, 1);
  20 ok($rw, "search indexer created");
  21 my $data = <<'EOF';
  22 Subject: [RFC 00/14]
  23 Message-Id: <1-bw@g>
  24
  25 Subject: [RFC 09/14]
  26 Message-Id: <10-bw@g>
  27 In-Reply-To: <1-bw@g>
  28 References: <1-bw@g>
  29
  30 Subject: [RFC 03/14]
  31 Message-Id: <4-bw@g>
  32 In-Reply-To: <1-bw@g>
  33 References: <1-bw@g>
  34
  35 EOF
  36
  37 my $num = 0;
  38 # nb. using internal API, fragile!
  39 my $xdb = $rw->begin_txn_lazy;
  40 my @mids;
  41
  42 foreach (reverse split(/\n\n/, $data)) {
  43         $_ .= "\n";
  44         my $mime = Email::MIME->new(\$_);
  45         $mime->header_set('From' => 'bw@g');
  46         $mime->header_set('To' => 'git@vger.kernel.org');
  47         my $bytes = bytes::length($mime->as_string);
  48         my $mid = mids($mime->header_obj)->[0];
  49         my $smsg = bless {
  50                 bytes => $bytes,
  51                 num => ++$num,
  52                 mid => $mid,
  53                 blob => '',
  54         }, 'PublicInbox::Smsg';
  55         my $doc_id = $rw->add_message($mime, $smsg);
  56         push @mids, $mid;
  57         ok($doc_id, 'message added: '. $mid);
  58 }
  59
  60 my $prev;
  61 my %tids;
  62 my $dbh = $rw->{over}->connect;
  63 foreach my $mid (@mids) {
  64         my $msgs = $rw->{over}->get_thread($mid);
  65         is(3, scalar(@$msgs), "got all messages from $mid");
  66         foreach my $m (@$msgs) {
  67                 my $tid = $dbh->selectrow_array(<<'', undef, $m->{num});
  68 SELECT tid FROM over WHERE num = ? LIMIT 1
  69
  70                 $tids{$tid}++;
  71         }
  72 }
  73
  74 is(scalar keys %tids, 1, 'all messages have the same tid');
  75
  76 $rw->commit_txn_lazy;
  77
  78 $xdb = $rw->begin_txn_lazy;
  79 {
  80         my $mime = Email::MIME->new(<<'');
  81 Subject: [RFC 00/14]
  82 Message-Id: <1-bw@g>
  83 From: bw@g
  84 To: git@vger.kernel.org
  85
  86         my $dbh = $rw->{over}->connect;
  87         my ($id, $prev);
  88         my $reidx = $rw->{over}->next_by_mid('1-bw@g', \$id, \$prev);
  89         ok(defined $reidx);
  90         my $num = $reidx->{num};
  91         my $tid0 = $dbh->selectrow_array(<<'', undef, $num);
  92 SELECT tid FROM over WHERE num = ? LIMIT 1
  93
  94         my $bytes = bytes::length($mime->as_string);
  95         my $mid = mids($mime->header_obj)->[0];
  96         my $smsg = bless {
  97                 bytes => $bytes,
  98                 num => $num,
  99                 mid => $mid,
 100                 blob => '',
 101         }, 'PublicInbox::Smsg';
 102         my $doc_id = $rw->add_message($mime, $smsg);
 103         ok($doc_id, 'message reindexed'. $mid);
 104         is($doc_id, $num, "article number unchanged: $num");
 105
 106         my $tid1 = $dbh->selectrow_array(<<'', undef, $num);
 107 SELECT tid FROM over WHERE num = ? LIMIT 1
 108
 109         is($tid1, $tid0, 'tid unchanged on reindex');
 110 }
 111
 112 $rw->commit_txn_lazy;
 113
 114 done_testing();
 115
 116 1;