t/lei_dedupe.t

   1 #!perl -w
   2 # Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict;
   5 use v5.10.1;
   6 use Test::More;
   7 use PublicInbox::TestCommon;
   8 use PublicInbox::Eml;
   9 require_mods(qw(DBD::SQLite));
  10 use_ok 'PublicInbox::LeiDedupe';
  11 my $eml = eml_load('t/plack-qp.eml');
  12 my $mid = $eml->header_raw('Message-ID');
  13 my $different = eml_load('t/msg_iter-order.eml');
  14 $different->header_set('Message-ID', $mid);
  15
  16 my $lei = { opt => { dedupe => 'none' } };
  17 my $dd = PublicInbox::LeiDedupe->new($lei);
  18 $dd->prepare_dedupe;
  19 ok(!$dd->is_dup($eml), '1st is_dup w/o dedupe');
  20 ok(!$dd->is_dup($eml), '2nd is_dup w/o dedupe');
  21 ok(!$dd->is_dup($different), 'different is_dup w/o dedupe');
  22
  23 for my $strat (undef, 'content') {
  24         $lei->{opt}->{dedupe} = $strat;
  25         $dd = PublicInbox::LeiDedupe->new($lei);
  26         $dd->prepare_dedupe;
  27         my $desc = $strat // 'default';
  28         ok(!$dd->is_dup($eml), "1st is_dup with $desc dedupe");
  29         ok($dd->is_dup($eml), "2nd seen with $desc dedupe");
  30         ok(!$dd->is_dup($different), "different is_dup with $desc dedupe");
  31 }
  32 $lei->{opt}->{dedupe} = 'bogus';
  33 eval { PublicInbox::LeiDedupe->new($lei) };
  34 like($@, qr/unsupported.*bogus/, 'died on bogus strategy');
  35
  36 $lei->{opt}->{dedupe} = 'mid';
  37 $dd = PublicInbox::LeiDedupe->new($lei);
  38 $dd->prepare_dedupe;
  39 ok(!$dd->is_dup($eml), '1st is_dup with mid dedupe');
  40 ok($dd->is_dup($eml), '2nd seen with mid dedupe');
  41 ok($dd->is_dup($different), 'different seen with mid dedupe');
  42
  43 $lei->{opt}->{dedupe} = 'oid';
  44 $dd = PublicInbox::LeiDedupe->new($lei);
  45 $dd->prepare_dedupe;
  46
  47 # --augment won't have OIDs:
  48 ok(!$dd->is_dup($eml), '1st is_dup with oid dedupe (augment)');
  49 ok($dd->is_dup($eml), '2nd seen with oid dedupe (augment)');
  50 ok(!$dd->is_dup($different), 'different is_dup with mid dedupe (augment)');
  51 $different->header_set('Status', 'RO');
  52 ok($dd->is_dup($different), 'different seen with oid dedupe Status removed');
  53
  54 ok(!$dd->is_dup($eml, '01d'), '1st is_dup with oid dedupe');
  55 ok($dd->is_dup($different, '01d'), 'different content ignored if oid matches');
  56 ok($dd->is_dup($eml, '01D'), 'case insensitive oid comparison :P');
  57 ok(!$dd->is_dup($eml, '01dbad'), 'case insensitive oid comparison :P');
  58
  59 done_testing;