]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/ExtSearch.pm
avoid calling waitpid from children in DESTROY
[public-inbox.git] / lib / PublicInbox / ExtSearch.pm
1 # Copyright (C) 2020 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3
4 # Read-only external (detached) index for cross inbox search.
5 # This is a read-only counterpart to PublicInbox::ExtSearchIdx
6 # and behaves like PublicInbox::Inbox AND PublicInbox::Search
7 package PublicInbox::ExtSearch;
8 use strict;
9 use v5.10.1;
10 use PublicInbox::Over;
11 use PublicInbox::Inbox;
12 use PublicInbox::MiscSearch;
13 use DBI qw(:sql_types); # SQL_BLOB
14
15 # for ->reopen, ->mset, ->mset_to_artnums
16 use parent qw(PublicInbox::Search);
17
18 sub new {
19         my ($class, $topdir) = @_;
20         bless {
21                 topdir => $topdir,
22                 # xpfx => 'ei15'
23                 xpfx => "$topdir/ei".PublicInbox::Search::SCHEMA_VERSION
24         }, $class;
25 }
26
27 sub misc {
28         my ($self) = @_;
29         $self->{misc} //= PublicInbox::MiscSearch->new("$self->{xpfx}/misc");
30 }
31
32 # same as per-inbox ->over, for now...
33 sub over {
34         my ($self) = @_;
35         $self->{over} //= PublicInbox::Over->new("$self->{xpfx}/over.sqlite3");
36 }
37
38 sub git {
39         my ($self) = @_;
40         $self->{git} //= PublicInbox::Git->new("$self->{topdir}/ALL.git");
41 }
42
43 # returns a hashref of { $NEWSGROUP_NAME => $ART_NO } using the `xref3' table
44 sub nntp_xref_for { # NNTP only
45         my ($self, $xibx, $xsmsg) = @_;
46         my $dbh = over($self)->dbh;
47
48         my $sth = $dbh->prepare_cached(<<'', undef, 1);
49 SELECT ibx_id FROM inboxes WHERE eidx_key = ? LIMIT 1
50
51         $sth->execute($xibx->{newsgroup});
52         my $xibx_id = $sth->fetchrow_array // do {
53                 warn "W: `$xibx->{newsgroup}' not found in $self->{topdir}\n";
54                 return;
55         };
56
57         $sth = $dbh->prepare_cached(<<'', undef, 1);
58 SELECT docid FROM xref3 WHERE oidbin = ? AND xnum = ? AND ibx_id = ? LIMIT 1
59
60         $sth->bind_param(1, pack('H*', $xsmsg->{blob}), SQL_BLOB);
61
62         # NNTP::cmd_over can set {num} to zero according to RFC 3977 8.3.2
63         $sth->bind_param(2, $xsmsg->{num} || $xsmsg->{-orig_num});
64         $sth->bind_param(3, $xibx_id);
65         $sth->execute;
66         my $docid = $sth->fetchrow_array // do {
67                 warn <<EOF;
68 W: `$xibx->{newsgroup}:$xsmsg->{num}' not found in $self->{topdir}"
69 EOF
70                 return;
71         };
72
73         # LIMIT is number of newsgroups on server:
74         $sth = $dbh->prepare_cached(<<'', undef, 1);
75 SELECT ibx_id,xnum FROM xref3 WHERE docid = ? AND ibx_id != ?
76
77         $sth->execute($docid, $xibx_id);
78         my $rows = $sth->fetchall_arrayref;
79
80         my $eidx_key_sth = $dbh->prepare_cached(<<'', undef, 1);
81 SELECT eidx_key FROM inboxes WHERE ibx_id = ? LIMIT 1
82
83         my %xref = map {
84                 my ($ibx_id, $xnum) = @$_;
85
86                 $eidx_key_sth->execute($ibx_id);
87                 my $eidx_key = $eidx_key_sth->fetchrow_array;
88
89                 # only include if there's a newsgroup name
90                 $eidx_key && index($eidx_key, '/') >= 0 ?
91                         () : ($eidx_key => $xnum)
92         } @$rows;
93         $xref{$xibx->{newsgroup}} = $xsmsg->{num};
94         \%xref;
95 }
96
97 sub mm { undef }
98
99 sub altid_map { {} }
100
101 sub description {
102         my ($self) = @_;
103         ($self->{description} //=
104                 PublicInbox::Inbox::cat_desc("$self->{topdir}/description")) //
105                 '$EXTINDEX_DIR/description missing';
106 }
107
108 sub cloneurl { [] } # TODO
109
110 sub base_url { 'https://example.com/TODO/' }
111 sub nntp_url { [] }
112
113 no warnings 'once';
114 *smsg_eml = \&PublicInbox::Inbox::smsg_eml;
115 *smsg_by_mid = \&PublicInbox::Inbox::smsg_by_mid;
116 *msg_by_mid = \&PublicInbox::Inbox::msg_by_mid;
117 *modified = \&PublicInbox::Inbox::modified;
118 *recent = \&PublicInbox::Inbox::recent;
119
120 *max_git_epoch = *nntp_usable = *msg_by_path = \&mm; # undef
121 *isrch = *search = \&PublicInbox::Search::reopen;
122
123 1;