]> Sergey Matveev's repositories - public-inbox.git/commit
nntp: xref: use ->ALL extindex if available
authorEric Wong <e@80x24.org>
Fri, 27 Nov 2020 09:52:54 +0000 (09:52 +0000)
committerEric Wong <e@80x24.org>
Sat, 28 Nov 2020 04:53:23 +0000 (04:53 +0000)
commit811b8d3cbaa790f59b7b107140b86248da16499b
treec380c0baf53114b71e1b5c440e41d58ab7fa78fb
parentb8ff2f71f04c8a2b959d6142bc7e770672589e8a
nntp: xref: use ->ALL extindex if available

Getting Xref for cross-posted messages is an O(n) operation
where `n' is the number of newsgroups on the server.  This works
acceptably when there are dozens of groups, but would be
unnacceptable when there's tens of thousands of newsgroups.

With ~140 newsgroups, a lore.kernel.org mirror already handles
"XHDR Xref $MESSAGE_ID" requests around 30% faster after
creating the xref3.idx_nntp index.

The SQL additions to ExtSearch.pm may be a bit strange and
seem more appropriate for Over.pm; however it currently makes
sense to me since those bits of over.sqlite3 access are
exclusive to ExtSearch and can't be used by traditional
v1/v2 inboxes...
lib/PublicInbox/ExtSearch.pm
lib/PublicInbox/NNTP.pm
lib/PublicInbox/OverIdx.pm
t/extsearch.t
t/nntp.t