]> Sergey Matveev's repositories - public-inbox.git/commit
extindex: speed up --reindex --fast
authorEric Wong <e@80x24.org>
Mon, 11 Oct 2021 08:06:15 +0000 (08:06 +0000)
committerEric Wong <e@80x24.org>
Tue, 12 Oct 2021 03:40:28 +0000 (03:40 +0000)
commitc4a4e9809ddd10f2094e1b088728101ace89297f
treed5c07be0090d45ed75137adee1067b3735d19fa7
parentc9567f1e142931cf4c5f092ad1ec5904f7c5bdc1
extindex: speed up --reindex --fast

This required some tweaking of xref3 indices in over.sqlite3,
but the end result is it brings no-op "--reindex --fast --all"
checks down to roughly 20 minutes (from 30-40 minutes) on
lore/all.

This is faster because a bunch of small SQLite queries are still
slower en-mass than a bunch of perlops.  Despite the lack of IPC
overhead, crossing .so boundaries and repeating lookups over
btrees is still slower than doing the same with Perl hash tables.
lib/PublicInbox/ExtSearchIdx.pm
lib/PublicInbox/Over.pm
lib/PublicInbox/OverIdx.pm