]> Sergey Matveev's repositories - public-inbox.git/commit
searchidx: respect XAPIAN_FLUSH_THRESHOLD env if set
authorEric Wong <e@80x24.org>
Thu, 19 Jul 2018 03:21:38 +0000 (03:21 +0000)
committerEric Wong <e@80x24.org>
Thu, 19 Jul 2018 03:22:15 +0000 (03:22 +0000)
commit7faaa2ab3464880aabbba909acd48a4b11b67452
tree5fcd3b0592c05d53bc6921de6c9c4cc37d0aa311
parent917a23b7879b8cbda3b6b2cac5d60f40575b0ee8
searchidx: respect XAPIAN_FLUSH_THRESHOLD env if set

Xapian documents and respect XAPIAN_FLUSH_THRESHOLD to define
the interval in documents to flush, so don't override it with
our own BATCH_BYTES.  This is helpful for initial indexing for
those on slower storage but enough RAM.

It is unnecessary for -watch and frequent incremental indexing;
and it increases transaction times if -watch is playing "catch-up"
if it was stopped for a while.

The original BATCH_BYTES was tuned for a machine with little
memory as the default XAPIAN_FLUSH_THRESHOLD of 10000 documents
was causing swap storms.  Using document counts also proved an
innaccurate estimator of RAM usage compared to the actual bytes
processed.
lib/PublicInbox/SearchIdx.pm