]> Sergey Matveev's repositories - public-inbox.git/commit
ipc: switch to one-way pipes
authorEric Wong <e@80x24.org>
Sun, 3 Jan 2021 02:06:16 +0000 (02:06 +0000)
committerEric Wong <e@80x24.org>
Sun, 3 Jan 2021 18:30:32 +0000 (18:30 +0000)
commit02ff5cc7ecfe3e36cdd1898c4747c28d83de0e1a
tree2ca6a9f8f2f7c09f1157362d06d896cf49aeeb3a
parent71461c67fee940b05309baa8c67bac10c8c51ac6
ipc: switch to one-way pipes

This fixes a performance regression in multi-process v2 indexing
due to the switch to PublicInbox::IPC.  While Unix sockets are
fewer FDs to manage, pipes allow unprivileged processes to use
larger buffers (up to 1M) on out-of-the-box Linux instances.

A larger buffer via F_SETPIPE_SZ afforded by pipes was proven
valuable during v2 development in 2018 and continues to be
valuable when we get significant amounts of one-way traffic from
the producer parent to worker children.

Compression may be an option for systems without F_SETPIPE_SZ;
but it increases CPU usage with no memory bandwidth savings on
hosts where larger buffers are available.
lib/PublicInbox/IPC.pm
lib/PublicInbox/SearchIdxShard.pm
lib/PublicInbox/V2Writable.pm