searchidx: reindex clobbers old thread IDs

We cannot always reuse thread IDs since our threading
logic may change as bugs are fixed.

searchidx: deal with empty In-Reply-To and References headers

In some messages, these headers exist, but have empty values.
Do not let empty values throw off our search indexer to tie
threads together, as it can make non-sensical threads grouped
to a Message-Id of "" (empty string).

See
<https://public-inbox.org/git/11340844841342-git-send-email-mailing-lists.git@rawuncut.elitemail.org/raw>
for an example of such a message.

Thanks-to: Johannes Schindelin <Johannes.Schindelin@gmx.de>
  <https://public-inbox.org/git/alpine.DEB.2.20.1702041206130.3496@virtualbox/>

searchview: increase limit for displaying search results

We are in no danger of excessive buffering or OOM-ing,
the main page for every inbox already loads 200 results;
and thread page views even load 1000!  Increase this to
200 for now.

searchview: clarify numeric summary at bottom

Xapian can only give estimated results when a result limit is
given to it, so make clear it is an estimate to avoid showing
non-sensical ranges when no results are returned.

add filter for Subject: tags

Some mailing lists add annoying tags into the Subject line which
discourages readers from doing proper mail organization on the
client side.  They also waste precious screen space and
attention span.

Remove them from our archives to reduce clutter.

watchmaildir: allow arguments for filters

We'll want to allow some degree of configuration for
various mailing lists.

watchmaildir: limit live importer processes

We don't want to be triggering OOM or swapping on weaker
systems when we have dozens of inboxes as potential targets.

learn: implement "rm" only functionality

Do not consider this interface stable, but I just needed a
way to remove mis-imported multipart messages so
public-inbox-watch could pick them up again from my Maildir.

mime: avoid SUPER usage in Email::MIME subclass

We must call Email::Simple methods directly in our monkey patch
for Email::MIME to call the intended method.  Using SUPER in our
subclass would instead hit a different, unintended method in
Email::MIME.

Reported-by: Junio C Hamano <gitster@pobox.com>
<xmqq4m0wb43w.fsf@gitster.mtv.corp.google.com>

inbox: reinstate periodic cleanup of Xapian and SQLite objects

We may need to do this even more aggressively, since the
Xapian database does not always give the latest results.
This time, we'll do it without relying on weak references,
and instead check refcounts.

introduce PublicInbox::MIME wrapper class

This should fix problems with multipart messages where
text/plain parts lack a header.

cf. git clone --mirror https://github.com/rjbs/Email-MIME.git
    refs/pull/28/head

In the future, we may still introduce as streaming
interface to reduce memory usage on large emails.

inbox: properly register cleanup timer for git processes

We still need to cleanup git processes occasionally, since
"git cat-file --batch" does not release old packs (and
git processes are fairly expensive).

For SQLite and Xapian file handles, they should be capable
of managing themselves without too much trouble, so lets
try keeping them for the lifetime of a process.

search: remove subject_summary

Apparently it never actually got used, and the world seems
fine without it, so we can drop it.

While we're at it, consider removing our subject_path
usage from existence, too.  We are not using fancy subject-line
based URLs, here.

searchmsg: favor direct hash access over accessor methods

This is faster, smaller, and more straighforward to me with
fewer layers of indirection.

remove incorrect comment about strftime + locales

We only need strftime to be locale-independent when generating
dates for email and HTTP headers.  Purely numeric dates can
use strftime for ease-of-readability.

config: allow per-inbox nntpserver

This allows certain inboxes to override the global nntpserver
(perhaps under a different domain).

inbox: eliminate weaken usage entirely

We can do a better job initializing the data structure
so we no longer need to rely on weak references to cleanup
when we ditch the config on reload.

inbox: describe the full key name

Hopefully make this easier for future generations to understand.

config: remove unused get() method

This seems like an unnecessary abstraction, or an abstraction
on the wrong level.

config: always use namespaced "publicinboxlimiter"

I'm not sure if we'll ever support sharing a config file
with other tools, but maybe we will, and "limiter" is
too generic.

qspawn: prepare to support runtime reloading of Limiter

We may allow the {max} value of a limiter to be changed
in the future, so lets start accounting for it before we
spawn followup processes.

http: remove weaken usage, reduce anonsub capture scope

Avoiding weaken here is no more dangerous than the existing
circular refs (e.g. psgix.io) we create and manage throughout
the lifetime of the connection.  So, trust ourselves to maintain
the data structure properly and avoid triggering extra memory
usage.

While we're at it, avoid having anonymous subroutines capture
more variables than necessary to simplify reference auditing.

httpd/async: remove weaken usage

We do not need to use weaken() here, so avoid it to simplify our
interactions with Perl; as weaken requires additional storage
and (it seems) time complexity.

http: fix spelling error

Oops.  And we'll be fixing circular references from now...

watch: watchspam affects all configured inboxes

If a message is spam in one mailbox, it is spam in all others a
particular user/group will care about.

doc: minor updates to design notes

ssoma is not worth marketing, but perhaps our mirror of
the git mailing list archives is...

evcleanup: ensure deferred close from timers are handled ASAP

Danga::Socket defers close() syscalls until the end of the event
loop to avoid FD recycling.  Unfortunately, this is dependent on
IO events firing and waking the process up from
poll/kevent/epoll_wait.

Without any I/O activity, a socket could remain in the
@Danga::Socket::ToClose array indefinitely.  Thus, we will
trigger a fake IO event after running all timers to trigger
the deferred close in Danga::Socket::PostEventLoop.

httpd/async: improve variable naming

We only refer to PublicInbox::HTTP objects here, so '$io'
was a bad name.

githttpbackend: minor cleanups to improve readability

Fewer returns improves readability and the diffstat agrees.

githttpbackend: simplify compatibility code

Fewer conditionals means theres fewer code paths to test
and makes things easier-to-read.

githttpbackend: minor readability improvement

Use a more meaningful variable name for the Qspawn
object, since this module is the reference for its
use.

http: fix clobbering of $null_io

Oops, this would be disatrous if we started handling
bigger request bodies or slow clients.

Fixes: c008654229a9 ("avoid IO::File for anonymous temporary files")

linkify: modify argument in place

This results in over 1% speedup doing $MESSAGE_ID/T/ HTML
generation for a 368-message thread.

view: do not modify array during iteration

This results in a half percent speedup or so doing
$MESSAGE_ID/T/ HTML generation for a 368 message thread.

view: stop chomping off whitespace at ends of messages

This allows a 3-4% speedup in $MESSAGE_ID/T/ page generation
speed for a 368+ message thread.  It also more faithfully
preserves the message as intended; even if the it makes the
sender look like a space-wasting slob :P

view: remove unused parameter

And add a comment about it to remind our future selves.

search: lookup_mail handles modified DBs

We call lookup_mail all over the place, be sure we can handle
database modifications in those cases.

doc: various comments on async handling

Notes for future developers (myself included) since we
can't assume people can read my mind.

searchthread: simplify API and remove needless OO

This simplifies callers to prevent errors and avoids
needless object-orientation in favor of a single procedure
call to handle threading and ordering.

searchthread: update comment about loop prevention

It definitely is necessary to prevent looping with the
%seen hash.

searchmsg: remove ensure_metadata

Instead, only preload the ->mid field for threading,
as we only need ->thread and ->path once in Search->get_thread
(but we will need the ->mid field repeatedly).

This more than doubles View->load_results performance on
according to thread-all on an inbox with over 300K messages.

tests: add thread-all testing for benchmarking

I'll be using this to improve message threading performance.

searchmsg: do not memoize {date} field

We only generate the ->date once in NNTP, so creating
the hash entry is a waste.

searchmsg: remove locale-dependency for ->date

strftime is locale-dependent, which can cause surprising
failures for some users.

t/config.t: fix feedmax default

Oops :x

wwwtext: link to RFC4685 (Atom Threading)

This should give this feature some more visibility.

atom: implement message threading per RFC 4685

This will allows certain feed readers to render a message thread
as described in <https://www.jwz.org/doc/threading.html>.

Feed readers with knowledge of of RFC 4685 are unknown to us at
this time, but perhaps this will encourage future implementations.

Existing feed readers I've tested (newsbeuter, feed2imap) seem
to ignore these tags gracefully without degradation.

feed: support publicinbox.<name>.feedmax

This allows users to customize by using smaller or larger Atom
feeds than the default value of 25 entries.

TODO: note IO::KQueue for the ticket

Do not require users to have network access to know what
the link refers to.

t/thread-cycle: no need for Xapian to run this test

We don't actually use anything from SearchMsg,
just the class name.

wwwtext: remove outdated comment

I originally envisioned wwwtext being more flexible and able to
serve arbitrary blobs; but at this point I consider it redundant
and public-inbox is not wiki software.

searchmsg: remove unused EPOCH_822 constant

This hasn't been needed since our Email::Abstract removal
for message threading.

nntp: avoid useless use of strftime

There's no need to use strftime if we'll be converting the date
by hand, anyways.

nntp: add test case for the "DATE" command

We may not always use strftime and may implement caching.
But for now, just add a test.

daemon: set $now time for NNTP shutdown

commit 6e238ee3396719e578d6a90e177a71ce9f8c1ca0
("nntp: respect 3 minute idle time for shutdown")
was incomplete, and needed this change to Daemon
to be effective.

In the future, there will be more common code between
NNTP.pm and HTTP.pm

doc: simplify makefile snippet

We have these manpages, and will always have them, so stop
trying to pretend we're doing something about maintainability,
here.

init: preserve permissions of existing config file

This matches git-config(1) behavior, and implied user
intent when it comes to programatically editing files.

search: retry document loading from Xapian

In addition to needing to retry enquire queries, we also need
to protect document loading from the Xapian DB and retry on
modification, as it seems to throw the same errors.

Checking the $@ ref for Search::Xapian::DatabaseModifiedError
is actually in the test suite for both the XS and SWIG Xapian
bindings, so we should be good as far as forward/backwards
compatibility.

search: always sort thread results in ascending time order

This makes life easier for the threading algorithm, as we can
use the implied ordering of timestamps to avoid temporary ghosts
and resulting container vivication.

This would've also allowed us to hide the bug (in most cases)
fixed by the patch titled "thread: last Reference always wins",
in case that needs to be reverted due to infinite looping.

thread: last Reference always wins

Since we use SearchMsg from Xapian data, we can be
assured we do not get self-referential {references}
field.

However, we may need to be more careful when checking
has_descendent for loops, as blindly calling add_child
could open us up to that possibility...

view: skip ghosts with no direct children

Otherwise, a malicious or broken client could populate the
thread skeleton with invalid References.  We only care about
ghosts which messages correctly refer to, not totally bogus ones
which may be the result of long line or token truncation +
wrapping in MUA headers.

view: reduce indentation for skeleton generation

This should reduce the number of subroutine calls needed
for the common case of real (non-ghost) messages as well
as shortening code.

thread: fix comment describing its existence

Mail::Thread is UNavailable on many distros, meaning ordinary
users will have to rely on CPAN, a Perl-specific packaging tool.

view: favor SearchMsg for In-Reply-To over Email::MIME

This should avoid warnings during thread skeleton generation if
ever the Xapian database disagrees with View.pm about which is
the proper direct parent of a message.  We will treat the data
in Xapian as the truth (if Xapian is available).

search: favor In-Reply-To over last References iff IRT exists

Some email clients set the References headers backwards, so
trust the In-Reply-To header if (and only if) it exists and
is parseable as direct parent of the current message.

For affected repos, this will require reindexing (via
"public-inbox-index --reindex"), but there will be no
version bump for this bugfix.

linkify: implement Markdown link compatibility (again)

Although unescaped parentheses in URLs are technically allowed,
they are uncommon.  However, Markdown-like syntaxes are
unfortunately common for URLs, so we might as well support them.

This fixes parentheses detection at sentence endings, as seen
in practice on emails.

Revert "linkify: implement Markdown link compatibility"

This reverts commit 130d0c4e33c5c73dc69e270fc698735d49e0f159.

linkify: implement Markdown link compatibility

Although unescaped parentheses in URLs are technically allowed,
they are uncommon.  However, Markdown-like syntaxes are
unfortunately common for URLs, so we might as well support them.

atom: switch to getline/close for response bodies

This will let us stream larger Atom documents bodies without
wasting too much memory and reduce the amount of round-trip
requests needed to get necessary information.

Hopefully clients are using streaming (SAX) parsers, too.

This is the final transition in the core public-inbox
code to allow migrating to a "pull"-based body streaming
scheme which allows a HTTP server to respond appropriately
to backpressure from slow clients.

wwwstream: improve documentation and variable naming

Hopefully this makes the code more readable for newbies.

searchview: fix <title> tag in Atom feed

This only affects the Atom feed for search results.
"xmlstarlet val" failed to detect or warn about this,
and I only noticed this bug while working on another
patch.

note the source code is AGPL for cloning

This should be adequate warning for folks who may be
uncomfortable or uncertain about even possessing AGPL
source code due to employer agreements and such.

Disclaimer: I remain completely in favor of AGPL and strong
copyleft, and am more than willing to risk my own future on it.
However, I refuse to even nudge people into downloading AGPL
source code if it presents any legal risk to them.

avoid IO::File for anonymous temporary files

We do not need to import IO::File into the main programs
since Perl 5.8+ supports literal "undef" for generating
anonymous temporary file handles.

githttpbackend: error checking for input handling

This was sloppy code, all calls need to be checked
for failure.

view: fix spaces in mailto: link

Some mail clients do not seem to handle '+' as a space in query
parameters for the mail subject, use the more common '%20' for
compatibility.

index: allow indexing before configuration

One may build the initial index on a powerful host and transfer
it to a weaker one for incremental indexing.  Thus there is
no requirement to have a configured public-inbox for building
the index unless a user needs altid support or some such.

import: failed GC runs are non-fatal

We should not completely kill a process if "git gc --auto"
errors out due to a warning or whatnot.

thread: reinstates stable ordering when ghosts are present

This reverts commit 3c9dd6619f825f0515e7e4afa1bd55c99c1a68d3
("thread: fix sorting without topmost")
and reinstates the "topmost" routine for sorting purposes.

thread: fix parent/child relationships

The ordering change in add_child is critical if $self == $parent
as the {children} hash was lost before this change.

has_descendent can be simplified by walking upwards from the child
instead of downwards from the parent.

This fixes threading regressions introduced in
commit 30100c46326e2eac275e0af13116636701d2537e
("thread: use hash + array instead of hand-rolled linked list")

thread: reduce indentation level

This should reduce differences from the original Mail::Thread
code and hopefully make things easier-to-follow.

thread: remove weaken dependency

We have to walk through all the messages after threading
anyways to build the rootset, so we can just delete all
the parent references at that point.

t/thread-cycle: test self-referential messages

Some broken (or malicious) mailers may include a generated
Message-ID in its References header, so be prepared for it.

view: remove redundant children array in thread views

Each node has an entire arrayref of its children nowadays, so
there's no need to waste time and memory creating another one.

thread: use hash + array instead of hand-rolled linked list

This starts to show noticeable performance improvements when
attempting to thread over 400 messages; but the improvement
may not be measurable with less.

However, the resulting code is much shorter and (IMHO)
much easier to understand.

thread: fix sorting without topmost

This bug was hidden, and we may not be able to efficiently
implement a topmost subroutine with the hash-based (vs
linked-list) based container for threading in the next
commit.

thread: inline and remove recurse_down logic

We no longer recurse, and it's too hard to come up with
a new name for a sub we will only use once.

thread: order_children no longer cares about depth

We never use the depth anywhere in this sub

thread: avoid incrementing undefined value

It is pointless to increment when setting a true value is
simpler as there is no need to read before writing.

thread: remove iterate_down

Unnecessary subs and complexity.  This was hiding the fact
that $before is never used.

thread: simplify

Single use subroutines actually make the code more complex in
this case, and there's never a {seen} field in $self.

thread: remove rootset accessor method

It doesn't buy us much and copying to a new array is slower;
but probably not measurable in real-world use.

thread: remove Email::Abstract wrapping

This roughly doubles performance due to the reduction in
object creation and abstraction layers.

inbox: deal with ghost smsg

smsg will be undef for ghost messages in a subsequent commit

thread: remove accessor usage in internals

This improves top-level index generation performance by 3-4%.

thread: pass array refs instead of entire arrays

Copying large arrays is expensive, so avoid it.
This reduces /$INBOX/ time by around 1%.

thread: remove Mail::Thread dependency

Introduce our own SearchThread class for threading messages.
This should allow us to specialize and optimize away objects
in future commits.

view: remove "subject dummy" references

We will not care for inexact threading by subject or pruning.

help: document new search prefixes

Support (and document) 'a:' after all, as "mairix -h" uses it,
so this should reduce the learning curve for mairix users.

nntp: cleanup: move use statements out of sub scope

This clarifies the code somewhat, and we don't care to lazy-load
in NNTP.pm anyways since this is only used for a long-lived
daemon.

TODO: updates for done items

The existing string -> number date range Xapian query is good
enough, and having too much flexibility is probably bad for
caching (as well as increasing our attack surface, because
parsing queries is tricky).

Tags-as-skiplists are probably not worth the effort given
Xapian, and we may have to import old messages after-the-fact,
anyways, and message delivery for mirrors is never orderly.

Other items are all done and need to be maintained (like the
search engine docs for the mairix-compatibility features that
just got pushed out)