TODO: note IO::KQueue for the ticket

Do not require users to have network access to know what
the link refers to.

t/thread-cycle: no need for Xapian to run this test

We don't actually use anything from SearchMsg,
just the class name.

wwwtext: remove outdated comment

I originally envisioned wwwtext being more flexible and able to
serve arbitrary blobs; but at this point I consider it redundant
and public-inbox is not wiki software.

searchmsg: remove unused EPOCH_822 constant

This hasn't been needed since our Email::Abstract removal
for message threading.

nntp: avoid useless use of strftime

There's no need to use strftime if we'll be converting the date
by hand, anyways.

nntp: add test case for the "DATE" command

We may not always use strftime and may implement caching.
But for now, just add a test.

daemon: set $now time for NNTP shutdown

commit 6e238ee3396719e578d6a90e177a71ce9f8c1ca0
("nntp: respect 3 minute idle time for shutdown")
was incomplete, and needed this change to Daemon
to be effective.

In the future, there will be more common code between
NNTP.pm and HTTP.pm

doc: simplify makefile snippet

We have these manpages, and will always have them, so stop
trying to pretend we're doing something about maintainability,
here.

init: preserve permissions of existing config file

This matches git-config(1) behavior, and implied user
intent when it comes to programatically editing files.

search: retry document loading from Xapian

In addition to needing to retry enquire queries, we also need
to protect document loading from the Xapian DB and retry on
modification, as it seems to throw the same errors.

Checking the $@ ref for Search::Xapian::DatabaseModifiedError
is actually in the test suite for both the XS and SWIG Xapian
bindings, so we should be good as far as forward/backwards
compatibility.

search: always sort thread results in ascending time order

This makes life easier for the threading algorithm, as we can
use the implied ordering of timestamps to avoid temporary ghosts
and resulting container vivication.

This would've also allowed us to hide the bug (in most cases)
fixed by the patch titled "thread: last Reference always wins",
in case that needs to be reverted due to infinite looping.

thread: last Reference always wins

Since we use SearchMsg from Xapian data, we can be
assured we do not get self-referential {references}
field.

However, we may need to be more careful when checking
has_descendent for loops, as blindly calling add_child
could open us up to that possibility...

view: skip ghosts with no direct children

Otherwise, a malicious or broken client could populate the
thread skeleton with invalid References.  We only care about
ghosts which messages correctly refer to, not totally bogus ones
which may be the result of long line or token truncation +
wrapping in MUA headers.

view: reduce indentation for skeleton generation

This should reduce the number of subroutine calls needed
for the common case of real (non-ghost) messages as well
as shortening code.

thread: fix comment describing its existence

Mail::Thread is UNavailable on many distros, meaning ordinary
users will have to rely on CPAN, a Perl-specific packaging tool.

view: favor SearchMsg for In-Reply-To over Email::MIME

This should avoid warnings during thread skeleton generation if
ever the Xapian database disagrees with View.pm about which is
the proper direct parent of a message.  We will treat the data
in Xapian as the truth (if Xapian is available).

search: favor In-Reply-To over last References iff IRT exists

Some email clients set the References headers backwards, so
trust the In-Reply-To header if (and only if) it exists and
is parseable as direct parent of the current message.

For affected repos, this will require reindexing (via
"public-inbox-index --reindex"), but there will be no
version bump for this bugfix.

linkify: implement Markdown link compatibility (again)

Although unescaped parentheses in URLs are technically allowed,
they are uncommon.  However, Markdown-like syntaxes are
unfortunately common for URLs, so we might as well support them.

This fixes parentheses detection at sentence endings, as seen
in practice on emails.

Revert "linkify: implement Markdown link compatibility"

This reverts commit 130d0c4e33c5c73dc69e270fc698735d49e0f159.

linkify: implement Markdown link compatibility

Although unescaped parentheses in URLs are technically allowed,
they are uncommon.  However, Markdown-like syntaxes are
unfortunately common for URLs, so we might as well support them.

atom: switch to getline/close for response bodies

This will let us stream larger Atom documents bodies without
wasting too much memory and reduce the amount of round-trip
requests needed to get necessary information.

Hopefully clients are using streaming (SAX) parsers, too.

This is the final transition in the core public-inbox
code to allow migrating to a "pull"-based body streaming
scheme which allows a HTTP server to respond appropriately
to backpressure from slow clients.

wwwstream: improve documentation and variable naming

Hopefully this makes the code more readable for newbies.

searchview: fix <title> tag in Atom feed

This only affects the Atom feed for search results.
"xmlstarlet val" failed to detect or warn about this,
and I only noticed this bug while working on another
patch.

note the source code is AGPL for cloning

This should be adequate warning for folks who may be
uncomfortable or uncertain about even possessing AGPL
source code due to employer agreements and such.

Disclaimer: I remain completely in favor of AGPL and strong
copyleft, and am more than willing to risk my own future on it.
However, I refuse to even nudge people into downloading AGPL
source code if it presents any legal risk to them.

avoid IO::File for anonymous temporary files

We do not need to import IO::File into the main programs
since Perl 5.8+ supports literal "undef" for generating
anonymous temporary file handles.

githttpbackend: error checking for input handling

This was sloppy code, all calls need to be checked
for failure.

view: fix spaces in mailto: link

Some mail clients do not seem to handle '+' as a space in query
parameters for the mail subject, use the more common '%20' for
compatibility.

index: allow indexing before configuration

One may build the initial index on a powerful host and transfer
it to a weaker one for incremental indexing.  Thus there is
no requirement to have a configured public-inbox for building
the index unless a user needs altid support or some such.

import: failed GC runs are non-fatal

We should not completely kill a process if "git gc --auto"
errors out due to a warning or whatnot.

thread: reinstates stable ordering when ghosts are present

This reverts commit 3c9dd6619f825f0515e7e4afa1bd55c99c1a68d3
("thread: fix sorting without topmost")
and reinstates the "topmost" routine for sorting purposes.

thread: fix parent/child relationships

The ordering change in add_child is critical if $self == $parent
as the {children} hash was lost before this change.

has_descendent can be simplified by walking upwards from the child
instead of downwards from the parent.

This fixes threading regressions introduced in
commit 30100c46326e2eac275e0af13116636701d2537e
("thread: use hash + array instead of hand-rolled linked list")

thread: reduce indentation level

This should reduce differences from the original Mail::Thread
code and hopefully make things easier-to-follow.

thread: remove weaken dependency

We have to walk through all the messages after threading
anyways to build the rootset, so we can just delete all
the parent references at that point.

t/thread-cycle: test self-referential messages

Some broken (or malicious) mailers may include a generated
Message-ID in its References header, so be prepared for it.

view: remove redundant children array in thread views

Each node has an entire arrayref of its children nowadays, so
there's no need to waste time and memory creating another one.

thread: use hash + array instead of hand-rolled linked list

This starts to show noticeable performance improvements when
attempting to thread over 400 messages; but the improvement
may not be measurable with less.

However, the resulting code is much shorter and (IMHO)
much easier to understand.

thread: fix sorting without topmost

This bug was hidden, and we may not be able to efficiently
implement a topmost subroutine with the hash-based (vs
linked-list) based container for threading in the next
commit.

thread: inline and remove recurse_down logic

We no longer recurse, and it's too hard to come up with
a new name for a sub we will only use once.

thread: order_children no longer cares about depth

We never use the depth anywhere in this sub

thread: avoid incrementing undefined value

It is pointless to increment when setting a true value is
simpler as there is no need to read before writing.

thread: remove iterate_down

Unnecessary subs and complexity.  This was hiding the fact
that $before is never used.

thread: simplify

Single use subroutines actually make the code more complex in
this case, and there's never a {seen} field in $self.

thread: remove rootset accessor method

It doesn't buy us much and copying to a new array is slower;
but probably not measurable in real-world use.

thread: remove Email::Abstract wrapping

This roughly doubles performance due to the reduction in
object creation and abstraction layers.

inbox: deal with ghost smsg

smsg will be undef for ghost messages in a subsequent commit

thread: remove accessor usage in internals

This improves top-level index generation performance by 3-4%.

thread: pass array refs instead of entire arrays

Copying large arrays is expensive, so avoid it.
This reduces /$INBOX/ time by around 1%.

thread: remove Mail::Thread dependency

Introduce our own SearchThread class for threading messages.
This should allow us to specialize and optimize away objects
in future commits.

view: remove "subject dummy" references

We will not care for inexact threading by subject or pruning.

help: document new search prefixes

Support (and document) 'a:' after all, as "mairix -h" uses it,
so this should reduce the learning curve for mairix users.

nntp: cleanup: move use statements out of sub scope

This clarifies the code somewhat, and we don't care to lazy-load
in NNTP.pm anyways since this is only used for a long-lived
daemon.

TODO: updates for done items

The existing string -> number date range Xapian query is good
enough, and having too much flexibility is probably bad for
caching (as well as increasing our attack surface, because
parsing queries is tricky).

Tags-as-skiplists are probably not worth the effort given
Xapian, and we may have to import old messages after-the-fact,
anyways, and message delivery for mirrors is never orderly.

Other items are all done and need to be maintained (like the
search engine docs for the mairix-compatibility features that
just got pushed out)

t/httpd-unix: warn about connection failure

Output $! for diagnostic purposes since I've noticed this on
two slow machines, today (and seemingly, never prior).

search: index attachment filenames

And while we're at it, ensure searching inside displayable
attachment bodies works.

search: match the behavior of WWW for indexing text

The basic rule is that if it is displayable via our WWW
interface, it should be indexable text for Xapian search.

search: avoid mindlessly calling body_set

It's not worth entering a complex codepath in Email::MIME to
save some (probably immeasurable amount of) memory, here.  We've
already stopped doing this in our WWW code a while back, too.
If we really cared enough about it, we'd prioritize work on a
streaming replacement for Email::MIME.

search: fix compatibility with Debian wheezy

Specifying the "d:" field only worked for
NumberValueRangeProcessor in older versions of Xapian, such
as the one in Debian wheezy (libsearch-xapian-perl=1.2.10.0-1)

This slipped through since I rarely use wheezy, anymore, and
perhaps nobody else does, either.  Perhaps wheezy support may be
dropped, soon.

Unfortunately, this requires a schema version bump.

search: increase term positions for each quoted hunk

We pay a storage cost for storing positional information
in Xapian, make good use of it by attempting to preserve
it for (hopefully) better search results.

search: match quote detection behavior of view

This is stricter than the mutt quote_regexp default
("^([ \t]*[|>:}#])+" on Debian jessie),
but matches what we have in View.pm.

I prefer the stricter quote detection since it is less ambiguous
and less likely to hide/obscure important details.

search: fix space regressions from recent changes

As of Xapian 1.0.4 (from 2007) is possible to use
Search::Xapian::QueryParser::add_prefix multiple times with the
same user field name but different term prefixes.

This brings my current git@vger mirror from 6.5GB to 2.1GB
(both sizes are after xapian-compact).

search: more granular message body searching

"bs:" and "b:" are adapted from mairix(1)

We will also support searching explicitly for quoted vs
non-quoted text via "q:" and "nq:" prefixes since sometimes
readers will not care for quoted text.

In the future, we will support parsing diffs (perhaps when
repobrowse integration is complete).

Note: this roughly doubles the size of the Xapian database due
to the additional information; so this change may not be worth
it.

search: drop longer subject: prefix for search

We only document the "s:" anyways.  While the long name is more
descriptive, the ambiguity makes agnostic caching (by Varnish or
similar) slightly harder and longer URLs are more likely to be
accidentally truncated when shared.

search: allow searching user fields (To/Cc/From)

Sometimes it can be useful to search based on who the
message was sent to, sent by, or Cc:-ed.  Of course,
headers can be faked, but they usually are not...

Anyways this mostly matches the behavior of mairix(1).

import: run "git gc --auto" when done

We need to prevent excessive repository growth for
public-inbox-watch and public-inbox-mda users.

import: hoist out common run_die subroutine

We will be reusing this in the next commit, too.

doc: document PERL_INLINE_DIRECTORY usage

For now, we will document this since it allows better
performance without the burden of extensions.  Perhaps one day
far in the future Perl can natively support vfork(2) AND that
version of Perl will be widely available, but I suspect that day
is at least a decade away, if not two:

https://rt.perl.org/Ticket/Display.html?id=128227

import: hoist out _check_path function

This reduces duplication, slightly.  We may be using it
yet again in a to-be-introduced function (or we may not
introduce it).

view: handle missing Content-Type in message

Email::MIME internally assumes "text/plain" for messages
missing a Content-Type, but does not expose that in the
Email::MIME::content_type API method.  We must assume it
ourselves to avoid uninitialized value warnings for the
rare (nowadays) MUAs which do not set it.

doc: flesh out public-inbox-index documentation

And include it into the build + website

doc: new docs for user-level commands

Hopefully more folks can download and run public-inbox,
nowadays.

config: use "publicinboxlimiter" prefix

Just having "limiter" in the prefix may confuse
it with something else.  Use the full prefix to
avoid this confusion.

init: enable pack bitmaps by default

We want to encourage users to serve repositories.  So enable
bitmaps by default so performance suffers less with smart HTTP.

watch: use "publicinboxwatch" namespace

We'll keep supporting "publicinboxlearn" indefinitely,
but "publicinboxwatch" is probably more appropriate
at the moment.

Noticed while writing documentation.

doc: set release and section properly for manpages

This will be important as we will have more of them.

txt2pre: allow overriding title via env

This will allow reasonable titles to be generated for
manpages.

txt2pre: use public-inbox internal APIs

Since this is bundled with the source, we might as well use
internal APIs to avoid having duplicate code (and bugs :P)

www: give tor2web some exposure, too

Not everybody can run Tor, hopefully more can use Tor2web
even if it compromises their privacy.  This should help
make system more resilient for users unable to use Tor.

doc: avoid conflicting with MakeMaker variable names

We want the pod2man(1) executable for handling certain
options.  Also, use the correct year while we're at it :P

avoid spaces after shell redirection operators

This makes us closer to git.git style (though I'm not quite sure
why we do this...)

doc: mda: remove vestigial pandoc comment

We use perlpod nowadays since it's Perl, like our code base.

README: add link to source code mirrors

Centralization sucks, so we mirror everything.

searchview: link to internal help text

The internal help text links to the Xapian query parser
documentation anyways, but also provides information
on which prefixes exist.

www: implement generic help text

Begin documenting some basic help functionality.
I may tweak the anchor names of the various HTML endpoints
to be more consistent with each other (old ones will be
supported for a short while), so I'm not documenting
those, for now.

This may become part of a builtin key-value store for
basic texts, but this probably shouldn't become a wiki
engine, either.

linkify: be stricter about matching RFC 3986

We're not to-the-letter about percent-encoding, but
we should allow all the characters.  This is mainly
so we can effectively use the link to some Wikipedia
pages with parentheses in them:

https://en.wikipedia.org/wiki/Atom_(standard)
https://en.wikipedia.org/wiki/Git_(software)

view: try assuming UTF-8 for bogus charsets

For some reason, Alpine will set X-UNKNOWN for valid UTF-8.
Since we favor UTF-8 HTML anyways, try forcing Email::MIME to
handle text/plain as UTF-8 which might show up better.

At least this change renders

<alpine.DEB.2.20.1608131214070.4924@virtualbox>

properly by showing "•" (&#8226;) instead of
"â ¢" (&#226;&#128;&#162;)

Reported-by: Thomas Ferris Nicolaisen <tfnico@gmail.com>

view: try to display bogus charsets for text/plain

Alpine seems to set charset=X-UNKNOWN for valid UTF-8 text,
which causes Email::MIME::body_str to fail as X-UNKNOWN
is not a valid encoding.  So, blindly display the body
as plain-text but warn users about possibly mangled text.

Reported-by: Thomas Ferris Nicolaisen <tfnico@gmail.com>

view: attach_link uses string concatentation

There is no point in using an array to join on an
empty string (my original intention was probably to
join on "\n").

This is only preparation for the next change to show
a warning to in the attachment link.

search: add YYYYMMDD search range via "d:" prefix

This is similar to mairix in that it uses a "d:" prefix; but
only takes YYYYMMDD, for now.  Using custom date/time parsers
via Perl will be much more work:

nntp://news.gmane.org/20151005222157.GE5880@survex.com

Anyhow, this ought to be more human-friendly than searching by
Unix timestamps, but it requires reindexing to take advantage of.

search: drop pointless range processors for Unix timestamp

The Unix timestamp isn't meaningful for users searching,
we will start indexing the YYYYMMDD date stamp which may
use StringValueRangeProcessor, instead.

HACKING: minor updates and add to the website

Also, at least add one of the Tor mirrors (the rest will
be discoverable through the mirrors themselves).

import: use common address parsing to drop unnecessary quotes

Not sure why or how I missed this before; but the common address
parsing routine we have should be more correct.

Add a test to ensure excessively quoted names don't make it
through, either.

TODO: updates based on git@vger mirror experience

Plenty more to do!

www: do not double-clean Message-IDs from internal DBs

Ensure we usually strip one level of '<>' from Message-IDs,
since our internal SQLite, Xapian, and SHA-1 storage all
assume that.

Realistically, we screw up if somebody has '<<' or '>>',
but those are screwed up mail clients and we can deal with
it another time.  Currently, this means some messages with
'>>' in References or Message-Id are not handled correctly,
yet, but we match the behavior of Mail::Thread in keeping
the extra '>'.

www: do not unecessarily escape some chars in paths

Based on reading RFC 3986, it seems '@', ':', '!', '$', '&',
"'", '; '(', ')', '*', '+', ',', ';', '=' are all allowed
in path-absolute where we have the Message-ID.

In any case, it seems '@' is fairly common in path components
nowadays and too common in Message-IDs.

www: ensure XML validity for some odd ASCII chars

I've seen 0x1b (\e) in at least one message and some other
possibly non-printable chars.  In any case, make sure they're
valid XML with us-ascii encoding as far as xmlstarlet(1) thinks
so.

mid: no wide characters for sha1_hex

Apparently there are some really screwed up In-Reply-To
fields out there.

search: gracefully handle lookup_message failure

We can't blindly assume a ghost even exists in the DB, as the
rules can change internally for some corner-case Message-IDs.

view: remove redundant pre closing tag

view: allow for missing In-Reply-To mapping

Because buggy mail clients exist and generate invalid
In-Reply-To headers we cannot handle across the board...

searchidx: do not release Xapian lock while (only) Msgmap is indexing

SQLite might index quickly, so we hold the lock used by Xapian
for the duration.  This probably needs to be reworked entirely,
actually.