get rid of Message-ID compression entirely

Provide a fallback for legacy SHA-1 messages, but do not
advertise shorter URLs anymore for data portability concerns.

This fixes a regression introduced in
commit 81a9c1b476987d845b340ab9013d26cf4487cb9a
("search: disable Message-ID compression in Xapian")
which ended up breaking thread-related endpoints for
large Message-IDs, as lookups on the SHA-1 message no longer
worked.

ExtMsg: 300 to external mailing list archives

Since cross-posting is inevitable, we shall link to external
message archives for interopability.

search: disable Message-ID compression in Xapian

We'll continue to compress long Message-IDs in URLs (which we know
about), but we will store entire Message-IDs in the Xapian database
to facilitate ease-of-lookups in external databases.

view: include ghost messages in thread views

We'll be expanding our ghost message lookup facilities, so
it makes sense to generate links to them even if they are
currently unknown.

implement external Message-ID finder

Currently, this looks at other public-inbox configurations
served in the same process.  In the future, it will generate
links to other Message-ID lookup endpoints.

view: avoid links to unknown compressed Message-IDs

Compressed Message-IDs are irreversible and may not be used
at other sites.  So avoid compressing Message-IDs we do not
know about so users have a chance of finding the message in
other archives by doing a Message-ID lookup.

view: pre-anchor entries for flat view

This will allow users to navigate the flat view without making extra
HTTP requests.

view: simplify parent anchoring code

This will make things easier for the next commit to pre-populate
the `$seen' hash for linking within the flat view of a thread.

view: account for missing In-Reply-To header

Some mail clients do not generate In-Reply-To headers,
but do generate a proper References header.

This matches the behavior of Mail::Thread as well
as our SearchIdx code to link threads in the Xapian DB.

view: optional flat view for recent messages

For still-active threads, it will likely be easier to follow
them chronologically, especially if we have links to parent
messages.

view: close possible race condition in thread view

It's possible that the Xapian index and git HEAD can be out-of-sync
and a message which existed when we did the search is no longer
accessible by the time we get to rendering it.

view: purge email address cache after rendering thread

We cannot allow memory in the cache to grow at an unbounded
rate in between HTTP requests.

feed: extra newline after nav footer if list footer exists

It makes sense to distinguish the two a little.

view: change wording to include "thread" in footer

Hopefully make it more obvious we're downloading or following
just one thread and not everything else.

feed: fix <updated> tag in Atom feed

Fixes commit d44ed46ee92c78aaaed64975c4d6846613963be4
("implement per-thread Atom feeds")

view: add missing space

This fixes a regression introduced in
commit 1b4b2c7b8b2f2df8f114617d2e875eaf5c839ce0
("completely revamp URL structure to shorten permalinks")

view: more robust link generation

We must avoid double-escaping in cases where we have URLs anchored
by "<>" in the plain-text as is common (and AFAIK recommended)
convention.  So we must use a two step linkification process
to prevent double-escaping.

view: drop extra '</a>' tag

Oops.

completely revamp URL structure to shorten permalinks

This allows common /m/ links to be used without a prefix,
saving 2 precious bytes for permalinks and raw messages.

Old URLs continue to redirect.

www: root atom feed is "new.atom" and not "atom.xml"

The MIME type entry for Atom feed relies on "atom",
so allow properly-configured static file servers to serve
it with the correct Content-Type header.

www: compile mbox regexp only once

No need for 'x' modifier to span more lines, though

implement per-thread Atom feeds

This allows users to subscribe to only a single thread
with their feed reader without subscribing to the rest of
the thread.

Update our endpoint notes while we're at it.

feed: extract atom header generation

We'll be using it for per-thread subscriptions

feed: use updated date based on git commit date

This will hopefully make life easier for feed readers.

search: show newest results first

Like revision control history, older stuff is less relevant,
so favor newer stuff, first.

search: allow querying all mail with ''

This makes dumping recent topics easier, hopefully.

search: reduce redundant doc data

Redundant document data increases our database size, pull the
smsg->mid off the unique term, the smsg->ts off the value, and
only generate the formatted display date off smsg->ts.

www: avoid BEGIN block for config loading

It fails the syntax check if a user does not have
~/.public-inbox/config setup.  Anyways we can safely
use ||= on a global since we do not support threads.

view: avoid broken parent link in per-message view

Broken by commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

view: remove "threadlink" from thread view

We're already inside the thread, and our thread summary inside
/m/$MESSAGE_ID/ is already sufficient got navigate back to the
/t/$MESSAGE_ID/ page.  So I think it's sufficient to keep the
/t/$MESSAGE_ID/ page lighter with fewer links and avoid
introducing strange terminology.

In contrast, "permalink" is relatively well-known and
not an alien term to readers:

https://en.wikipedia.org/wiki/Permalink

view: remove "threadlink" name in per-message view

It's a strange word and I'm not quite comfortable with it
in a message view.  Instead, use a descriptive link for
the thread headers.

mid2path: clean MID of angle brackets '<>'

We screwed up and needed to fix URL generation with '<>'
in them.  Regardless, users may attempt to copy and paste
URLs with '<>' in them, do not punish them for that.

view: fix broken threadlink

This regression was accidentally introduced in
commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

public-inbox-index: resolve git directory if run inside one

I often forget to pass the correct path to a git directory
or run from inside one.  Fortunately git is script-friendly
and allows easily resolving the correct GIT_DIR path.

search: do not index references and inreplyto terms

We no longer need them, as we can rely on index-time thread
resolution and thread merging.  This allows us to index less
data and hopefully increase efficiency.

view: display thread outline in single-message view

If Xapian search is available, we can load most of the
entire thread and show a more meaningful navigation tree
than the References: and In-Reply-To: headers.  Searching
on those headers themselves is unreliable because it is
possible for clients to omit some references.

view: update linkification regexp to be more domain sensitive

This avoids capturing links such as "http://#{foo}" => "http://#"
inside diffs

view: remove dead commented line

Not needed since commit 9a2931759c3dcbd879728b49151aa3f8a641b506
("wire up to display non-suffixed Message-ID links")

avoid length in boolean context

Perl does not currently optimize for this.

ref (from p5p):
http://mid.gmane.org/D5C27970-9176-4C7A-8B99-7D78360E67A2@pobox.com

public-inbox-init: make executable

Mainly for consistency and documentation purposes, as
"make install" automatically sets the executable bit

search: do not iterate through entire termlist

A document may have many terms, so this hurts performance
if we blindly iterate.  Unfortunately, we can't rely on the
order of the termlist just yet, either, so we must repeatedly
restart the search for now until we're ready to bump schema
versions.

search: do not load type into metadata

Our search query already filters out ghost messages,
so it's wasteful to have type information loaded.

GitCatFile: remove unnecessary FD_CLOEXEC setting

Unless some idiot raises $^F, we should not have to care about
the close-on-exec flag.  Everything since Perl 3.0 seems to set
it by default, and 5.6 got more consistent about it.

view: fix short followup links

This was broken by commit 9a2931759c3dcbd879728b49151aa3f8a641b506
("wire up to display non-suffixed Message-ID links")

filter: reject bad attachments outright

Might as well be strict about it for new lists.
Importing old archives might be more of a challenge, though.

implement legacy redirects for old URLs

We should not break existing URLs.  Redirect them to
the newer, less-ambiguous URLs to improve cache hit
ratios.

wire up to display non-suffixed Message-ID links

These URLs are preferable in case somebody decides to get cute and
use a suffix we would've used to prevent others from linking to
their message.  The common /m/$MESSAGE_ID/ URLs are now 4 characters
shorter so may fit better on terminals.

mid: extract Message-ID from inside '<>'

This is necessary for some mailers which include comment text
in in the In-Reply-To header, merely assuming there is nothing
outside of '<>' as we were doing is not enough.

wire up shorter, less ambiguous URLs

We will prefer URLs without suffixes for now to avoid ambiguity
in case a Message-ID ends with ".html", ".txt", ".mbox.gz" or
any other suffix we may use.

Static file compatibility is preserved by using a trailing slash
as most servers can/will fall back to an index.html file in this
case.

For raw text files, we will follow gmane's lead with "/raw"

www: minor cleanups to shorten code

Less scrolling is more efficient.

www: reduce unused arguments in internal API

Less code is easier-to-manage, although we make a few extra
hash insertions now.

mbox: close file handle for single mbox

This doesn't seem needed for actual server use, but Plack tests
complain about it

feed: fix "created" vs "updated" diff in topics

This fixes a regression introduced in
commit 72c0f7c71ff28de9755dc4aee8b6ce6f0e4f2ed7
(feed: merge subjects regardless of "[PATCH vN]")

filter: loosen regexp on type matches

part_type still contains the filename, unfortunately, so
PGP signatures were truly stripped.  Oh well, nobody cares
to verify PGP signatures anyways.

feed: merge subjects regardless of "[PATCH vN]"

This normalizes rerolled patches with identical topics,
but does not normalize different patches even if they are
in the same thread (for now).

search: implement subject summarization

We ought to summarize subjects to avoid exploding
line lengths in the web interface.

Makefile.PL: add "syntax" target to check syntax

This is necessary since Xapian may not be installed and
we may hide a lot of errors this way.

mid: mid_compressed => mid_compress

Consistently name mid_* functions as verbs.

search: only sort by relevance if requested

Many of our internal search queries do not care about relevance,
but is used for proper thread displays.

view: refactor $state as a hash

Using hash means we no longer have to document and remember what
every field does.  The original array form was insane premature
optimization and crazy.  Who wrote that?  Oh wait, I was on
drugs :<

mda: remove unnecessary import

Relying on Email::MIME means encoding is handled transparently
for us.

view: simplify root filtering in followup display

The root message-ID may be too long to compare.  Instead,
check fields based on the consistency of our DB.

view: case-insensitive "Re:" check for replies

This is to match what Mail::Thread nad our own search
relies on.  However, we will be more lenient on spaces,
though.

cleanup calls to header_obj

Dereference header_obj only once when performance may be
critical, or simplify our code by calling "header" directly on
the Email::{Simple,MIME} object if not.

hopefully fix broken permissions for search

We must preserve the umask for the entirety of the indexing
operation, as Xapian transactions replace entire files
atomically instead of writing them in place.

cleanup Email::Address usage

Email::Address::name never fails assuming it was able to parse
anything.

search: respect core.sharedRepository in for Xapian DB

Extend the purpose of core.sharedRepository to apply to
the $GIT_DIR/public-inbox/xapian* directory.

feed: r= parameter supports "HEAD" as a revision

public-inbox git repositories require a "HEAD" ref to
function correctly anyways.

GitCatFile: use offset for read instead of appending

There is no need to perform string appends when the
"read" and "sysread" functions take an offset argument
to append to the given buffer.

This avoid needless string creation.

mbox: clarify our use of the the mboxrd variant

Commenting it in the From: line seems appropriate and
reduces compatibility problems in case a MUA cannot handle
trailing comments after the timestamp.

mbox: use mboxrd quoting rules

This redundantly quotes >From from to prevent losing information
as described by qmail

.txt links return an mbox instead

This improves compatibility and allows individual messages
to be concatenated into an existing mbox without further
modifications.  "git format-patch" does something similar
(but does not do "From " line escaping(!))

view: wire up mbox.gz links

To reduce clutter, we will not link to uncompressed versions.
Users should be able to download entire threads for offline
reading, enable this feature for them.

mbox: support uncompressed mbox

Some folks may want to view the mbox inline as a string of raw text,
when guessing URLs.  Let them do this...

search: consistently pass options and flags

Most of our special query functions require exact matches, so none
of the flags we normally use are necessary for query parsing.

view: reference total followups

In case there's huge threads, readers should know about them
even though we currently lack the navigation to display them.

view: misc cleanups and simplifications

Less code should be easier-to-read.

search: split search indexing to a separate file

This makes organization easier and reduces the amount of code
loaded for a PSGI, mod_perl or CGI instance.

view: prevent 'once' warnings for sub ref

Perl seems to incorrectly warn for this, workaround it.

remove XML::Atom::SimpleFeed dependency

We will attempt to generate Atom feeds "by hand" as the
XML::Atom::SimpleFeed API does not support streaming output.
Since email is large and servers are small, this should prevent
wasting memory when we generate larger feeds.

Of course, we hope clients use SAX parsers capable of handling
large streams without slurping.

www: enable and expand preload from mod_perl2

Hopefully this saves us some memory with CoW on *nix.

INSTALL: document IO::Compress::Gzip dependency

Otherwise folks won't get downloadable mboxes

cgi: remove static file generation support for now

We may not support this after all, CGI.pm is already
legacy-enough and far more powerful.

stream HTML views as much as possible

This should allow progressive rendering on the client and reduce
memory usage on the server.  Unfortunately XML::Atom::SimpleFeed
does not yet support streaming, so we may not use it in the
future.

search: s/count/total/ for results

This is hopefully less ambiguous, as the word "count" confused
me, too.

mbox: drop unnecessary imports

These are not necessary, anymore

switch to gzipped mboxes

Mboxes may be huge, so only support downloading gzipped mboxes
to save bandwidth and to get free checksumming.

Streaming output means we should not be wasting too much memory
on this unless the chosen server sucks.

mbox: stream entire thread, regardless of size

Since mbox is usually downloaded, support fetching infinitely large
responses via streaming.

support dumping thread as an mbox

Some folks may not want to download and install Perl code like
ssoma, so allow downloading an mbox containing the entire
thread.

view: "next" link in thread view goes to next Subject line

It's a bit disconcerting to jump to the authorship line.

view: cleanup and reduce duplication

This also avoids incorrectly incrementing $part_nr when
we skip a part due to bad Content-Type.

feed: fix extra, unnecessary quote

Oops!

search: preserve References: order in document data

We need proper ordering of References to thread messages
correctly.  We would lose this order if we load the terms
from the database, so set it directly document data.

Do not bother with a separate In-Reply-To, since Mail::Thread
just merges the IRT into References.  This bumps our schema
version once again.

avoid using header_raw for Message-ID retrieval

This is for consistency with ssoma.  I doubt it makes
a difference in practice, but in case somebody decides
any of the Message-ID-containing headers should have
strange characters, we'll decode and attempt to thread
them.  This isn't an attack vector, just a way to
make messages thread improperly which is pointless...

view: simplify message threading dumpers

dead code cleanup

We may not be using subject_path after all.

www: remove useless no-op assignment statement

Oops

misc documentation updates

Threading in Xapian is mostly supported by now; so start
documenting things.

replace references to lynx

Table rendering in lynx is crap compared to w3m and links.
However, we still use it for filtering HTML since the renderer
is otherwise nice...

search: index_sync allows specifying alternate HEAD

This should allow us to sync the index to a temporary head
to update the Xapian index before we update the real HEAD
index.