examples/public-inbox.psgi: optional deflater

The deflater middleware isn't standard Plack, so don't require
potential users install it.

constent X?HTML MIME type filtering

Filter and View should reject X?HTML the same way.

view: change References link to expand thread

The expanded thread view is generally more useful.  Having links
to more links at the bottom seems to a waste of navigation time.
However, keep the '#r' anchor in case people rely on it for
links.

public-inbox-init: use absolute path

We actually have no business expanding (e.g. translating ~ to
$HOME) paths from the command-line argument, the shell does
that.

However, we need to make the path absolute instead.

update copyright headers and email addresses

In the future, it should be possible to use this:

    git ls-files | UPDATE_COPYRIGHT_HOLDER='all contributors' \
      UPDATE_COPYRIGHT_USE_INTERVALS=2 \
      xargs /path/to/gnulib/build-aux/update-copyright

Makefile.PL: conform to naming conventions

Not that we actually have a bare PublicInbox module, yet.
Maybe MID can be it.

extmsg: add note about the deficiency of the implementation

ref: http://public-inbox.org/meta/20150905091457.GA27857@dcvr.yhbt.net/

searchview: link users to permalink instead of thread

The permalink should load faster if the user had a good query
and users can easily find the rest of the message in the thread.

extmsg: fall back to partial Message-ID matching

In case a URL gets truncated (as is common with long URLs),
we can rely on Xapian for partial matches and bring the user
to their destination.

search: tweak parsing for internal queries

We should not need to use QueryParser for internal queries,
but rather for external ones.

We'll also be exposing searching Message-IDs with the "mid:" prefix
for broken mids on some servers, and enabling partial searching
with 'm' to help with URL truncations.

Since thread IDs may be volatile, they cannot be exposed to the
public, there's no reason to expose them to the query parser,
either.

Also, add 's:' as an alternative probabilistic prefix to 'subject'
as it is shorter.

search: note why we do not support FLAG_PURE_NOT

Perhaps this can be optionally enabled in the future for smaller
sites.

searchview: error description for invalid queries

Xapian may raise exceptions on some queries.  Pass the error
along to the user so they can read Xapian documentation.

search: use relevance as secondary sort by default

Might as well give relevance some weight if the timestamp is tied.

searchview: factor out dump_mset subroutine

We'll be moving atom and thread display support inline
and reducing endpoints.  Maybe it makes sense, maybe not.

searchview: improve footer navigation

Aallow navigating backwards and forwards, as some pages will be
bookmarked or some browsers may not have history.  Also add a
link back to the index where they presumably came from.

While we're at it, limit the number of results we have to 25
for now to avoid making the page too big and wasting clients
memory for irrelevant results.

view: preliminary HTML search interface

This hopefully makes it easier to find things without resorting
to proprietary external services.

view: fix broken link to ghost fallback

Once again, the regression was introduced in
commit 16ca6b7a57266fcb466ffff005bc1d644bad14c1
(view: avoid attempting to find "subject dummy")

www: extra redirects for the '/'-challenged

Omitting a slash should not be fatal if unambiguous.  Add
fallbacks so users who expect a directory structure-like
experience can have it at the cost of one extra HTTP
request/response pair.

This matches behavior of static sites.

view: thread view expands focused message

Non-top-level messages still deserve to be shown in full
if they're the message in the URL.

view: indentation adjustments for collapsed headers

This makes the layout between the permalink threads and
index threads more consistent; hopefully.

view: reduce redundant attributions in permalink refs

No point in repeating authorship when PATCH messages are
threaded and it's obvious from the top message who the author
is of the series:

 [this message] - John Smith @ 2015-09-04 00:04:20 UTC
  ` [PATCH 1/4] view: eliminate redundant [threaded|flat] link
  ` [PATCH 2/4] view: one line for thread subjects
  ` [PATCH 3/4] view: adjust spacing and indentation of index threads
  ` [PATCH 4/4] view: add missing newline to inline dump

view: add missing newline to inline dump

This fixes a regression introduced in
commit 16ca6b7a57266fcb466ffff005bc1d644bad14c1
(view: avoid attempting to find "subject dummy")

view: adjust spacing and indentation of index threads

Avoid wasting precious horizontal space by indenting children
excessively relative to the top-level parent.

view: one line for thread subjects

We truncate subjects in the Xapian document anyways,
so lines should not be too long and it hopefully won't
throw off the vertical display.

view: eliminate redundant [threaded|flat] link

We do not need to waste space with that link when
we have it conveniently placed where every message
is located.

view: do not generate anchors in thread views

They're unused, and they can have namespace conflicts if
there's multiple full messages in the thread view.

SearchMsg: avoid encoding Message-IDs

Spaces may be added when using header_str with Email::MIME->create,
so use the normal "header" parameter when setting Message-IDs
and References.

view: avoid attempting to find "subject dummy"

This is an internal Message-ID used by Mail::Thread, to group
messages with identical subjects but common parent.  Don't
attempt to redirect users to external sites when we cannot
find it.

extmsg: close HTML tag in response

Oops, browsers normally render this fine, though.

consolidate thread sorting in view

This is a display subroutine so it should not be in our thread
monkey-patching package, but instead in the view package.

Hopefully one day in the future, Mail::Thread will be maintained
again and we'll no longer need PublicInbox::Thread at all.

index: use message threading if search is available

This lets us merge topics with different subjects with a common parent
(common in "[PATCH 0/X]" threads).  This also lets us avoid forking for
the HTML index page, too.

doc: design_www: more accessibility guidelines

Despite best intentions, things like strike-throughs and italics
won't render well and will harm accessibility.

www: move fallback after legacy matches

We do not want to get legacy URLs swallowed up by our workaround
for weird and wonky servers that attempt to unescape PATH_INFO
before the app sees it.

feed: use application/atom+xml for Content-Type

This is the correct Content-Type for Atom feeds, especially
since we updated to use ".atom" as the suffix.

examples/public-inbox.psgi: update with middlewares

HTML, text, and probably Atom feeds should be compressed.

www: attempt to handle Message-IDs with slashes

Unfortunately, some HTTP servers will try to be clever
with %2F and escape it to '/', making life difficult for
us.  Fortunately, not many Message-IDs have slashes in
them.

get rid of Message-ID compression entirely

Provide a fallback for legacy SHA-1 messages, but do not
advertise shorter URLs anymore for data portability concerns.

This fixes a regression introduced in
commit 81a9c1b476987d845b340ab9013d26cf4487cb9a
("search: disable Message-ID compression in Xapian")
which ended up breaking thread-related endpoints for
large Message-IDs, as lookups on the SHA-1 message no longer
worked.

ExtMsg: 300 to external mailing list archives

Since cross-posting is inevitable, we shall link to external
message archives for interopability.

search: disable Message-ID compression in Xapian

We'll continue to compress long Message-IDs in URLs (which we know
about), but we will store entire Message-IDs in the Xapian database
to facilitate ease-of-lookups in external databases.

view: include ghost messages in thread views

We'll be expanding our ghost message lookup facilities, so
it makes sense to generate links to them even if they are
currently unknown.

implement external Message-ID finder

Currently, this looks at other public-inbox configurations
served in the same process.  In the future, it will generate
links to other Message-ID lookup endpoints.

view: avoid links to unknown compressed Message-IDs

Compressed Message-IDs are irreversible and may not be used
at other sites.  So avoid compressing Message-IDs we do not
know about so users have a chance of finding the message in
other archives by doing a Message-ID lookup.

view: pre-anchor entries for flat view

This will allow users to navigate the flat view without making extra
HTTP requests.

view: simplify parent anchoring code

This will make things easier for the next commit to pre-populate
the `$seen' hash for linking within the flat view of a thread.

view: account for missing In-Reply-To header

Some mail clients do not generate In-Reply-To headers,
but do generate a proper References header.

This matches the behavior of Mail::Thread as well
as our SearchIdx code to link threads in the Xapian DB.

view: optional flat view for recent messages

For still-active threads, it will likely be easier to follow
them chronologically, especially if we have links to parent
messages.

view: close possible race condition in thread view

It's possible that the Xapian index and git HEAD can be out-of-sync
and a message which existed when we did the search is no longer
accessible by the time we get to rendering it.

view: purge email address cache after rendering thread

We cannot allow memory in the cache to grow at an unbounded
rate in between HTTP requests.

feed: extra newline after nav footer if list footer exists

It makes sense to distinguish the two a little.

view: change wording to include "thread" in footer

Hopefully make it more obvious we're downloading or following
just one thread and not everything else.

feed: fix <updated> tag in Atom feed

Fixes commit d44ed46ee92c78aaaed64975c4d6846613963be4
("implement per-thread Atom feeds")

view: add missing space

This fixes a regression introduced in
commit 1b4b2c7b8b2f2df8f114617d2e875eaf5c839ce0
("completely revamp URL structure to shorten permalinks")

view: more robust link generation

We must avoid double-escaping in cases where we have URLs anchored
by "<>" in the plain-text as is common (and AFAIK recommended)
convention.  So we must use a two step linkification process
to prevent double-escaping.

view: drop extra '</a>' tag

Oops.

completely revamp URL structure to shorten permalinks

This allows common /m/ links to be used without a prefix,
saving 2 precious bytes for permalinks and raw messages.

Old URLs continue to redirect.

www: root atom feed is "new.atom" and not "atom.xml"

The MIME type entry for Atom feed relies on "atom",
so allow properly-configured static file servers to serve
it with the correct Content-Type header.

www: compile mbox regexp only once

No need for 'x' modifier to span more lines, though

implement per-thread Atom feeds

This allows users to subscribe to only a single thread
with their feed reader without subscribing to the rest of
the thread.

Update our endpoint notes while we're at it.

feed: extract atom header generation

We'll be using it for per-thread subscriptions

feed: use updated date based on git commit date

This will hopefully make life easier for feed readers.

search: show newest results first

Like revision control history, older stuff is less relevant,
so favor newer stuff, first.

search: allow querying all mail with ''

This makes dumping recent topics easier, hopefully.

search: reduce redundant doc data

Redundant document data increases our database size, pull the
smsg->mid off the unique term, the smsg->ts off the value, and
only generate the formatted display date off smsg->ts.

www: avoid BEGIN block for config loading

It fails the syntax check if a user does not have
~/.public-inbox/config setup.  Anyways we can safely
use ||= on a global since we do not support threads.

view: avoid broken parent link in per-message view

Broken by commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

view: remove "threadlink" from thread view

We're already inside the thread, and our thread summary inside
/m/$MESSAGE_ID/ is already sufficient got navigate back to the
/t/$MESSAGE_ID/ page.  So I think it's sufficient to keep the
/t/$MESSAGE_ID/ page lighter with fewer links and avoid
introducing strange terminology.

In contrast, "permalink" is relatively well-known and
not an alien term to readers:

https://en.wikipedia.org/wiki/Permalink

view: remove "threadlink" name in per-message view

It's a strange word and I'm not quite comfortable with it
in a message view.  Instead, use a descriptive link for
the thread headers.

mid2path: clean MID of angle brackets '<>'

We screwed up and needed to fix URL generation with '<>'
in them.  Regardless, users may attempt to copy and paste
URLs with '<>' in them, do not punish them for that.

view: fix broken threadlink

This regression was accidentally introduced in
commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

public-inbox-index: resolve git directory if run inside one

I often forget to pass the correct path to a git directory
or run from inside one.  Fortunately git is script-friendly
and allows easily resolving the correct GIT_DIR path.

search: do not index references and inreplyto terms

We no longer need them, as we can rely on index-time thread
resolution and thread merging.  This allows us to index less
data and hopefully increase efficiency.

view: display thread outline in single-message view

If Xapian search is available, we can load most of the
entire thread and show a more meaningful navigation tree
than the References: and In-Reply-To: headers.  Searching
on those headers themselves is unreliable because it is
possible for clients to omit some references.

view: update linkification regexp to be more domain sensitive

This avoids capturing links such as "http://#{foo}" => "http://#"
inside diffs

view: remove dead commented line

Not needed since commit 9a2931759c3dcbd879728b49151aa3f8a641b506
("wire up to display non-suffixed Message-ID links")

avoid length in boolean context

Perl does not currently optimize for this.

ref (from p5p):
http://mid.gmane.org/D5C27970-9176-4C7A-8B99-7D78360E67A2@pobox.com

public-inbox-init: make executable

Mainly for consistency and documentation purposes, as
"make install" automatically sets the executable bit

search: do not iterate through entire termlist

A document may have many terms, so this hurts performance
if we blindly iterate.  Unfortunately, we can't rely on the
order of the termlist just yet, either, so we must repeatedly
restart the search for now until we're ready to bump schema
versions.

search: do not load type into metadata

Our search query already filters out ghost messages,
so it's wasteful to have type information loaded.

GitCatFile: remove unnecessary FD_CLOEXEC setting

Unless some idiot raises $^F, we should not have to care about
the close-on-exec flag.  Everything since Perl 3.0 seems to set
it by default, and 5.6 got more consistent about it.

view: fix short followup links

This was broken by commit 9a2931759c3dcbd879728b49151aa3f8a641b506
("wire up to display non-suffixed Message-ID links")

filter: reject bad attachments outright

Might as well be strict about it for new lists.
Importing old archives might be more of a challenge, though.

implement legacy redirects for old URLs

We should not break existing URLs.  Redirect them to
the newer, less-ambiguous URLs to improve cache hit
ratios.

wire up to display non-suffixed Message-ID links

These URLs are preferable in case somebody decides to get cute and
use a suffix we would've used to prevent others from linking to
their message.  The common /m/$MESSAGE_ID/ URLs are now 4 characters
shorter so may fit better on terminals.

mid: extract Message-ID from inside '<>'

This is necessary for some mailers which include comment text
in in the In-Reply-To header, merely assuming there is nothing
outside of '<>' as we were doing is not enough.

wire up shorter, less ambiguous URLs

We will prefer URLs without suffixes for now to avoid ambiguity
in case a Message-ID ends with ".html", ".txt", ".mbox.gz" or
any other suffix we may use.

Static file compatibility is preserved by using a trailing slash
as most servers can/will fall back to an index.html file in this
case.

For raw text files, we will follow gmane's lead with "/raw"

www: minor cleanups to shorten code

Less scrolling is more efficient.

www: reduce unused arguments in internal API

Less code is easier-to-manage, although we make a few extra
hash insertions now.

mbox: close file handle for single mbox

This doesn't seem needed for actual server use, but Plack tests
complain about it

feed: fix "created" vs "updated" diff in topics

This fixes a regression introduced in
commit 72c0f7c71ff28de9755dc4aee8b6ce6f0e4f2ed7
(feed: merge subjects regardless of "[PATCH vN]")

filter: loosen regexp on type matches

part_type still contains the filename, unfortunately, so
PGP signatures were truly stripped.  Oh well, nobody cares
to verify PGP signatures anyways.

feed: merge subjects regardless of "[PATCH vN]"

This normalizes rerolled patches with identical topics,
but does not normalize different patches even if they are
in the same thread (for now).

search: implement subject summarization

We ought to summarize subjects to avoid exploding
line lengths in the web interface.

Makefile.PL: add "syntax" target to check syntax

This is necessary since Xapian may not be installed and
we may hide a lot of errors this way.

mid: mid_compressed => mid_compress

Consistently name mid_* functions as verbs.

search: only sort by relevance if requested

Many of our internal search queries do not care about relevance,
but is used for proper thread displays.

view: refactor $state as a hash

Using hash means we no longer have to document and remember what
every field does.  The original array form was insane premature
optimization and crazy.  Who wrote that?  Oh wait, I was on
drugs :<

mda: remove unnecessary import

Relying on Email::MIME means encoding is handled transparently
for us.

view: simplify root filtering in followup display

The root message-ID may be too long to compare.  Instead,
check fields based on the consistency of our DB.

view: case-insensitive "Re:" check for replies

This is to match what Mail::Thread nad our own search
relies on.  However, we will be more lenient on spaces,
though.

cleanup calls to header_obj

Dereference header_obj only once when performance may be
critical, or simplify our code by calling "header" directly on
the Email::{Simple,MIME} object if not.