nntp: fix ARTICLE/HEAD/BODY/STAT

Article number is optional, but we need to update the
article number of the client connection if it was specified
(but not if it was given a Message-ID) as stipulated by
RFC 977

nntp: fix logging of long responses

It's misleading to show short times on long responses.
Instead, show the long response as a separate entry on
completion or failure.

nntp: implement XPATH

This may be helpful for sorting out duplicates.

nntp: implement XROVER, speed up XHDR for some cases

Using Xapian allows us to implement XROVER without forking
new processes.

nntp: speed up XHDR for the Message-ID case

We can use our msgmap database to implement "XHDR Message-ID [range]"
commands quickly.  This helps immensely with slrnpull, which prefers
XHDR to LISTGROUP for some reason...

nntp: XOVER does not require range

XOVER uses the current article if no range is given as
stipulated in RFC 2980.

nntp: implement command argument checking

Validate commands to make sure we do not accidentally screw up
some things or leave out some argument checking.

nntp: use long response API for LISTGROUP

LISTGROUP can be expensive for giant groups, too.  Use the
long response API to improve fairness and prevent excessive
buffering.

nntp: introduce long response API for streaming

XOVER, NEWNEWS, XHDR responses may be arbitrarily long and cause
memory usage via buffering.  This problem would exist even if we
were to optimize them by caching headers for fast retrieval and
search.

Introduce a generic API to handle all of these commands fairly
without triggering excessive buffering and unfairness of the
existing implementation.

Generating these responses is still expensive for now, but at least
the implementation is fair to other clients and prevents one client
from using one of these commands to monopolize resources away from
other clients.

nntp: use write_buf_size instead write_buf

It is shorter code and probably faster than checking an
array.

read-only NNTP server

Implementing NEWNEWS, XHDR, XOVER efficiently will require
additional caching on top of msgmap.

This seems to work with lynx and slrnpull, haven't tried clients.

DO NOT run in production, yet, denial-of-service vulnerabilities
await!

view: do not shorten top-level messages in thread view

The thread root is usually the most important, and should
be displayed in full.

add cgit commit-filter example

public-inbox has search functionality, so take advantage of
good commit messages with proper titles to lookup discussion.

INSTALL: document DBD::SQLite and DBI dependencies

They're optional, but probably highly useful.

extmsg: wire up to use msgmap for prefixes

DBI + DBD::SQLite has much better handling of prefix lookups
than Xapian.  While we're at it, avoid linking blatantly wrong
Message-IDs to external services.

searchidx: sync Msgmap database along with Xapian

We can avoid duplicating work of extracting messages from git if we
tie this to Xapian.  Of course, this ties the two features together,
but it's probably reasonable to expect that anybody who wants to use
public-inbox to serve messages to front-end users will have both.

searchidx: hoist out rlog code

We'll be reusing this for loading msgmap.

msgmap: add message mapping via SQLite

This will allow us to maintain stable article numbers for an
NNTP server independently of Xapian.

searchview: do not link Atom feed by relevance

Atom feeds only make sense when sorted by time, not when our
search indexing rules change and affect relevance.  So do not
include the relevance option when linking to Atom feeds.

However, we shall still honor the 'r' query parameter in case
somebody wants to manually include that in the URL for
testing/experimental purposes.  We simply will not advertise
it.

view: jump to anchor of current message on References

Otherwise it could be a bit disorienting to jump to the
first message in the thread without navigation context.

view: do not show References unless a message has them

It's a waste of space and potentially confusing.

view: use header_obj to avoid extra method calls

Email::MIME will call the header_obj each time anyways, avoid
the extra method lookups and hit header_obj directly for the
header lookup.

view: extra Atom feed link in standalone message view

It might be helpful if user agents do not display the <link>
element in <head>.

view: add Atom links in headers for per-message links

Some user agents will advertise the presence of a feed this
way for users to subscribe to individual topics.

searchview: implement Atom feed for search results

This can be helpful for folks who want to subscribe
to a particular topic or keyword.

feed: consolidate updated tag generation

We'll be reusing this code further in the next commit.

searchview: support displaying entire threads

This hopefully makes it easy to perform queries to display
an entire thread.  Raise the limit in the threaded view to
display more results and hopefully improve the output of
thread display.

searchview: hoist out subroutines for clarity

We'll be expanding the search view to handle expanded views.

view: more consistent prefix for ghost links

This will be reused for search views.

examples/public-inbox.psgi: optional deflater

The deflater middleware isn't standard Plack, so don't require
potential users install it.

constent X?HTML MIME type filtering

Filter and View should reject X?HTML the same way.

view: change References link to expand thread

The expanded thread view is generally more useful.  Having links
to more links at the bottom seems to a waste of navigation time.
However, keep the '#r' anchor in case people rely on it for
links.

public-inbox-init: use absolute path

We actually have no business expanding (e.g. translating ~ to
$HOME) paths from the command-line argument, the shell does
that.

However, we need to make the path absolute instead.

update copyright headers and email addresses

In the future, it should be possible to use this:

    git ls-files | UPDATE_COPYRIGHT_HOLDER='all contributors' \
      UPDATE_COPYRIGHT_USE_INTERVALS=2 \
      xargs /path/to/gnulib/build-aux/update-copyright

Makefile.PL: conform to naming conventions

Not that we actually have a bare PublicInbox module, yet.
Maybe MID can be it.

extmsg: add note about the deficiency of the implementation

ref: http://public-inbox.org/meta/20150905091457.GA27857@dcvr.yhbt.net/

searchview: link users to permalink instead of thread

The permalink should load faster if the user had a good query
and users can easily find the rest of the message in the thread.

extmsg: fall back to partial Message-ID matching

In case a URL gets truncated (as is common with long URLs),
we can rely on Xapian for partial matches and bring the user
to their destination.

search: tweak parsing for internal queries

We should not need to use QueryParser for internal queries,
but rather for external ones.

We'll also be exposing searching Message-IDs with the "mid:" prefix
for broken mids on some servers, and enabling partial searching
with 'm' to help with URL truncations.

Since thread IDs may be volatile, they cannot be exposed to the
public, there's no reason to expose them to the query parser,
either.

Also, add 's:' as an alternative probabilistic prefix to 'subject'
as it is shorter.

search: note why we do not support FLAG_PURE_NOT

Perhaps this can be optionally enabled in the future for smaller
sites.

searchview: error description for invalid queries

Xapian may raise exceptions on some queries.  Pass the error
along to the user so they can read Xapian documentation.

search: use relevance as secondary sort by default

Might as well give relevance some weight if the timestamp is tied.

searchview: factor out dump_mset subroutine

We'll be moving atom and thread display support inline
and reducing endpoints.  Maybe it makes sense, maybe not.

searchview: improve footer navigation

Aallow navigating backwards and forwards, as some pages will be
bookmarked or some browsers may not have history.  Also add a
link back to the index where they presumably came from.

While we're at it, limit the number of results we have to 25
for now to avoid making the page too big and wasting clients
memory for irrelevant results.

view: preliminary HTML search interface

This hopefully makes it easier to find things without resorting
to proprietary external services.

view: fix broken link to ghost fallback

Once again, the regression was introduced in
commit 16ca6b7a57266fcb466ffff005bc1d644bad14c1
(view: avoid attempting to find "subject dummy")

www: extra redirects for the '/'-challenged

Omitting a slash should not be fatal if unambiguous.  Add
fallbacks so users who expect a directory structure-like
experience can have it at the cost of one extra HTTP
request/response pair.

This matches behavior of static sites.

view: thread view expands focused message

Non-top-level messages still deserve to be shown in full
if they're the message in the URL.

view: indentation adjustments for collapsed headers

This makes the layout between the permalink threads and
index threads more consistent; hopefully.

view: reduce redundant attributions in permalink refs

No point in repeating authorship when PATCH messages are
threaded and it's obvious from the top message who the author
is of the series:

 [this message] - John Smith @ 2015-09-04 00:04:20 UTC
  ` [PATCH 1/4] view: eliminate redundant [threaded|flat] link
  ` [PATCH 2/4] view: one line for thread subjects
  ` [PATCH 3/4] view: adjust spacing and indentation of index threads
  ` [PATCH 4/4] view: add missing newline to inline dump

view: add missing newline to inline dump

This fixes a regression introduced in
commit 16ca6b7a57266fcb466ffff005bc1d644bad14c1
(view: avoid attempting to find "subject dummy")

view: adjust spacing and indentation of index threads

Avoid wasting precious horizontal space by indenting children
excessively relative to the top-level parent.

view: one line for thread subjects

We truncate subjects in the Xapian document anyways,
so lines should not be too long and it hopefully won't
throw off the vertical display.

view: eliminate redundant [threaded|flat] link

We do not need to waste space with that link when
we have it conveniently placed where every message
is located.

view: do not generate anchors in thread views

They're unused, and they can have namespace conflicts if
there's multiple full messages in the thread view.

SearchMsg: avoid encoding Message-IDs

Spaces may be added when using header_str with Email::MIME->create,
so use the normal "header" parameter when setting Message-IDs
and References.

view: avoid attempting to find "subject dummy"

This is an internal Message-ID used by Mail::Thread, to group
messages with identical subjects but common parent.  Don't
attempt to redirect users to external sites when we cannot
find it.

extmsg: close HTML tag in response

Oops, browsers normally render this fine, though.

consolidate thread sorting in view

This is a display subroutine so it should not be in our thread
monkey-patching package, but instead in the view package.

Hopefully one day in the future, Mail::Thread will be maintained
again and we'll no longer need PublicInbox::Thread at all.

index: use message threading if search is available

This lets us merge topics with different subjects with a common parent
(common in "[PATCH 0/X]" threads).  This also lets us avoid forking for
the HTML index page, too.

doc: design_www: more accessibility guidelines

Despite best intentions, things like strike-throughs and italics
won't render well and will harm accessibility.

www: move fallback after legacy matches

We do not want to get legacy URLs swallowed up by our workaround
for weird and wonky servers that attempt to unescape PATH_INFO
before the app sees it.

feed: use application/atom+xml for Content-Type

This is the correct Content-Type for Atom feeds, especially
since we updated to use ".atom" as the suffix.

examples/public-inbox.psgi: update with middlewares

HTML, text, and probably Atom feeds should be compressed.

www: attempt to handle Message-IDs with slashes

Unfortunately, some HTTP servers will try to be clever
with %2F and escape it to '/', making life difficult for
us.  Fortunately, not many Message-IDs have slashes in
them.

get rid of Message-ID compression entirely

Provide a fallback for legacy SHA-1 messages, but do not
advertise shorter URLs anymore for data portability concerns.

This fixes a regression introduced in
commit 81a9c1b476987d845b340ab9013d26cf4487cb9a
("search: disable Message-ID compression in Xapian")
which ended up breaking thread-related endpoints for
large Message-IDs, as lookups on the SHA-1 message no longer
worked.

ExtMsg: 300 to external mailing list archives

Since cross-posting is inevitable, we shall link to external
message archives for interopability.

search: disable Message-ID compression in Xapian

We'll continue to compress long Message-IDs in URLs (which we know
about), but we will store entire Message-IDs in the Xapian database
to facilitate ease-of-lookups in external databases.

view: include ghost messages in thread views

We'll be expanding our ghost message lookup facilities, so
it makes sense to generate links to them even if they are
currently unknown.

implement external Message-ID finder

Currently, this looks at other public-inbox configurations
served in the same process.  In the future, it will generate
links to other Message-ID lookup endpoints.

view: avoid links to unknown compressed Message-IDs

Compressed Message-IDs are irreversible and may not be used
at other sites.  So avoid compressing Message-IDs we do not
know about so users have a chance of finding the message in
other archives by doing a Message-ID lookup.

view: pre-anchor entries for flat view

This will allow users to navigate the flat view without making extra
HTTP requests.

view: simplify parent anchoring code

This will make things easier for the next commit to pre-populate
the `$seen' hash for linking within the flat view of a thread.

view: account for missing In-Reply-To header

Some mail clients do not generate In-Reply-To headers,
but do generate a proper References header.

This matches the behavior of Mail::Thread as well
as our SearchIdx code to link threads in the Xapian DB.

view: optional flat view for recent messages

For still-active threads, it will likely be easier to follow
them chronologically, especially if we have links to parent
messages.

view: close possible race condition in thread view

It's possible that the Xapian index and git HEAD can be out-of-sync
and a message which existed when we did the search is no longer
accessible by the time we get to rendering it.

view: purge email address cache after rendering thread

We cannot allow memory in the cache to grow at an unbounded
rate in between HTTP requests.

feed: extra newline after nav footer if list footer exists

It makes sense to distinguish the two a little.

view: change wording to include "thread" in footer

Hopefully make it more obvious we're downloading or following
just one thread and not everything else.

feed: fix <updated> tag in Atom feed

Fixes commit d44ed46ee92c78aaaed64975c4d6846613963be4
("implement per-thread Atom feeds")

view: add missing space

This fixes a regression introduced in
commit 1b4b2c7b8b2f2df8f114617d2e875eaf5c839ce0
("completely revamp URL structure to shorten permalinks")

view: more robust link generation

We must avoid double-escaping in cases where we have URLs anchored
by "<>" in the plain-text as is common (and AFAIK recommended)
convention.  So we must use a two step linkification process
to prevent double-escaping.

view: drop extra '</a>' tag

Oops.

completely revamp URL structure to shorten permalinks

This allows common /m/ links to be used without a prefix,
saving 2 precious bytes for permalinks and raw messages.

Old URLs continue to redirect.

www: root atom feed is "new.atom" and not "atom.xml"

The MIME type entry for Atom feed relies on "atom",
so allow properly-configured static file servers to serve
it with the correct Content-Type header.

www: compile mbox regexp only once

No need for 'x' modifier to span more lines, though

implement per-thread Atom feeds

This allows users to subscribe to only a single thread
with their feed reader without subscribing to the rest of
the thread.

Update our endpoint notes while we're at it.

feed: extract atom header generation

We'll be using it for per-thread subscriptions

feed: use updated date based on git commit date

This will hopefully make life easier for feed readers.

search: show newest results first

Like revision control history, older stuff is less relevant,
so favor newer stuff, first.

search: allow querying all mail with ''

This makes dumping recent topics easier, hopefully.

search: reduce redundant doc data

Redundant document data increases our database size, pull the
smsg->mid off the unique term, the smsg->ts off the value, and
only generate the formatted display date off smsg->ts.

www: avoid BEGIN block for config loading

It fails the syntax check if a user does not have
~/.public-inbox/config setup.  Anyways we can safely
use ||= on a global since we do not support threads.

view: avoid broken parent link in per-message view

Broken by commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

view: remove "threadlink" from thread view

We're already inside the thread, and our thread summary inside
/m/$MESSAGE_ID/ is already sufficient got navigate back to the
/t/$MESSAGE_ID/ page.  So I think it's sufficient to keep the
/t/$MESSAGE_ID/ page lighter with fewer links and avoid
introducing strange terminology.

In contrast, "permalink" is relatively well-known and
not an alien term to readers:

https://en.wikipedia.org/wiki/Permalink

view: remove "threadlink" name in per-message view

It's a strange word and I'm not quite comfortable with it
in a message view.  Instead, use a descriptive link for
the thread headers.

mid2path: clean MID of angle brackets '<>'

We screwed up and needed to fix URL generation with '<>'
in them.  Regardless, users may attempt to copy and paste
URLs with '<>' in them, do not punish them for that.

view: fix broken threadlink

This regression was accidentally introduced in
commit f24d362fb0959cdfab37a6da0a66a985764a2752
("view: display thread outline in single-message view")

public-inbox-index: resolve git directory if run inside one

I often forget to pass the correct path to a git directory
or run from inside one.  Fortunately git is script-friendly
and allows easily resolving the correct GIT_DIR path.

search: do not index references and inreplyto terms

We no longer need them, as we can rely on index-time thread
resolution and thread merging.  This allows us to index less
data and hopefully increase efficiency.