Makefile.PL: add "syntax" target to check syntax

This is necessary since Xapian may not be installed and
we may hide a lot of errors this way.

mid: mid_compressed => mid_compress

Consistently name mid_* functions as verbs.

search: only sort by relevance if requested

Many of our internal search queries do not care about relevance,
but is used for proper thread displays.

view: refactor $state as a hash

Using hash means we no longer have to document and remember what
every field does.  The original array form was insane premature
optimization and crazy.  Who wrote that?  Oh wait, I was on
drugs :<

mda: remove unnecessary import

Relying on Email::MIME means encoding is handled transparently
for us.

view: simplify root filtering in followup display

The root message-ID may be too long to compare.  Instead,
check fields based on the consistency of our DB.

view: case-insensitive "Re:" check for replies

This is to match what Mail::Thread nad our own search
relies on.  However, we will be more lenient on spaces,
though.

cleanup calls to header_obj

Dereference header_obj only once when performance may be
critical, or simplify our code by calling "header" directly on
the Email::{Simple,MIME} object if not.

hopefully fix broken permissions for search

We must preserve the umask for the entirety of the indexing
operation, as Xapian transactions replace entire files
atomically instead of writing them in place.

cleanup Email::Address usage

Email::Address::name never fails assuming it was able to parse
anything.

search: respect core.sharedRepository in for Xapian DB

Extend the purpose of core.sharedRepository to apply to
the $GIT_DIR/public-inbox/xapian* directory.

feed: r= parameter supports "HEAD" as a revision

public-inbox git repositories require a "HEAD" ref to
function correctly anyways.

GitCatFile: use offset for read instead of appending

There is no need to perform string appends when the
"read" and "sysread" functions take an offset argument
to append to the given buffer.

This avoid needless string creation.

mbox: clarify our use of the the mboxrd variant

Commenting it in the From: line seems appropriate and
reduces compatibility problems in case a MUA cannot handle
trailing comments after the timestamp.

mbox: use mboxrd quoting rules

This redundantly quotes >From from to prevent losing information
as described by qmail

.txt links return an mbox instead

This improves compatibility and allows individual messages
to be concatenated into an existing mbox without further
modifications.  "git format-patch" does something similar
(but does not do "From " line escaping(!))

view: wire up mbox.gz links

To reduce clutter, we will not link to uncompressed versions.
Users should be able to download entire threads for offline
reading, enable this feature for them.

mbox: support uncompressed mbox

Some folks may want to view the mbox inline as a string of raw text,
when guessing URLs.  Let them do this...

search: consistently pass options and flags

Most of our special query functions require exact matches, so none
of the flags we normally use are necessary for query parsing.

view: reference total followups

In case there's huge threads, readers should know about them
even though we currently lack the navigation to display them.

view: misc cleanups and simplifications

Less code should be easier-to-read.

search: split search indexing to a separate file

This makes organization easier and reduces the amount of code
loaded for a PSGI, mod_perl or CGI instance.

view: prevent 'once' warnings for sub ref

Perl seems to incorrectly warn for this, workaround it.

remove XML::Atom::SimpleFeed dependency

We will attempt to generate Atom feeds "by hand" as the
XML::Atom::SimpleFeed API does not support streaming output.
Since email is large and servers are small, this should prevent
wasting memory when we generate larger feeds.

Of course, we hope clients use SAX parsers capable of handling
large streams without slurping.

www: enable and expand preload from mod_perl2

Hopefully this saves us some memory with CoW on *nix.

INSTALL: document IO::Compress::Gzip dependency

Otherwise folks won't get downloadable mboxes

cgi: remove static file generation support for now

We may not support this after all, CGI.pm is already
legacy-enough and far more powerful.

stream HTML views as much as possible

This should allow progressive rendering on the client and reduce
memory usage on the server.  Unfortunately XML::Atom::SimpleFeed
does not yet support streaming, so we may not use it in the
future.

search: s/count/total/ for results

This is hopefully less ambiguous, as the word "count" confused
me, too.

mbox: drop unnecessary imports

These are not necessary, anymore

switch to gzipped mboxes

Mboxes may be huge, so only support downloading gzipped mboxes
to save bandwidth and to get free checksumming.

Streaming output means we should not be wasting too much memory
on this unless the chosen server sucks.

mbox: stream entire thread, regardless of size

Since mbox is usually downloaded, support fetching infinitely large
responses via streaming.

support dumping thread as an mbox

Some folks may not want to download and install Perl code like
ssoma, so allow downloading an mbox containing the entire
thread.

view: "next" link in thread view goes to next Subject line

It's a bit disconcerting to jump to the authorship line.

view: cleanup and reduce duplication

This also avoids incorrectly incrementing $part_nr when
we skip a part due to bad Content-Type.

feed: fix extra, unnecessary quote

Oops!

search: preserve References: order in document data

We need proper ordering of References to thread messages
correctly.  We would lose this order if we load the terms
from the database, so set it directly document data.

Do not bother with a separate In-Reply-To, since Mail::Thread
just merges the IRT into References.  This bumps our schema
version once again.

avoid using header_raw for Message-ID retrieval

This is for consistency with ssoma.  I doubt it makes
a difference in practice, but in case somebody decides
any of the Message-ID-containing headers should have
strange characters, we'll decode and attempt to thread
them.  This isn't an attack vector, just a way to
make messages thread improperly which is pointless...

view: simplify message threading dumpers

dead code cleanup

We may not be using subject_path after all.

www: remove useless no-op assignment statement

Oops

misc documentation updates

Threading in Xapian is mostly supported by now; so start
documenting things.

replace references to lynx

Table rendering in lynx is crap compared to w3m and links.
However, we still use it for filtering HTML since the renderer
is otherwise nice...

search: index_sync allows specifying alternate HEAD

This should allow us to sync the index to a temporary head
to update the Xapian index before we update the real HEAD
index.

view: do not fold top-level messages in thread

This hopefully reduces clicking.  We may drop folding entirely
since we can use Xapian to make searching easier.

index: layout fix + title and Atom feed links at top

Add some spacing between topics to improve readability when
scanning or in case a subject gets too long.

The title and Atom feed may not be highly-visible otherwise.
While we're at it, use the proper "Atom feed" terminology since
some folks may not understand just what "atom" means.

search: bump schema version to 5 for subject_path

In "index: simplify main landing page if search-enabled",
subject normalization went a little farther to drop trailing
'.' characters, so we will need to re-index.

view: reduce memory usage when displaying large threads

We want to minimize the time any large objects or strings
are referenced.  We can do threading entirely from the
mini_mime-generated messages and lazilly load full messages
when rendering the display.

search: reject ghosts in all cases

We do not need ghost messages in any of our thread views

search: avoid needless decode

Email::MIME should handle everything for us and make things
work nicely with Xapian (assuming I understand how encoding
works in Perl).

While we're at it, reduce temporary strings and arrays by
using destructive operations and clobbering parts as we
iterate through them.

index: simplify main landing page if search-enabled

We can display /t/$MESSAGE_ID.html easily with a Xapian search
index, so rely on it instead of trying to display messages inline.

view: avoid nesting <a> tags from auto-linkification

It is wrong HTML to have <a> tags nested due to auto-linkification.

use tables for rendering comment nesting

This is more space efficient since we don't need to place padding
bytes in front of every line.  While this unfortunately does not
render well on lynx; w3m, links, elinks can all render tables
sanely.

Tables are also superior for long lines which require wrapping
inside <pre> containers.

feed: move timestamp parsing to view

We don't need share duplicate logic across both files.

feed: remove threading from index

We'll be making the index smarter for people with search
support enabled.  Otherwise, it'll be chronological and
a bit dumb.  At least it'll use less memory.

www: redirect /f/$MESSAGE_ID.txt links to /m/$MESSAGE_ID.txt

Some people (e.g. myself :p) may try to guess URLs and hit a
404.  Redirect to the /m/ version.

Note: we prefer to redirect to canonical URLs to improve
caching.

view: return empty string to avoid undefined values

Sometimes we have filter bugs and let HTML slip through...

view: fix spacing on missing ghosts

We must not prematurely indent if we have no message header to
display.

view: close anchor tag correctly before starting another

Noticed by tidy

public-inbox-index: exit with usage if not given an arg

I often forget how to use this myself :x

thread: another workaround for a Mail::Thread bug

Yay for monkey patching!

ref: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=795913
ref: https://rt.cpan.org/Ticket/Display.html?id=106498

search: bump SCHEMA_VERSION to 4

The following two commits affect indexing behavior, so
change the schema version to avoid compatibility problems
or missing messages:

search: common Subject: normalization for Re: prefixes
search: avoid creating ghosts for circular References

search: expose $PublicInbox::Search::LANG variable

This makes it easier to reconfigure for non-English users

search: common Subject: normalization for Re: prefixes

Drop German ("Aw:") support since it's non-standard and
is not supported by Mail::Thread and non-English prefixes
are more likely to conflict with prefixes used in Free Software
development where ("subsection:") prefixes are common and English is the
common language.

Anyways we don't filter "Vs: " (Finnish) or "Sv: "
(Norwegian, Swedish, Danish, Icelandic), either.

ref:
https://en.wikipedia.org/wiki/RE_(e-mail)#Abbreviations_in_other_languages

search: avoid creating ghosts for circular References

Some mail software incorrectly creates circular references
and causes us to create ghosts before the actual mail doc
is created.

view: cleaner Message-ID filtering for References

Avoid compiling a weird and potentially fragile regexp every
time and use the same logic as our search module to dedupe
References.

view: do not recompress already-compressed MID for anchors

This is merely for display, so on the off chance somebody does
send a 40-byte MID with nothing but hexadecimal characters,
the worst that could happen is we repeat an anchor name in the
rendered HTML.  This has no impact on git archival or Xapian
indexing.

search: simplify indexing operation

There's no need to make a transaction for each message when doing
incremental indexing against a git repository.  While we're at it,
simplify the interface for callers, too and do not auto-create
the Xapian database if it was not explicitly enabled.

public-inbox-{learn,mda}: automatically sync index

We'll ignore errors, for now, but should eventually warn or
log.  And yes, this is a dirty, dirty hack but we'll fix this
ASAP tomorrow.

view: always compress Message-IDs for anchors

Valid URLs do not make valid anchor ids.

search: bump schema version for '%' compression change

commit 0fea7793b22efd2596983283947ee43687e0cfac
("mid: compress Message-IDs with '%' in them")
requires re-indexing of repositories with '%' in Message-IDs :<

mid: compress Message-IDs with '%' in them

Some HTTP servers (apache2 2.2.22-13+deb7u5) on my system
apparently do not handle "%25" correctly.  I'm not yet sure if
it's something weird with my rewrite rules or what....

search: apply mid_compression to subject paths, too

Otherwise we'll be wasting space in our index for long
subjects.

drop bodies and messages ASAP after processing

We can rely on reference counting to lower memory usage for
big messages.

feed: disable the generator statement

No need to waste bandwidth, here

search: use raw headers without MIME decoding

This should be less error-prone in case somebody tries to screw with
us and our thread_id mechanism or somehow waste our resources.
Unfortunately Mail::Thread isn't smart enough for this, yet, so we
may need to downgrade to Email::Simple objects as a workaround.

Or simply not worry about the display so much if somebody is
intentionally trying to make it thread badly/incorrectly.

terminology: replies => followups

Replies are only direct replies, but followups could be any message
further down the thread.  The latter is more useful.

www: simplify parameter passing to feed

No need to create a new hash when we can reuse the existing one
more.

WWW: eliminate "top" parameter for feeds

This parameter hasn't been used since
commit 5adf8d639e9b5abd4cbac975d70ddc0fb76541fc
("feed: dead code elimination around dropped endpoints")

favor /t/ to /s/, since subjects may change mid-thread

/t/ always falls back to subject path searching anyways,
so there's little lost besides perhaps more readable URLs.
Unfortunately people still use non-compliant mail clients which fail
to set In-Reply-To or References headers :<

feed: remove unnecesary time paramenter in index state

We no longer do "smart" time displays as of
commit ea0e8649f90d1fd0850a41c0ca16642faadf4f14
("view: simplify timestamp generation").

In retrospect, that commit also made us more cache-friendly, too.

skip search test if search support is missing

We will not require Search::Xapian to be installed.

Merge remote-tracking branch 'origin/search'

* origin/search:
  view: deduplicate common code for loading search results
  SearchMsg: ensure metadata for ghost messages mid
  implement /s/$SUBJECT_PATH.html lookups
  search: remove unnecessary xpfx export
  www: /t/$MESSAGE_ID.html for threads
  view: hoist out index_walk function
  view: reply threading adjustment
  thread: common sorting code
  view: display replies in per-message view
  search: make search results more OO
  extract redundant Message-ID handling code
  search: implement index_sync to fixup indexer
  initial search backend implementation

view: kill leading empty lines correctly

Was too sleepy to be coding last night :x

view: cleaner killing of leading/trailing whitespace

No point in wasting bytes even if gets compressed over
the wire, it'll use more memory when rendering on the
client.

view: hoist out index_walk function

We will reuse it for thread views when powered by Xapian.

view: deduplicate common code for loading search results

More to come later.

SearchMsg: ensure metadata for ghost messages mid

Ghosts have no document data in them.
Perhaps we should just rely on terms for Message-ID
and avoid storing that in the document data...

implement /s/$SUBJECT_PATH.html lookups

Quick-and-dirty wiring up of to Subject: paths.
This may prove more memorizable and easier-to-share than
/t/$MESSAGE_ID.html links, but less strict.

This changes our schema version to 1, since we now
use lower-case subject paths.

search: remove unnecessary xpfx export

SearchMsg calls it with the full module path anyways.

www: /t/$MESSAGE_ID.html for threads

This should bring up nearly the entire thread a given
Message-ID is linked to.

view: hoist out index_walk function

We will reuse it for thread views when powered by Xapian.

view: reply threading adjustment

Give changes in subject their own line to reduce line wrapping,
but avoid showing any redundant subjects by maintaining a hash
of subjects already displayed.

thread: common sorting code

We'll be sharing the same threading, so it makes sense to sort
replies using the same code and message headers without repeating
ourselves.

This also standardizes on sorting on X-PI-TS (Unix epoch in seconds)
instead over using X-PI-Date differently in two different places

view: display replies in per-message view

This can be used to quickly scan for replies in a message without
displaying an entire thread.

search: make search results more OO

This will relieve callers of the need to decode the data
we store internally in Xapian

extract redundant Message-ID handling code

Quit repeating ourselves and use a common MID module
instead.

search: implement index_sync to fixup indexer

We need to make the indexer executable and installable
while we're at it.

initial search backend implementation

This shall allow us to search for replies/threads more easily.

view: consistent ordering of Cc: addresses

This fixes a minor test failure in t/cgi.t

Tested with perl 5.18.2-2ubuntu1 on Ubuntu 14.04.3 LTS