spamassassin rule and config updates

While we're at it, add a script for easy editing of user prefs.
We need some human-maintained rules based on the spam we get.
It's an imperfect world, but I'd _much_ rather deal with the
occassional spam than require signup/registration to post.

view: show References: header, too

Some mail user agents use this header, and Mail::Thread uses
it, too, so show it if possible, but only if it's not redundant
to In-Reply-To.

view: add per-message HTML footer to encourage replies

This may not work with most mail user agents, however.

huge refactor of encoding handling

Hopefully this simplifies and corrects our usage of Perl encoding
APIs.

cgi: eliminate dead/redundant HTML escaping code

html: refactor header value handling to be OO

This helps us keep track of escaping which needs to be done
for various levels.

t/feed: cleanup test and add test for /f/ link

We already depend on IPC::Run, so just use it our tests.

feed: add tests for <id> element setting

We need to ensure this works

This follows commit bd8fd095067b79a0d2a40bbca2b27b923d02b3f8
("feed: fix address when multiple addresses exist")

t/feed: notify user of missing XML::Feed

One of my dev machines did not have XML::Feed so things were
not tested sufficiently.

view: fix link to raw message from /f/ endpoint

Ugh, at least this has a test...

fix quoted URL generation in feeds

While we're at it, make sure strange characters are escaped properly
in Message-IDs.  We'll need tests for all this behavior.

view: do not decode Message-ID

This is ridiculous, nobody (including ssoma) ever does this.

feed: fix address when multiple addresses exist

This needs to be cleaned up

README: add links to try and HTML archives

config: use description file for gitweb

Do not repeat ourselves, just use the same description file
gitweb uses to avoid surprising users.

html/index: fix broken prev/next pagination on short histories

We do not have much history in public-inbox meta, so do
not mislead users with strange navigation elements which
lead nowhere.

feed: there is only one atom feed, with all messages

This is not a blog.  All posts, whether replies or not,
carry equal weight.

html/index: do not waste space with non-existent thread roots

Screen real-estate is valuable, and missing roots tend to
be false-positive matches (using Subject, not In-Reply-To
or References).

doc: update design_www and add HACKING file

Document some of the stranger choices I've made.

new scripts for importing slrn spools and maildirs

The old import_gmane_spool script was inflexible,
since we may import from maildir archives as well, so
get everything into maildir, first.

README: fix URL for source code clone

This is an 80x24.org project (more on that at another date).

scripts/dc-dlvr: allow exiting from ~/.dc-dlvr.pre

The ~/.dc-dlvr.pre script for my public-inbox user does this.

use ORIGINAL_RECIPIENT once again

It should be common for a single users to be subscribed to multiple
addresses/lists, so we must use the address before alias expansion.

This partially reverts commit b949afc9edf89dd494cac6255c78b124d58e11a5

scripts/import_gmane_spool: set git committer date

We normally want committer date to be different so we may
track delivery latencies (which do not differ much).
However, the rules for importing are much different and
tend to screw things up when using time ranges with git-rev-list.

various documentation cleanups

feed: close string ref before returning

Just in case there is an error, this should be more explicit.

cgi: delay some requires

This shaves off nearly 100ms when my Core2Duo is clocked to 800Mhz
when rendering a full HTML index.

feed: speed up blob checks if Git.pm is usable

Git::cat_blob is a handy interface to read multiple emails
without incurring fork + exec overhead.  Git.pm is GPLv2+,
not GPLv2-only, so we may link to it.

mda: share commit setup code with -learn

We need -learn to do many of the same things as -mda
when we have a false-positive.  We also need -learn to
do HTML filtering in case the training user screws up.

move precheck to MDA namespace

We will be combining common code between -learn and -mda

various documentation updates

We have an HTML homepage, OMG!

mda: rename PI_FAILBOX to PI_EMERGENCY

The emergency destination may be Maildir.  A Maildir emergency
destination is better for volatile data which is written to
and deleted-from frequently.

cgi: index pages allow iterating some pagination

This allows WWW readers to slowly page through the entire history
of the mailing list.

view: fix regression in standalone /^&gt;$/ lines

The lack of trailing whitespace in quote prefixes threw us
off and cause t/view to fail.

This failure was caused by
commit fefea3d7d2484ffbf433aec0dd80026aa7120e07
("ensure per-message short quotes do not get too long")
and not caught before pushing because I failed to run
"make", only "prove" (and not even "prove -l" :x).

ensure per-message short quotes do not get too long

Sometimes a single long word or URL can lengthen the line
too much.

cgi: sort HTML index by most recent date

This is hopefully the most user-friendly method.

view: remove pointless self-linkage

It is pointless to link to ourselves.

view: fix title of HTML views

We need to take care to escape everything properly to avoid
HTML/JS injections.

add example for CGI with Ruby WEBrick

Some people like old-fashioned Ruby and WEBrick is in the Ruby
standard library, so widely available.

view: inline shorter quotes

Breaking up short quote messages at 1 line is too disconcerting,
try 5 lines as proper quotes shouldn't be too long.

cgi: implement suffix-less Message-ID redirects

This may be easier in some cases for copy+paste, but not 100%
reliable in case the .txt and .html suffixes are in the Message-ID
itself.

cgi: include HTTP status in error message body

This makes it slightly easier for out-of-the-box curl users since
curl does not report or show the error by default.

HTML: various encoding fixups

Feed: add bug note on memory cycle

This affects users of long-lived processes (FastCGI/Plack)

Revert "cgi: relax path restriction for top-level"

CGI mounts should probably handle this internally.  We're reverting
this since it adds too much potential for abuse with fake/extra
prefixes in the URL.  We also need to reorder our redirect handling
as a result.

This reverts commit c394de9f2c91c2c5ed1f7832a5a7cc0206120b7f.

cgi: correct links to folded quotes

Lightly tested, but this seems to work OK.

view: finish HTML in per-message pages

cgi: support /all.html page with inline threads

Maybe this increases readability for now.

HTML: use shorter URLs in indices

Long URLs are not needed for HTML pages, but may be for feeds since
they're often resyndicated and not consumed by the browser.

HTML: ensure hrefs are quoted properly

We may be breaking some parsers or allowing more breakage
to slip through without quotes.  We waste some bytes, though.

mda: encoding-aware From: for GIT_ authorship

Users with non-US-ASCII compatible names were not showing
up properly in "git log" output.

scripts/import_gmane_spool: preserve delivery order

Unfortunately, this means we get rid of parallelization,
as we need to preserve delivery order so HTML indices look
chronological.  Order may also affect spam filtering and
training, too.

doc: add notes on scalability

Fortunately, most mailing lists will never grow too large.

doc: fold philosophy into the README

Hopefully this makes the scope and intent of the project clearer.

rename list from "bugs" to "meta"

"bugs" might confuse and limit the discussion, so "meta" it is!

mda: add most RFC 2919 and 2369 headers

These probably make sense even though we do not handle
delivery ourselves.  It can aid in searching/filtering/tagging
of messages.

derive -primary_address in config

This may be useful for generating List-Id headers and HTML pages.

cgi: fix up top-level index

We do not have all messages in the top-level index
(and we need to adjust the test while we're at it).

cgi: 301 for list-indices without trailing slash

It is common to type upper-level URLs without the slash,
redirect users to the correct page for usability.

t/cgi: cleanup: no need for additional block

Not sure what I was thinking...

cgi: ensure we unescape MIDs correctly in URLs

MIDs may have strange characters in them, so we need to handle
escaping/unescaping properly to avoid broken links or worse.

cgi: avoid parsing ENV directly for PATH_INFO

This might make it easier to go to non-CGI things.

cgi: relax path restriction for top-level

We may have something like /foo.cgi/m/$MID.html in there.

cgi: rename to have .cgi suffix

This makes it easier to configure for systems which
determine a script is a CGI script based on suffix.

scripts/import_gmane_spool: misc updates

We may promote this to be a real script, since public-inbox-mda
is idempotent.

view: trim_message_id consistently

Message-IDs could have embedded '<' and '>'

config: support multiple addresses for a inbox

This makes it possible to gradually migrate to new address in case
of list name changes, and is one step closer to operating in
"stealth hijack mode" :)

add spam/ham learning wrapper script

This is essential for integrating into my inotify-based
spam training setup.

Documentation/design_notes: more updates

Laziness \o/

(Then impatience and hubris :)

filter: clarify regular expression

I often forget the subtleties of Perl regexps and newlines,
so I suspect others do, too.  Use explicit capture so it's
more familiar to users of non-Perl regexps.

cgi: wire up HTML pages for messages

These need better tests and verification, but it's something
for now.

cgi: update feed/view and tests for shorter URLs

Code should be consistent with the design docs
(and we will need better tests).

cgi: add one-line descriptions for subroutines

Hopefully it's slightly easier-to-follow this way.

cgi: /$LISTNAME/ and /$LISTNAME/index.html are equal

This prevents ambiguity when switching URLs between static
file servers and CGI.

The /$LISTNAME/index.html URL appearing in the wild is inevitable
because of our static file server support.  Worst yet, there's
no easy/consistent way to get all installations detect and 301
them to the shorter /$LISTNAME/.  So we make the CGI support
/$LISTNAME/index.html.

The downside of this is the potential duplicate entry in all caches.

cgi: be strict about UTF-8 encoding in HTML and XML

Hopefully this forces us to generate valid UTF-8 data.

filter: use IPC::Run and improve lynx error handling

We may occasionally encounter horrid HTML which lynx cannot
handle, so improve error reporting.

INSTALL: add lynx to install requirements

We need it for converting HTML, unfortunately.

INSTALL: update with Mail::Thread dependency

While we're at it, sort Makefile.PL and add a note to
update INSTALL, too.

cgi: implement get_mid_txt

This is essential when telling people to use something like:
curl $URL | git am

doc/design_www: add 301 URLs

We'll probably support these so they're easier-to-type and share.

cgi: wire up index + tests

Remove the specified /all.html while we're at it, we only have
/all.atom.xml because it's convenient for feed readers.

cgi: do not specify charset in Atom HTTP header

The feed itself already specifies it in XML, and we risk confusing
clients if XML::Atom::SimpleFeed changes in the future.  This also
increases consistency for CGI vs static-file serving.

cgi: remove some redundant logic

We'll be reusing more validation logic for per-message and
per-thread pages.

doc/design_www: shorten URLs as much as possible

Message-IDs are extremely long already, so try to keep them short here.

t/mda: additional precheck tests

We did not test as well as we should have.

mda: set GIT_AUTHOR_DATE in commits as well

While we're at it, write some quick tests.

mda: set GIT_{COMMITTER,AUTHOR}_{NAME,EMAIL} env

This can make it easy to query via "git log --author=..."
without extracting each message.

config: include listname on lookup

We will be using it when setting GIT_COMMITTER_NAME

mda: prevent duplicate Message-IDs from appearing

For practical purposes, Message-IDs are unique and duplicates
do not appear unless client software is broken.

Makefile.PL: add parallel test target

These tests were designed to run in parallel.

doc: split out philosophy to a different page

Hopefully a little easier to find for clients and not admins running
servers.  While we're at it, expand design_notes.

preliminary HTML index generation

Using JWZ threading might work decently for this.
Haven't checked in lynx, yet.

precheck: stricter checks including min length

We should reject values which are too short to be useful or sane.

precheck: reject messages with no subject

Composers may screw up and leave the subject out, so
reject those messages.

feed: filter out each_recent_blob wrapper

We will need it for HTML indices, too.

design_notes: various updates, including "why git?"

Things to keep in mind when working on this.

scripts/report-spam: explain design decisions

Trying my best to not forget things I wrote this years ago.

doc: various cleanups all around

Most notably, the INSTALL is geared towards potential server admins,
whereas the README is also for interested "drive-by" readers.

cgi: cleanup dependencies

We do not need to use CGI::Util internals here.

cgi: make internal interface more Plack-like

This should make it easier to support non-CGI uses,
as well as making it easier to generate static sites.