examples: make web configs consistent and add README

Hopefully this is enough to get some folks started.

cgi: set charset in responses

This ought to prevent browsers from misguessing/misdetecting
things.

add example configs for Apache2 mod_perl and CGI

These are probably still popular configurations in some
settings, so include sample configurations to get folks
started.  These are trickier than an average CGI script
to setup because we rely on pretty URLs from PATH_INFO
and not ugly query parameters.

"git cat-file --batch" wrapper really mod_perl-compatible

IPC::Open* does not work well under mod_perl (probably because
it does funky things with stdout/stderr).  So use the POSIX
dup2 functions instead, which work reliably on all POSIX-like
platforms.

cgi: avoid warning after exec

Found with mod_perl2 (as it overrides exit).

cgi: remove dependency on IPC::Run in CGI

We may not have PATH available on some servers (e.g. webrick)
and must rely on the hardcoded system PATH.  My installation of
IPC::Run does not seem to work without PATH set in the env,
however normal Perl "open" calls work fine.

config: avoid double-slash in expand_path output

It looks ugly in error messages to have redundant slashes.

cgi: disable warnings for CGI::NOSTICKY

We probably know what we're doing, here...

favor "--git-dir=..." over "--git-dir ..."

This might improve grep-ability slightly and reduce allocations
while we're at it.

feed: unset GIT_DIR and use "git --git-dir=.. log"

This should elimate all of our %ENV dependencies in the WWW portion
of our code.

cgi: mid2blob does not depend on $ENV{GIT_DIR}

ENV changes do not propagate to child processes under mod_perl

implement our own cat-file --batch wrapper

We use --git-dir=... instead of $ENV{GIT_DIR} because ENV changes
do not propagate easily with mod_perl.

config: use "git config --file" to avoid changing %ENV

%ENV changes do not propagate by default under a mod_perl2
environment, and we might as well work towards being thread-safe.

cgi: make CGI optional for Plack users

CGI.pm is on its way out, so do not make it a hard requirement for
Plack users.  We still support CGI-only installations because some
sysadmins and distros may be very conservative.

cgi: wrap self_uri calls for Plack::Request

We should be adding automated tests for this, soon.

feed: call URI->as_string explicitly

Implicit string conversion is more confusing.

use relative URLs in HTML index

Browsers know how to follow relative URLs, so we may generate
smaller HTML pages.

cgi: do not decode path_info

We only generate URI-escaped URLs, so we should not be decoding this
into octets.

feed: swap order of "next" and "head" links

This is one less key stroke for somebody paging through the
list history.

feed: avoid redirect on permalink

This saves one round-trip request response so reduces latency over
slow links.  The redirect only exists for convenience and isn't 100%
reliable in case the Message-ID terminates with a .(html|txt)
suffix.

feed: dead code elimination around dropped endpoints

public-inbox is for discussion, so top-level posts do not get
special treatment.

mda: support aliased addresses

This mimics functionality found in -learn.  Originally the design
allowed for only one address per-list, but when migrating/hijacking
existing mailing lists, having multiple addresses map to the same
inbox is useful.

feed: disable navigation to previous page

This is unfortunately needed for scalability to long histories.
The design of git requires it to traverse full history to walk
forward in time, since commits can only record past history.

Instead, replace "prev" with a "head" link to zip us back to
the most recent page.  Users who wish to go backwards can use
browser history, which should always work on our old-fashioned
HTML pages.

feed: pedantically quote HTML attributes

This is more correct, although it costs us 4 bytes.

allow running as a Plack app without CGI emulation

This might be slightly cleaner, though generating the base URL
now has an ugly condition in it.

uri_escape => uri_escape_utf8

We should be able to deal with URIs with non-ASCII characters in
them.  I only found this problem when looking at archives with
non-English spam :x

cgi: preliminary Plack compatibility

This needs further testing and refactoring, but seems to work
reasonably well.

feeds use XHTML to avoid tag soup

This should work in most browsers, lets find out!

Feed: <id> element must be a URI, oops :x

For each feed element, we'll just use the link since there's
currently no suitable URN.

view: uri_escape subject

This hopefully improves compatibility with mailers

feed: comment about the %deleted hash

It's strictly not necessary anymore since
commit fa6168c56bdd1cece178b6b852a9b2cba6ce6ffb
("feed: message must exist in current HEAD to show up")

However it can still save us some unnecessary syscalls and
round-trips to the "git cat-file --batch" process, so it's probably
worth th cost of stuffing it in a hash.

cgi: style: return undef => return

feed: message must exist in current HEAD to show up

We do not want recently-deleted spam showing up when looking
in old histories.

spamassassin rule and config updates

While we're at it, add a script for easy editing of user prefs.
We need some human-maintained rules based on the spam we get.
It's an imperfect world, but I'd _much_ rather deal with the
occassional spam than require signup/registration to post.

view: show References: header, too

Some mail user agents use this header, and Mail::Thread uses
it, too, so show it if possible, but only if it's not redundant
to In-Reply-To.

view: add per-message HTML footer to encourage replies

This may not work with most mail user agents, however.

huge refactor of encoding handling

Hopefully this simplifies and corrects our usage of Perl encoding
APIs.

cgi: eliminate dead/redundant HTML escaping code

html: refactor header value handling to be OO

This helps us keep track of escaping which needs to be done
for various levels.

t/feed: cleanup test and add test for /f/ link

We already depend on IPC::Run, so just use it our tests.

feed: add tests for <id> element setting

We need to ensure this works

This follows commit bd8fd095067b79a0d2a40bbca2b27b923d02b3f8
("feed: fix address when multiple addresses exist")

t/feed: notify user of missing XML::Feed

One of my dev machines did not have XML::Feed so things were
not tested sufficiently.

view: fix link to raw message from /f/ endpoint

Ugh, at least this has a test...

fix quoted URL generation in feeds

While we're at it, make sure strange characters are escaped properly
in Message-IDs.  We'll need tests for all this behavior.

view: do not decode Message-ID

This is ridiculous, nobody (including ssoma) ever does this.

feed: fix address when multiple addresses exist

This needs to be cleaned up

README: add links to try and HTML archives

config: use description file for gitweb

Do not repeat ourselves, just use the same description file
gitweb uses to avoid surprising users.

html/index: fix broken prev/next pagination on short histories

We do not have much history in public-inbox meta, so do
not mislead users with strange navigation elements which
lead nowhere.

feed: there is only one atom feed, with all messages

This is not a blog.  All posts, whether replies or not,
carry equal weight.

html/index: do not waste space with non-existent thread roots

Screen real-estate is valuable, and missing roots tend to
be false-positive matches (using Subject, not In-Reply-To
or References).

doc: update design_www and add HACKING file

Document some of the stranger choices I've made.

new scripts for importing slrn spools and maildirs

The old import_gmane_spool script was inflexible,
since we may import from maildir archives as well, so
get everything into maildir, first.

README: fix URL for source code clone

This is an 80x24.org project (more on that at another date).

scripts/dc-dlvr: allow exiting from ~/.dc-dlvr.pre

The ~/.dc-dlvr.pre script for my public-inbox user does this.

use ORIGINAL_RECIPIENT once again

It should be common for a single users to be subscribed to multiple
addresses/lists, so we must use the address before alias expansion.

This partially reverts commit b949afc9edf89dd494cac6255c78b124d58e11a5

scripts/import_gmane_spool: set git committer date

We normally want committer date to be different so we may
track delivery latencies (which do not differ much).
However, the rules for importing are much different and
tend to screw things up when using time ranges with git-rev-list.

various documentation cleanups

feed: close string ref before returning

Just in case there is an error, this should be more explicit.

cgi: delay some requires

This shaves off nearly 100ms when my Core2Duo is clocked to 800Mhz
when rendering a full HTML index.

feed: speed up blob checks if Git.pm is usable

Git::cat_blob is a handy interface to read multiple emails
without incurring fork + exec overhead.  Git.pm is GPLv2+,
not GPLv2-only, so we may link to it.

mda: share commit setup code with -learn

We need -learn to do many of the same things as -mda
when we have a false-positive.  We also need -learn to
do HTML filtering in case the training user screws up.

move precheck to MDA namespace

We will be combining common code between -learn and -mda

various documentation updates

We have an HTML homepage, OMG!

mda: rename PI_FAILBOX to PI_EMERGENCY

The emergency destination may be Maildir.  A Maildir emergency
destination is better for volatile data which is written to
and deleted-from frequently.

cgi: index pages allow iterating some pagination

This allows WWW readers to slowly page through the entire history
of the mailing list.

view: fix regression in standalone /^&gt;$/ lines

The lack of trailing whitespace in quote prefixes threw us
off and cause t/view to fail.

This failure was caused by
commit fefea3d7d2484ffbf433aec0dd80026aa7120e07
("ensure per-message short quotes do not get too long")
and not caught before pushing because I failed to run
"make", only "prove" (and not even "prove -l" :x).

ensure per-message short quotes do not get too long

Sometimes a single long word or URL can lengthen the line
too much.

cgi: sort HTML index by most recent date

This is hopefully the most user-friendly method.

view: remove pointless self-linkage

It is pointless to link to ourselves.

view: fix title of HTML views

We need to take care to escape everything properly to avoid
HTML/JS injections.

add example for CGI with Ruby WEBrick

Some people like old-fashioned Ruby and WEBrick is in the Ruby
standard library, so widely available.

view: inline shorter quotes

Breaking up short quote messages at 1 line is too disconcerting,
try 5 lines as proper quotes shouldn't be too long.

cgi: implement suffix-less Message-ID redirects

This may be easier in some cases for copy+paste, but not 100%
reliable in case the .txt and .html suffixes are in the Message-ID
itself.

cgi: include HTTP status in error message body

This makes it slightly easier for out-of-the-box curl users since
curl does not report or show the error by default.

HTML: various encoding fixups

Feed: add bug note on memory cycle

This affects users of long-lived processes (FastCGI/Plack)

Revert "cgi: relax path restriction for top-level"

CGI mounts should probably handle this internally.  We're reverting
this since it adds too much potential for abuse with fake/extra
prefixes in the URL.  We also need to reorder our redirect handling
as a result.

This reverts commit c394de9f2c91c2c5ed1f7832a5a7cc0206120b7f.

cgi: correct links to folded quotes

Lightly tested, but this seems to work OK.

view: finish HTML in per-message pages

cgi: support /all.html page with inline threads

Maybe this increases readability for now.

HTML: use shorter URLs in indices

Long URLs are not needed for HTML pages, but may be for feeds since
they're often resyndicated and not consumed by the browser.

HTML: ensure hrefs are quoted properly

We may be breaking some parsers or allowing more breakage
to slip through without quotes.  We waste some bytes, though.

mda: encoding-aware From: for GIT_ authorship

Users with non-US-ASCII compatible names were not showing
up properly in "git log" output.

scripts/import_gmane_spool: preserve delivery order

Unfortunately, this means we get rid of parallelization,
as we need to preserve delivery order so HTML indices look
chronological.  Order may also affect spam filtering and
training, too.

doc: add notes on scalability

Fortunately, most mailing lists will never grow too large.

doc: fold philosophy into the README

Hopefully this makes the scope and intent of the project clearer.

rename list from "bugs" to "meta"

"bugs" might confuse and limit the discussion, so "meta" it is!

mda: add most RFC 2919 and 2369 headers

These probably make sense even though we do not handle
delivery ourselves.  It can aid in searching/filtering/tagging
of messages.

derive -primary_address in config

This may be useful for generating List-Id headers and HTML pages.

cgi: fix up top-level index

We do not have all messages in the top-level index
(and we need to adjust the test while we're at it).

cgi: 301 for list-indices without trailing slash

It is common to type upper-level URLs without the slash,
redirect users to the correct page for usability.

t/cgi: cleanup: no need for additional block

Not sure what I was thinking...

cgi: ensure we unescape MIDs correctly in URLs

MIDs may have strange characters in them, so we need to handle
escaping/unescaping properly to avoid broken links or worse.

cgi: avoid parsing ENV directly for PATH_INFO

This might make it easier to go to non-CGI things.

cgi: relax path restriction for top-level

We may have something like /foo.cgi/m/$MID.html in there.

cgi: rename to have .cgi suffix

This makes it easier to configure for systems which
determine a script is a CGI script based on suffix.

scripts/import_gmane_spool: misc updates

We may promote this to be a real script, since public-inbox-mda
is idempotent.

view: trim_message_id consistently

Message-IDs could have embedded '<' and '>'

config: support multiple addresses for a inbox

This makes it possible to gradually migrate to new address in case
of list name changes, and is one step closer to operating in
"stealth hijack mode" :)