sa_config: just put HTML messages in the mod queue

We can be stricter about HTML email, since none of the lists
hosted here accept HTML.

spamassassin/user_prefs: do not favor paid whitelist services

Paid reputation management services are not encouraged.

spamassassin/user_prefs: disable non-English

Too much spam arrives without any readable English, and I (the
server administrator) cannot easily tell if a non-English
message is spam or not.

slrnspool2maildir: fix help and dir creation

Any existing directory should do.

MDA: cleanse headers in case of delivery

We nuke DKIM headers because we modify headers and sometimes the
body, which may invalidate the message.  We'll also nuke whatever
Mailman nukes from messages to avoid phishing and leaking
information.

mda: drop RFC2369 support for now

That should be use down stream by delivery agents.

www: attempt to improve formatting of footer

This looks nicer to me (totally subjective and open to bikeshedding
:P)

consistently whitespace wrap on <pre> sections

Horizontal scrolling is a usability problem for GUI browsers,
so help them avoid it.  I love GUI users, really! :)

INSTALL: update support status

We probably won't bother with FastCGI until there is interest.

examples/apache2_perl.conf: set PI_CONFIG

This is easier and lower-impact than setting HOME anywhere.

www: set charset=UTF-8 in full message view

Oops, this was an oversight.

learn: set_list_headers on training

This is idempotent, and should actually/really prevent training
loops.

mda: attempt to prevent training loops

feed: add atom feed link to the bottom

This should improve navigation as browsers may not make it
obvious there is an Atom feed.

view: add newline before list-wide footer

Otherwise the reply link gets squished.

www: multi-line cloneurl maps to multiple lines

URLs may be long, so give each its own line.

www: add footers to HTML index and message views

Some advertising is necessary.

add various TODO items

Screen space is precious, and we do not need it in the abbreviated
view.

view: API cleanup, remove "as_" prefix

These views are not OO, so the "as_" prefix makes little sense
and "as_html" conflicts with Hval, which is OO.

reduce copies by passing string refs to Email::MIME

This should reduce data copies and memory usage, according
to Email::Simple documentation.

git cat-file wrapper uses syswrite for writes

The requests we make to git cat-file --batch are guaranteed to be
smaller than the 512 bytes required by PIPE_BUF, so there will be no
partial writes.  Bypass Perl IO layers and write directly to the
pipe to avoid needing IO::Handle here.

thread: limit scope of monkey patch

Future versions of Mail::Thread may be released to fix this bug.
However, since it's been about 8 years since the bug was reported..

workaround Mail::Thread memory leak

Thanks to Ask for the patch in
https://rt.cpan.org/Public/Bug/Display.html?id=22817

purge Email::Address cache

This prevents memory bloat in case we're serving many requests
with a large, diverse set of email addresses (potentially from
malicious spammers).

split out WWW package and CGI/PSGI-specific parts

This should allow us to more-easily test with Plack.

examples: make web configs consistent and add README

Hopefully this is enough to get some folks started.

cgi: set charset in responses

This ought to prevent browsers from misguessing/misdetecting
things.

add example configs for Apache2 mod_perl and CGI

These are probably still popular configurations in some
settings, so include sample configurations to get folks
started.  These are trickier than an average CGI script
to setup because we rely on pretty URLs from PATH_INFO
and not ugly query parameters.

"git cat-file --batch" wrapper really mod_perl-compatible

IPC::Open* does not work well under mod_perl (probably because
it does funky things with stdout/stderr).  So use the POSIX
dup2 functions instead, which work reliably on all POSIX-like
platforms.

cgi: avoid warning after exec

Found with mod_perl2 (as it overrides exit).

cgi: remove dependency on IPC::Run in CGI

We may not have PATH available on some servers (e.g. webrick)
and must rely on the hardcoded system PATH.  My installation of
IPC::Run does not seem to work without PATH set in the env,
however normal Perl "open" calls work fine.

config: avoid double-slash in expand_path output

It looks ugly in error messages to have redundant slashes.

cgi: disable warnings for CGI::NOSTICKY

We probably know what we're doing, here...

favor "--git-dir=..." over "--git-dir ..."

This might improve grep-ability slightly and reduce allocations
while we're at it.

feed: unset GIT_DIR and use "git --git-dir=.. log"

This should elimate all of our %ENV dependencies in the WWW portion
of our code.

cgi: mid2blob does not depend on $ENV{GIT_DIR}

ENV changes do not propagate to child processes under mod_perl

implement our own cat-file --batch wrapper

We use --git-dir=... instead of $ENV{GIT_DIR} because ENV changes
do not propagate easily with mod_perl.

config: use "git config --file" to avoid changing %ENV

%ENV changes do not propagate by default under a mod_perl2
environment, and we might as well work towards being thread-safe.

cgi: make CGI optional for Plack users

CGI.pm is on its way out, so do not make it a hard requirement for
Plack users.  We still support CGI-only installations because some
sysadmins and distros may be very conservative.

cgi: wrap self_uri calls for Plack::Request

We should be adding automated tests for this, soon.

feed: call URI->as_string explicitly

Implicit string conversion is more confusing.

use relative URLs in HTML index

Browsers know how to follow relative URLs, so we may generate
smaller HTML pages.

cgi: do not decode path_info

We only generate URI-escaped URLs, so we should not be decoding this
into octets.

feed: swap order of "next" and "head" links

This is one less key stroke for somebody paging through the
list history.

feed: avoid redirect on permalink

This saves one round-trip request response so reduces latency over
slow links.  The redirect only exists for convenience and isn't 100%
reliable in case the Message-ID terminates with a .(html|txt)
suffix.

feed: dead code elimination around dropped endpoints

public-inbox is for discussion, so top-level posts do not get
special treatment.

mda: support aliased addresses

This mimics functionality found in -learn.  Originally the design
allowed for only one address per-list, but when migrating/hijacking
existing mailing lists, having multiple addresses map to the same
inbox is useful.

feed: disable navigation to previous page

This is unfortunately needed for scalability to long histories.
The design of git requires it to traverse full history to walk
forward in time, since commits can only record past history.

Instead, replace "prev" with a "head" link to zip us back to
the most recent page.  Users who wish to go backwards can use
browser history, which should always work on our old-fashioned
HTML pages.

feed: pedantically quote HTML attributes

This is more correct, although it costs us 4 bytes.

allow running as a Plack app without CGI emulation

This might be slightly cleaner, though generating the base URL
now has an ugly condition in it.

uri_escape => uri_escape_utf8

We should be able to deal with URIs with non-ASCII characters in
them.  I only found this problem when looking at archives with
non-English spam :x

cgi: preliminary Plack compatibility

This needs further testing and refactoring, but seems to work
reasonably well.

feeds use XHTML to avoid tag soup

This should work in most browsers, lets find out!

Feed: <id> element must be a URI, oops :x

For each feed element, we'll just use the link since there's
currently no suitable URN.

view: uri_escape subject

This hopefully improves compatibility with mailers

feed: comment about the %deleted hash

It's strictly not necessary anymore since
commit fa6168c56bdd1cece178b6b852a9b2cba6ce6ffb
("feed: message must exist in current HEAD to show up")

However it can still save us some unnecessary syscalls and
round-trips to the "git cat-file --batch" process, so it's probably
worth th cost of stuffing it in a hash.

cgi: style: return undef => return

feed: message must exist in current HEAD to show up

We do not want recently-deleted spam showing up when looking
in old histories.

spamassassin rule and config updates

While we're at it, add a script for easy editing of user prefs.
We need some human-maintained rules based on the spam we get.
It's an imperfect world, but I'd _much_ rather deal with the
occassional spam than require signup/registration to post.

view: show References: header, too

Some mail user agents use this header, and Mail::Thread uses
it, too, so show it if possible, but only if it's not redundant
to In-Reply-To.

view: add per-message HTML footer to encourage replies

This may not work with most mail user agents, however.

huge refactor of encoding handling

Hopefully this simplifies and corrects our usage of Perl encoding
APIs.

cgi: eliminate dead/redundant HTML escaping code

html: refactor header value handling to be OO

This helps us keep track of escaping which needs to be done
for various levels.

t/feed: cleanup test and add test for /f/ link

We already depend on IPC::Run, so just use it our tests.

feed: add tests for <id> element setting

We need to ensure this works

This follows commit bd8fd095067b79a0d2a40bbca2b27b923d02b3f8
("feed: fix address when multiple addresses exist")

t/feed: notify user of missing XML::Feed

One of my dev machines did not have XML::Feed so things were
not tested sufficiently.

view: fix link to raw message from /f/ endpoint

Ugh, at least this has a test...

fix quoted URL generation in feeds

While we're at it, make sure strange characters are escaped properly
in Message-IDs.  We'll need tests for all this behavior.

view: do not decode Message-ID

This is ridiculous, nobody (including ssoma) ever does this.

feed: fix address when multiple addresses exist

This needs to be cleaned up

README: add links to try and HTML archives

config: use description file for gitweb

Do not repeat ourselves, just use the same description file
gitweb uses to avoid surprising users.

html/index: fix broken prev/next pagination on short histories

We do not have much history in public-inbox meta, so do
not mislead users with strange navigation elements which
lead nowhere.

feed: there is only one atom feed, with all messages

This is not a blog.  All posts, whether replies or not,
carry equal weight.

html/index: do not waste space with non-existent thread roots

Screen real-estate is valuable, and missing roots tend to
be false-positive matches (using Subject, not In-Reply-To
or References).

doc: update design_www and add HACKING file

Document some of the stranger choices I've made.

new scripts for importing slrn spools and maildirs

The old import_gmane_spool script was inflexible,
since we may import from maildir archives as well, so
get everything into maildir, first.

README: fix URL for source code clone

This is an 80x24.org project (more on that at another date).

scripts/dc-dlvr: allow exiting from ~/.dc-dlvr.pre

The ~/.dc-dlvr.pre script for my public-inbox user does this.

use ORIGINAL_RECIPIENT once again

It should be common for a single users to be subscribed to multiple
addresses/lists, so we must use the address before alias expansion.

This partially reverts commit b949afc9edf89dd494cac6255c78b124d58e11a5

scripts/import_gmane_spool: set git committer date

We normally want committer date to be different so we may
track delivery latencies (which do not differ much).
However, the rules for importing are much different and
tend to screw things up when using time ranges with git-rev-list.

various documentation cleanups

feed: close string ref before returning

Just in case there is an error, this should be more explicit.

cgi: delay some requires

This shaves off nearly 100ms when my Core2Duo is clocked to 800Mhz
when rendering a full HTML index.

feed: speed up blob checks if Git.pm is usable

Git::cat_blob is a handy interface to read multiple emails
without incurring fork + exec overhead.  Git.pm is GPLv2+,
not GPLv2-only, so we may link to it.

mda: share commit setup code with -learn

We need -learn to do many of the same things as -mda
when we have a false-positive.  We also need -learn to
do HTML filtering in case the training user screws up.

move precheck to MDA namespace

We will be combining common code between -learn and -mda

various documentation updates

We have an HTML homepage, OMG!

mda: rename PI_FAILBOX to PI_EMERGENCY

The emergency destination may be Maildir.  A Maildir emergency
destination is better for volatile data which is written to
and deleted-from frequently.

cgi: index pages allow iterating some pagination

This allows WWW readers to slowly page through the entire history
of the mailing list.

view: fix regression in standalone /^&gt;$/ lines

The lack of trailing whitespace in quote prefixes threw us
off and cause t/view to fail.

This failure was caused by
commit fefea3d7d2484ffbf433aec0dd80026aa7120e07
("ensure per-message short quotes do not get too long")
and not caught before pushing because I failed to run
"make", only "prove" (and not even "prove -l" :x).

ensure per-message short quotes do not get too long

Sometimes a single long word or URL can lengthen the line
too much.

cgi: sort HTML index by most recent date

This is hopefully the most user-friendly method.

view: remove pointless self-linkage

It is pointless to link to ourselves.

view: fix title of HTML views

We need to take care to escape everything properly to avoid
HTML/JS injections.

add example for CGI with Ruby WEBrick

Some people like old-fashioned Ruby and WEBrick is in the Ruby
standard library, so widely available.

view: inline shorter quotes

Breaking up short quote messages at 1 line is too disconcerting,
try 5 lines as proper quotes shouldn't be too long.

cgi: implement suffix-less Message-ID redirects

This may be easier in some cases for copy+paste, but not 100%
reliable in case the .txt and .html suffixes are in the Message-ID
itself.

cgi: include HTTP status in error message body

This makes it slightly easier for out-of-the-box curl users since
curl does not report or show the error by default.