public-inbox-init: manages the config files

This hopefully allows easier setup.

filter: ensure CRs do not show up in lynx conversions

Unix line endings are LF-only, so do not introduce or preserve
CRLF line endings when reading from lynx.

index: drop signatures from nested output

We have a less-ambiguous "more..." link nowadays if somebody
wants to see the full message.

hval: fixup bad line endings in HTML output

We should do this in filter, too, but sometimes we
prefer to avoid filtering the message at all.

index: add prev/next index navigation

This helps readers jump around more quickly when there are
large messages.

index group state parameters together for generation

This allows us to more-easily group and pass parameters.

view: standalone view shows link to index

Sometimes people come from sharing links and not the index,
so the back button in their browser does not really go back.

view: kill unnecessary assignment

Not sure what I was thinking

view: support SHA-1 of Message-IDs for message links

Some Message-IDs are crazy long, so support SHA-1s for them
instead.  This allows shorter URLs to be generated and are
less likely

However, we'll still favor short Message-IDs whenever possible.

index: show short-ish permalinks to messages in threads

This should allow us to reference discussions more easily.

line-wrap generated HTML source around attrs for readability

It's important to keep HTML source readable to folks who prefer
to read raw HTML.  This should improve readability of the HTML
source by keeping line length in check without wasting bytes.

feed: (cleanup) avoid redundant ->message call

Avoid redundant subroutine calls as their costs tend to add up.

feed: sort child messages (forward) chronologically

Only root messages should be sorted in reverse chronological order,
child messages should be chronological.  This gives precedence to
_topics_, but also for initial replies.

This improves readability when several messages appear at the same
nesting level, and helps git patch series' appear correctly as:

[PATCH 0/3] ...
[PATCH 1/3] ...
[PATCH 2/3] ...
[PATCH 3/3] ...

Instead of (what it was previously):

[PATCH 0/3] ...
[PATCH 3/3] ...
[PATCH 2/3] ...
[PATCH 1/3] ...

view: fixup dropped newline in the last commit

Oops!

view: avoid extraneous space for subject-only messages

Sometimes, the subject says it all.

view: reduce redundant linkage in index

There's no point in having a "(more...)" and "link" pointing
to the same element, replace "link" with "more..." if we've
omitted text from the index.

view: increase context in index views

It's probably better to show too much than too little, even
if this means extra scrolling :<

Otherwise, we end up punishing messages who quote minimally
and end up loosing context.  Unfortunately, too many people
over-quote nowadays.

view: kill leading whitespace in index

Leading whitespace is pointless, but some folks end up adding
it for some reason.

view: show quotes in index if parent is too old

It's helpful to show context if a message does not
appear on the current index page.

view: tighten up regexps used for trimming index

The previous regexp matches were too aggressive w.r.t.  scissors.
We destroy trailing whitespace anyways, so do not worry about it
when cutting signatures and patches off.

view: trim git patches delimited by /^---$/

Patches are usually better viewed standalone and are difficult
to judge when nested.  So save precious vertical space in our
message index.

feed: deal with removed files

Sometimes we get spam and need to delete messages,
we must prevent errors on missing messages from propagating.

feed: show permalink to home page

This will make it easier to bookmark an index page with threading
context.

view: increase MAX_INLINE_QUOTED threshold to 12

12 lines is half an 80x24 terminal, so it is probably a reasonable
amount to quote.  Often 5 lines was not enough for context.  This
feature is mainly to reduce scrolling necessary to view pages.

redo main HTML index to show nested messages

This reduces the need for page reloads in common cases and should
improve reading speed so users do not need to open many browser
tabs.  This will hopefully increase an encourage readership.

The downside of this are increased server processing overhead and
easier address scraping by spam bots.

view: Email::Address cache purge is optional

We will reuse the html_footer function in a nested index.

show date in top-level threaded index

This is probably useful information for folks browsing via web
interface.  It'll probably make more sense if we show the entire
body in the threaded display, though.

t/view: ensure HTML shows QP text

We need to ensure the HTML output is not mangled, either.

filter: preserve QP when collapsing multipart

HTML clients also tend to send quoted-printable crap in
their plain-text parts, preserve that so it's displayed
correctly for all QP-capable handlers.

doc/dc-dlvr-spam-flow: link to ssoma, too

Some readers may not be familiar with ssoma internals such as
ssoma-rm.

doc/dc-dlvr-spam-flow: include links to relevant projects

Some of these projects are not well known, so link to them
to help new users.

doc: remove HTML

Even with txt2pre, the maintenance/discoverability burden is too
high and lynx still uses too much memory.  Unfortunately, we'll have
to keep our INSTALL.html for a while longer on the server since it's
linked, but not index.html!

t/html_index.t: fix warnings in test case

Oops.

README: reflow and expand initial introduction a bit

Marketing is hard!

sa_config: just put HTML messages in the mod queue

We can be stricter about HTML email, since none of the lists
hosted here accept HTML.

spamassassin/user_prefs: do not favor paid whitelist services

Paid reputation management services are not encouraged.

spamassassin/user_prefs: disable non-English

Too much spam arrives without any readable English, and I (the
server administrator) cannot easily tell if a non-English
message is spam or not.

slrnspool2maildir: fix help and dir creation

Any existing directory should do.

MDA: cleanse headers in case of delivery

We nuke DKIM headers because we modify headers and sometimes the
body, which may invalidate the message.  We'll also nuke whatever
Mailman nukes from messages to avoid phishing and leaking
information.

mda: drop RFC2369 support for now

That should be use down stream by delivery agents.

www: attempt to improve formatting of footer

This looks nicer to me (totally subjective and open to bikeshedding
:P)

consistently whitespace wrap on <pre> sections

Horizontal scrolling is a usability problem for GUI browsers,
so help them avoid it.  I love GUI users, really! :)

INSTALL: update support status

We probably won't bother with FastCGI until there is interest.

examples/apache2_perl.conf: set PI_CONFIG

This is easier and lower-impact than setting HOME anywhere.

www: set charset=UTF-8 in full message view

Oops, this was an oversight.

learn: set_list_headers on training

This is idempotent, and should actually/really prevent training
loops.

mda: attempt to prevent training loops

feed: add atom feed link to the bottom

This should improve navigation as browsers may not make it
obvious there is an Atom feed.

view: add newline before list-wide footer

Otherwise the reply link gets squished.

www: multi-line cloneurl maps to multiple lines

URLs may be long, so give each its own line.

www: add footers to HTML index and message views

Some advertising is necessary.

add various TODO items

Screen space is precious, and we do not need it in the abbreviated
view.

view: API cleanup, remove "as_" prefix

These views are not OO, so the "as_" prefix makes little sense
and "as_html" conflicts with Hval, which is OO.

reduce copies by passing string refs to Email::MIME

This should reduce data copies and memory usage, according
to Email::Simple documentation.

git cat-file wrapper uses syswrite for writes

The requests we make to git cat-file --batch are guaranteed to be
smaller than the 512 bytes required by PIPE_BUF, so there will be no
partial writes.  Bypass Perl IO layers and write directly to the
pipe to avoid needing IO::Handle here.

thread: limit scope of monkey patch

Future versions of Mail::Thread may be released to fix this bug.
However, since it's been about 8 years since the bug was reported..

workaround Mail::Thread memory leak

Thanks to Ask for the patch in
https://rt.cpan.org/Public/Bug/Display.html?id=22817

purge Email::Address cache

This prevents memory bloat in case we're serving many requests
with a large, diverse set of email addresses (potentially from
malicious spammers).

split out WWW package and CGI/PSGI-specific parts

This should allow us to more-easily test with Plack.

examples: make web configs consistent and add README

Hopefully this is enough to get some folks started.

cgi: set charset in responses

This ought to prevent browsers from misguessing/misdetecting
things.

add example configs for Apache2 mod_perl and CGI

These are probably still popular configurations in some
settings, so include sample configurations to get folks
started.  These are trickier than an average CGI script
to setup because we rely on pretty URLs from PATH_INFO
and not ugly query parameters.

"git cat-file --batch" wrapper really mod_perl-compatible

IPC::Open* does not work well under mod_perl (probably because
it does funky things with stdout/stderr).  So use the POSIX
dup2 functions instead, which work reliably on all POSIX-like
platforms.

cgi: avoid warning after exec

Found with mod_perl2 (as it overrides exit).

cgi: remove dependency on IPC::Run in CGI

We may not have PATH available on some servers (e.g. webrick)
and must rely on the hardcoded system PATH.  My installation of
IPC::Run does not seem to work without PATH set in the env,
however normal Perl "open" calls work fine.

config: avoid double-slash in expand_path output

It looks ugly in error messages to have redundant slashes.

cgi: disable warnings for CGI::NOSTICKY

We probably know what we're doing, here...

favor "--git-dir=..." over "--git-dir ..."

This might improve grep-ability slightly and reduce allocations
while we're at it.

feed: unset GIT_DIR and use "git --git-dir=.. log"

This should elimate all of our %ENV dependencies in the WWW portion
of our code.

cgi: mid2blob does not depend on $ENV{GIT_DIR}

ENV changes do not propagate to child processes under mod_perl

implement our own cat-file --batch wrapper

We use --git-dir=... instead of $ENV{GIT_DIR} because ENV changes
do not propagate easily with mod_perl.

config: use "git config --file" to avoid changing %ENV

%ENV changes do not propagate by default under a mod_perl2
environment, and we might as well work towards being thread-safe.

cgi: make CGI optional for Plack users

CGI.pm is on its way out, so do not make it a hard requirement for
Plack users.  We still support CGI-only installations because some
sysadmins and distros may be very conservative.

cgi: wrap self_uri calls for Plack::Request

We should be adding automated tests for this, soon.

feed: call URI->as_string explicitly

Implicit string conversion is more confusing.

use relative URLs in HTML index

Browsers know how to follow relative URLs, so we may generate
smaller HTML pages.

cgi: do not decode path_info

We only generate URI-escaped URLs, so we should not be decoding this
into octets.

feed: swap order of "next" and "head" links

This is one less key stroke for somebody paging through the
list history.

feed: avoid redirect on permalink

This saves one round-trip request response so reduces latency over
slow links.  The redirect only exists for convenience and isn't 100%
reliable in case the Message-ID terminates with a .(html|txt)
suffix.

feed: dead code elimination around dropped endpoints

public-inbox is for discussion, so top-level posts do not get
special treatment.

mda: support aliased addresses

This mimics functionality found in -learn.  Originally the design
allowed for only one address per-list, but when migrating/hijacking
existing mailing lists, having multiple addresses map to the same
inbox is useful.

feed: disable navigation to previous page

This is unfortunately needed for scalability to long histories.
The design of git requires it to traverse full history to walk
forward in time, since commits can only record past history.

Instead, replace "prev" with a "head" link to zip us back to
the most recent page.  Users who wish to go backwards can use
browser history, which should always work on our old-fashioned
HTML pages.

feed: pedantically quote HTML attributes

This is more correct, although it costs us 4 bytes.

allow running as a Plack app without CGI emulation

This might be slightly cleaner, though generating the base URL
now has an ugly condition in it.

uri_escape => uri_escape_utf8

We should be able to deal with URIs with non-ASCII characters in
them.  I only found this problem when looking at archives with
non-English spam :x

cgi: preliminary Plack compatibility

This needs further testing and refactoring, but seems to work
reasonably well.

feeds use XHTML to avoid tag soup

This should work in most browsers, lets find out!

Feed: <id> element must be a URI, oops :x

For each feed element, we'll just use the link since there's
currently no suitable URN.

view: uri_escape subject

This hopefully improves compatibility with mailers

feed: comment about the %deleted hash

It's strictly not necessary anymore since
commit fa6168c56bdd1cece178b6b852a9b2cba6ce6ffb
("feed: message must exist in current HEAD to show up")

However it can still save us some unnecessary syscalls and
round-trips to the "git cat-file --batch" process, so it's probably
worth th cost of stuffing it in a hash.

cgi: style: return undef => return

feed: message must exist in current HEAD to show up

We do not want recently-deleted spam showing up when looking
in old histories.

spamassassin rule and config updates

While we're at it, add a script for easy editing of user prefs.
We need some human-maintained rules based on the spam we get.
It's an imperfect world, but I'd _much_ rather deal with the
occassional spam than require signup/registration to post.

view: show References: header, too

Some mail user agents use this header, and Mail::Thread uses
it, too, so show it if possible, but only if it's not redundant
to In-Reply-To.

view: add per-message HTML footer to encourage replies

This may not work with most mail user agents, however.

huge refactor of encoding handling

Hopefully this simplifies and corrects our usage of Perl encoding
APIs.

cgi: eliminate dead/redundant HTML escaping code

html: refactor header value handling to be OO

This helps us keep track of escaping which needs to be done
for various levels.

t/feed: cleanup test and add test for /f/ link

We already depend on IPC::Run, so just use it our tests.

feed: add tests for <id> element setting

We need to ensure this works

This follows commit bd8fd095067b79a0d2a40bbca2b27b923d02b3f8
("feed: fix address when multiple addresses exist")