search: implement index_sync to fixup indexer

We need to make the indexer executable and installable
while we're at it.

initial search backend implementation

This shall allow us to search for replies/threads more easily.

view: consistent ordering of Cc: addresses

This fixes a minor test failure in t/cgi.t

Tested with perl 5.18.2-2ubuntu1 on Ubuntu 14.04.3 LTS

view: remove unused $enc_mime Encoding object

Unneeded since commit e022d3377fd2c50fd9931bf96394728958a90bf3
("huge refactor of encoding handling")

view: pass fallback encoding to enc_for

This fixes the fallback to message encoding if the message
itself was not UTF-8

public-inbox-learn: preserve headers for ham injection

We must inject headers properly for injecting ham, otherwise
List-Id headers get dropped.

view: simplify timestamp generation

It's seems less ambiguous to parse a consistent in quiet lists
where messages are sparse.

feed: extract subroutines for threading

We'll be using this in the future for displaying per-thread
views.

scripts/dc-dlvr.pre: ensure stderr gets back to the MTA

We want to be able to reject errors back to the MTA.

reject HTML loudly and automatically

This should hopefully reduce the delay between when a user fails
to send plain-text to when an admin such as myself notices the
HTML mail in a sea of spam.

Unfortunately, this can lead to backscatter, so avoid doing it
until its passed through spamc, at least.

feed: compile regexps only once

This avoids some runtime penalties associated with recompiling
a regexp based on a constant local variable.

view: reduce empty <a>, use "id" instead of "name" attributes

This is probably more compliant, and saves us a few bytes
on the uncompressed HTML.

feed: close body tag correctly in index

Oops, noticed by manual inspection.  One day we'll run tidy in tests
to validate.

public-inbox-mda: preserve SpamAssassin headers in spam

We want to be able to prioritize spam downstream to check for
borderline cases.

view: fix linkification and quote-folding conflicts

We can't add newlines to links, unfortunately, because
quote-folding is line-based and (being regexp-based) needs
to happen after linkification.

view: generate links for common protocols in browsers

SpamAssassin queries URI blacklists, so it's probably OK
to enable this without being used as a linkfarm.

doc/design_www: remove item for auto-generated links

SpamAssassin queries URI blacklists, so it's probably OK
to start generating links in the future...

import_slrnspool: fork a process for each message

This prevents process growth when importing large messages.
Memory growth could be due to the sliding sbrk window in glibc malloc
or a circular reference in the Email::* Perl code somewhere.

import_slrnspool: load private config key

PublicInbox::Config->lookup won't return unknown keys

import_slrnspool: graceful exit for interruptibility

This should alleviate fears of interrupting the process.

import_slrnspool: make filtering optional

import_slrnspool: use ssoma-mda instead

Some mailing lists (e.g. git@vger.kernel.org) accept messages
via Bcc: and possibly other things which get rejected by
the strict PublicInbox::Filter rules.  So rely on ssoma-mda
instead.

This prefers a recent revision of ssoma-mda (commit 7fce38e9
onwards) to display subject/author/date information in the
commit message.

.gitignore: relax MYMETA pattern

Newer systems may use .json instead of .yml

filter: handle missing Content-Type

Some mailers may omit the Content-Type header entirely,
so do detection and try to get the message through.

*slrnspool* old gmane archives set Original-To

Apparently it's not a problem with recent archives.

import_slrnspool: fix off-by-one error

We start with zero and only store the next valid ID.

scripts/import_slrnspool: new incremental importer

This allows incremental imports of slrn spools, ideal for
tracking lists via gmane.

doc: generate README.html instead of index.html

This allows us to generate links without caring about discoverability
and remains reasonably WYSIWYG for folks editing our documentation in
their favorite $EDITOR

Documentation/txt2pre: support #fragments and ftp://

Occasionally we'll use these for links.

-learn: nuke HTML portions when training as ham

Sometimes people send HTML email and I forget to fixup in my
MUA during moderation.  Automatically strip out HTML portions
instead.

view: account for filter bugs which leak HTML into the repo

Ugh, apparently there's a (yet-to-be-fixed) bug in the Filter
code which caused an HTML message portion of a multipart message
to be displayed on the web UI.  Account for that and nuke it.

view: add time to entries older than one day

This is occasionally useful and we're not as starved for screen
space now now that sender+timestamps are on a separate line.

view: rename "permalink" to "threadlink"

These may not be permanent, after all.
Better threading support can be done for message views, so
and the current index layout is still too busy and suboptimal.

examples/public-inbox.psgi: add usage to comments

I often forget how to run this

view: show raw message link as "raw"

"original" is a bit misleading, since we strip needless junk
like HTML from messages before it ever hits git.

TODO: add mlmmj integration item

Because some folks will want to receive email.

doc: add TODO to the website

TODO: add a placeholder for search

While we're at it, fix up a typo.

view: tweak attribution line

This reduces unnecessary white space and consistently places
the attribution under the Subject.

view: make the thread index less claustrophobic

At the cost of some vertical whitespace.

More bikeshedding...

public-inbox-init: fix multi-address setup

We must support multi-address mailing lists, so we do not
clobber existing addresses.  However, we need to ensure
idempotency and ensure existing addresses are not reset.

Furthermore, we were not parsing the existing config correctly
due to a leaking $/.

view: relax line break detection

Often times any succession of "---" denotes the rest of the
message is too long to review at once.

public-inbox-init: manages the config files

This hopefully allows easier setup.

filter: ensure CRs do not show up in lynx conversions

Unix line endings are LF-only, so do not introduce or preserve
CRLF line endings when reading from lynx.

index: drop signatures from nested output

We have a less-ambiguous "more..." link nowadays if somebody
wants to see the full message.

hval: fixup bad line endings in HTML output

We should do this in filter, too, but sometimes we
prefer to avoid filtering the message at all.

index: add prev/next index navigation

This helps readers jump around more quickly when there are
large messages.

index group state parameters together for generation

This allows us to more-easily group and pass parameters.

view: standalone view shows link to index

Sometimes people come from sharing links and not the index,
so the back button in their browser does not really go back.

view: kill unnecessary assignment

Not sure what I was thinking

view: support SHA-1 of Message-IDs for message links

Some Message-IDs are crazy long, so support SHA-1s for them
instead.  This allows shorter URLs to be generated and are
less likely

However, we'll still favor short Message-IDs whenever possible.

index: show short-ish permalinks to messages in threads

This should allow us to reference discussions more easily.

line-wrap generated HTML source around attrs for readability

It's important to keep HTML source readable to folks who prefer
to read raw HTML.  This should improve readability of the HTML
source by keeping line length in check without wasting bytes.

feed: (cleanup) avoid redundant ->message call

Avoid redundant subroutine calls as their costs tend to add up.

feed: sort child messages (forward) chronologically

Only root messages should be sorted in reverse chronological order,
child messages should be chronological.  This gives precedence to
_topics_, but also for initial replies.

This improves readability when several messages appear at the same
nesting level, and helps git patch series' appear correctly as:

[PATCH 0/3] ...
[PATCH 1/3] ...
[PATCH 2/3] ...
[PATCH 3/3] ...

Instead of (what it was previously):

[PATCH 0/3] ...
[PATCH 3/3] ...
[PATCH 2/3] ...
[PATCH 1/3] ...

view: fixup dropped newline in the last commit

Oops!

view: avoid extraneous space for subject-only messages

Sometimes, the subject says it all.

view: reduce redundant linkage in index

There's no point in having a "(more...)" and "link" pointing
to the same element, replace "link" with "more..." if we've
omitted text from the index.

view: increase context in index views

It's probably better to show too much than too little, even
if this means extra scrolling :<

Otherwise, we end up punishing messages who quote minimally
and end up loosing context.  Unfortunately, too many people
over-quote nowadays.

view: kill leading whitespace in index

Leading whitespace is pointless, but some folks end up adding
it for some reason.

view: show quotes in index if parent is too old

It's helpful to show context if a message does not
appear on the current index page.

view: tighten up regexps used for trimming index

The previous regexp matches were too aggressive w.r.t.  scissors.
We destroy trailing whitespace anyways, so do not worry about it
when cutting signatures and patches off.

view: trim git patches delimited by /^---$/

Patches are usually better viewed standalone and are difficult
to judge when nested.  So save precious vertical space in our
message index.

feed: deal with removed files

Sometimes we get spam and need to delete messages,
we must prevent errors on missing messages from propagating.

feed: show permalink to home page

This will make it easier to bookmark an index page with threading
context.

view: increase MAX_INLINE_QUOTED threshold to 12

12 lines is half an 80x24 terminal, so it is probably a reasonable
amount to quote.  Often 5 lines was not enough for context.  This
feature is mainly to reduce scrolling necessary to view pages.

redo main HTML index to show nested messages

This reduces the need for page reloads in common cases and should
improve reading speed so users do not need to open many browser
tabs.  This will hopefully increase an encourage readership.

The downside of this are increased server processing overhead and
easier address scraping by spam bots.

view: Email::Address cache purge is optional

We will reuse the html_footer function in a nested index.

show date in top-level threaded index

This is probably useful information for folks browsing via web
interface.  It'll probably make more sense if we show the entire
body in the threaded display, though.

t/view: ensure HTML shows QP text

We need to ensure the HTML output is not mangled, either.

filter: preserve QP when collapsing multipart

HTML clients also tend to send quoted-printable crap in
their plain-text parts, preserve that so it's displayed
correctly for all QP-capable handlers.

doc/dc-dlvr-spam-flow: link to ssoma, too

Some readers may not be familiar with ssoma internals such as
ssoma-rm.

doc/dc-dlvr-spam-flow: include links to relevant projects

Some of these projects are not well known, so link to them
to help new users.

doc: remove HTML

Even with txt2pre, the maintenance/discoverability burden is too
high and lynx still uses too much memory.  Unfortunately, we'll have
to keep our INSTALL.html for a while longer on the server since it's
linked, but not index.html!

t/html_index.t: fix warnings in test case

Oops.

README: reflow and expand initial introduction a bit

Marketing is hard!

sa_config: just put HTML messages in the mod queue

We can be stricter about HTML email, since none of the lists
hosted here accept HTML.

spamassassin/user_prefs: do not favor paid whitelist services

Paid reputation management services are not encouraged.

spamassassin/user_prefs: disable non-English

Too much spam arrives without any readable English, and I (the
server administrator) cannot easily tell if a non-English
message is spam or not.

slrnspool2maildir: fix help and dir creation

Any existing directory should do.

MDA: cleanse headers in case of delivery

We nuke DKIM headers because we modify headers and sometimes the
body, which may invalidate the message.  We'll also nuke whatever
Mailman nukes from messages to avoid phishing and leaking
information.

mda: drop RFC2369 support for now

That should be use down stream by delivery agents.

www: attempt to improve formatting of footer

This looks nicer to me (totally subjective and open to bikeshedding
:P)

consistently whitespace wrap on <pre> sections

Horizontal scrolling is a usability problem for GUI browsers,
so help them avoid it.  I love GUI users, really! :)

INSTALL: update support status

We probably won't bother with FastCGI until there is interest.

examples/apache2_perl.conf: set PI_CONFIG

This is easier and lower-impact than setting HOME anywhere.

www: set charset=UTF-8 in full message view

Oops, this was an oversight.

learn: set_list_headers on training

This is idempotent, and should actually/really prevent training
loops.

mda: attempt to prevent training loops

feed: add atom feed link to the bottom

This should improve navigation as browsers may not make it
obvious there is an Atom feed.

view: add newline before list-wide footer

Otherwise the reply link gets squished.

www: multi-line cloneurl maps to multiple lines

URLs may be long, so give each its own line.

www: add footers to HTML index and message views

Some advertising is necessary.

add various TODO items

Screen space is precious, and we do not need it in the abbreviated
view.

view: API cleanup, remove "as_" prefix

These views are not OO, so the "as_" prefix makes little sense
and "as_html" conflicts with Hval, which is OO.

reduce copies by passing string refs to Email::MIME

This should reduce data copies and memory usage, according
to Email::Simple documentation.

git cat-file wrapper uses syswrite for writes

The requests we make to git cat-file --batch are guaranteed to be
smaller than the 512 bytes required by PIPE_BUF, so there will be no
partial writes.  Bypass Perl IO layers and write directly to the
pipe to avoid needing IO::Handle here.

thread: limit scope of monkey patch

Future versions of Mail::Thread may be released to fix this bug.
However, since it's been about 8 years since the bug was reported..

workaround Mail::Thread memory leak

Thanks to Ask for the patch in
https://rt.cpan.org/Public/Bug/Display.html?id=22817

purge Email::Address cache

This prevents memory bloat in case we're serving many requests
with a large, diverse set of email addresses (potentially from
malicious spammers).