www: make interface more OO

This allows multiple instances the WWW app from
running within the same process space

remove direct CGI.pm support

Relying on Plack::Handler::CGI is much easier for long-term
maintenance and development.

Nowadays, we even include our own httpd implementation to
facilitate easier deployment with PSGI/Plack.

www: support $MESSAGE_ID/R/ endpoint for replies

Setting the "In-Reply-To:" header via mailto: links is not
well-supported and should probably not be encouraged unless
the client situation improves.

So instead, teach users more widely-supported ways of setting
the In-Reply-To: header to ensure proper threading of replies.

view: capture header object early

For future changes, this will allow us to more quickly notice
if we keep the heavy Email::MIME object around too long.

It has the side effect of avoiding extra method calls with
Email::MIME which forwards header calls to the header_obj.

t/httpd-corner: test HTTP chunking with curl

Just in case my knowledge of chunking is wrong.

initial public-inbox-httpd implemenation

This is meant to provide an easy starting point for server admins.
It provides a basic HTTP server for admins unfamiliar with
configuring PSGI applications as well as being an identical
interface for management as our nntpd implementation.

This HTTP server may also be a generic Plack/PSGI server for
existing Plack/PSGI applications.

extmsg: support "//" protocol-relative URLs

Avoid unintentionally switching protocols if the external site
we're linking to supports both HTTP and HTTPS.

We do not want to force HTTPS everywhere because potential
bugs and performance problems in the TLS stack may outweigh
the privacy benefits.  Leave up to site authors and users
to decide whether they want HTTPS or plain old HTTP.

www: document "git clone --mirror" usage

Not everybody is willing to install or run ssoma; but at least
document "git clone --mirror" usage to promote data distribution.

It's wasteful to clone without "--mirror", so we'll suggest that
to avoid wasting disk space and inodes.

examples/public-inbox.psgi: document ReverseProxy

Running behind a ReverseProxy is a popular deployment,
so document it for users.

www: advertise clone-ability over http/https

All public-inbox instances shall be clone-able.

feed: favor relative URL to Atom feed in HTML

Normal browsers should understand relative path names.
Atom feeds may be hosted externally and seems to need
full URLs.

README: fix broken link to dc-dlvr-spam-flow

Reported-by: Jordi Bunster <jordi@bunster.org>

view: fix link to top-level ghost parent

In an single-message thread with a ghost parent, we need to
go up level from the current Message-ID before appending the
parent message to us.

view: simplify topic handling based on subjects

Dropping "[FOO]" prefixes for the purposes of summarization
is tricky and we end up with odd display behavior.
Just show Subject line changes as the writer intended
(with the exception of normalization to strip the "Re: ")

feed: declare alternate link to HTML interface

It seems we need to declare "alternate" and "text/html" at least
for feed readers.

support smart HTTP cloning

This requires POST and (small file) upload support from the
PSGI/Plack web server.  CGI.pm is currently not supported with
this feature.

We'll serve everything git can handle by default for performance
in the general case.

To avoid introducing cognitive overhead for sysadmins managing
existing HTTP backends, we do not introduce new configuration
directives.

Thus, setting http.uploadpack=false in the relevant git config
file for each public-inbox (ssoma) git repo will disable smart
HTTP for CPU/memory-constrained systems.

Technically we could support http.receivepack to allow posting
messages to a public-inbox over HTTP(S), but that breaks
the public-inbox model of encouraging users to Cc: everyone.
Again, we encourage users to Cc: everyone to reduce the chance
of a public-inbox becoming a centralized point of
failure/censorship.

t/cgi.t: fix broken test for dumb HTTP

This should not be dependent on what is in the users'
$HOME config, oops.

www: support git cloning via dumb HTTP

This is enabled by default, for now.
Smart HTTP cloning support will be added later, but it will
be optional since it can be highly CPU and memory intensive.

doc: misc cleanups and whitespace additions

Add a few newlines for readability (perhaps at the expense of
economy).  Stop mentioning "Open Source" as it is redundant
and "Free Software" fits our goals, better.

view: reference ghost parent in permalink view

We should not hide the parent Message-ID in this view;
give the user the option to find the message in other archives.

view: cleanup permalink Thread: header display

The word "skip" can be confusing.  Instead, spell out "scroll down"
for the user to read and only display that text when the thread
is sufficiently long.

view: do not kill whitespace in permalink thread timestamp

There's no need to HTML escape a timestamp we generate ourselves.
We need to preserve the leading space and can't use the "oneline"
semantics to preserve alignment.

view: explain why we do not use blockquote

Inevitably, somebody will care about semantic HTML; but
preserving the original intent of the email author is
important.

www: fix redirection loops

Sometimes users forget trailing slashes; but we should not punish
them with infinite loops.

view: fix Atom feed link in full message view page

Oops :x

hval: new should not strip leading spaces

We should be able to use this for ASCII art and paragraphs

hval: use more appropriate hvals for documentation

Not needed, but this is good documentation.  Some of these values
should never have newlines.

TODO: add a few more items

Sometimes I contribute to projects with centralization-inducing
things like reply-to-list and bug trackers.

I dislike those things myself, but most of the time I can deal with
them... for now.

HACKING: more docs about our philosophy

Reiterating reasons behind what we do might help drive our point
across better.

use Perl POD instead of pandoc-flavored Markdown

This project is currently implemented in Perl, and pod2man is
probably more common among potential users and developers of
this project.

listener: pass accepted address to post_accept

We can avoid making getpeername syscalls this way.

doc: add TODO.html to public website

HTML has one major advantage over plain text: <a href=...> links
That's about it.

view: label "relevance" in threaded search view

The threaded search view is somewhat alien to new users,
so ensure we label the word "relevance" for them.

misc doc updates

Strongly emphasize decentralization, as that was actually the
main impetus for my interest in git.

www: comments for denoting Plack::Request vs CGI

We'll probably want to continue supporting CGI for mod_perl
compatibility.

examples/public-inbox.psgi: shorten to simplify

Enable deflater using a shorter string as we do with other
middlewares, and use single quotes to denote we do not need
interpolation.

www: redirect with query string

We use query strings for search and index pages, so
we should not drop them if somebody types a URL by hand
and omits the trailing slash.

view: fixup indentation nesting in search

Oops, the rarely-accessed threaded search view was completely
broken.  Additionally, the normal threading depths were broken
when we attempted to go up-thread and replies got nested
improperly

Followup to commit be984ce279776d4513b4ca1bff05ebecafdd1bad
("view: thread using <ul> instead of <table>")

view: "thread" in per-message view goes back to /t/

Linking to the expanded thread page probably makes more sense
as it avoid unnecessary scanning for the thread summary.

view: avoid excessive indentation in thread summary

We already use "` " (backtick + space) to denote one indentation
level, so do not excessively indent and always pad with one
level less of spaces.

The 'x' operator in Perl handles negative values, so subtracting
one from level=0 will result in an empty string without spaces.

view: thread using <ul> instead of <table>

On second viewing, this does render small cues which makes the
output more pleasant for lynx users.  We avoid injecting the
root (level=0) message into a list since it still wastes
precious horizontal whitespace on small displays.

This also results in small reductions in bandwidth usage as
it takes fewer tags/whitespace to render unordered lists.

t/plack.t: fix test *with* plack installed... oops

Fixes commit 83fedde4cde6539386c9d3ecf37fb99d74af8d93
("tests: fixup requirements for tests")

tests: fixup requirements for tests

We should be able to run tests on bare bones systems more easily.

doc: minor updates to trim down the README

We'll continue developing and supporting ssoma, but it's unlikely to
gain much adoption in its current form; so stop cluttering up our
own README with it.

doc: use ".html" instead of ".txt.html" for website

Shorter URLs are easier to read, remember, and more efficient.

use "Atom feed" consistently in headers/footers

While having the extra " feed" is noisy in the main topic
landing page, it is useful in headers/footers which have
plenty of space to be more descriptive.

searchview: fix unclosed tags in threaded search results

Oops, we've had this forever and we also lacked a space
between the this was noticed while adding an extra
line between the "Search results ordered by" header
and actual messages.

view: reduce main landing page weight

Hopefully, "mbox.gz" is sufficiently understandabe that
we can get rid of the "title" attribute in <a> tags
(we already omitted the title in other pages).

Additionally, drop the '@' in front of the date.
The date should be obvious and is not necessary for
headers without author attribution.

searchview: fix up Atom feed in search results

Oops :x  We need better testing...
Fixes: commit 4c2c2325d2948ec5340e2fcafbee798cf568f5fd
("rename 'GitCatFile' package to 'Git'")

searchview: fixup stupid syntax error

Fixes: commit 398e29344ecc43548a7d3998bb5d2fcee62d66cd
("view: favor whitespace wrap in <head>")

Oops.

view: favor whitespace wrap in <head>

If we bite the bullet and rely on inline CSS, we might as well
only specify it once per page instead of inline in every <pre>
tag which may handle UGC.  So this actually saves us a small
amount of bandwith on most pages which have multiple <pre>
start tags.

examples/public-inbox.psgi: make output chunky by default

HTTP/1.1 clients will want persistent connections and
need to know response terminations.

view: fixup ghost message errors from threading tweaks

Ghost message links didn't show up too well after
commit bc067a7562a586bed92401fe1084bbe423b9451a
("view: move thread info near top of single view")

Additionally, attribution lacked a space when subjects changed
mid-thread.

extmsg: fixup comparison for unknown message types

Fixes commit 4c2c2325d2948ec5340e2fcafbee798cf568f5fd
("rename 'GitCatFile' package to 'Git'")

view: move thread info near top of single view

Most framed mail viewing software has message ancestry
information near the top instead of bottom (mutt, gmane,
sylpheed, thunderbird) as it can help improve context.
Traditional netiquette also favors writing replies below
quoted (older) text for this reason; so move the thread
summary to the top of the message for context.

Since threads may be long, add a "skip" anchor link to jump to
the message body quickly, and align the date to the left column
so it's easier to tell the relative age of messages.

While we're at it, remove quotes from "id" attributes to
improve ease-of-grep-ability.

view: fix wording for empty topics display

Users may be iterating through lists and come up with nothing

rename 'GitCatFile' package to 'Git'

We'll be using it for more than just cat-file.
Adding a `popen' API for internal use allows us to save a bunch
of code in other places.

git: cat-file wrapper enhancements

The "cat_file" sub now allows a block to be passed for partial
processing.  Additionally, a new "check" method is added to
retrieve only object metadata: (SHA-1 identifier, type, size)

hval: move PRE constant for wrapping UGC here

User-generated content (UGC) may have excessively long lines
which screw up rendering.  This is the only bit of CSS we use.

config: hoist out common functions

These will be reused elsewhere.

extmsg: try to fixup common errors

Sometimes users (me :x) blindly append "raw" to a /t/ URL...

view: fix message truncation logic

Avoid truncating messages if we requested the root anchor.
This regression appeared in
commit 62ee3cb36dd08f17e444e96dc80108464ee10cba
("view: do not shorten top-level messages in thread view")

Also, make the "More..." link more prominent, as readers
should be made aware they're not reading the full message.

*view: avoid leading zero in time display of the hour

Avoid the visual noise entirely by using a space instead.

I sometimes have difficulty distinguishing '0' from '8' while
other users may mistake it for an 'O' character.  Most digital
clocks I've seen will omit displaying a leading zero for the
hour, too.

This may also save transfer time by allowing better compression
(since there is a space between the date and time anyways) and
perhaps reduce client rendering time on some displays.

We'll leave the leading zero for minutes since that seems pretty
standard for digital clocks.

view: avoid truncating topic at 30 chars

It's potentially unsafe (leading to hidden messages) at any level.

view: consistent links for per-message views

Just because a message is currently alone does not mean
the links won't be valid in the future when more messages
show up.

view: don't kill topic summarization for level==0

Unlinked threads with similar (but not identical) subjects
could be hidden as a result.

config: allow underscore in section names

Apparently git allows them, and they're definitely alright
in email addresses.

various internal documentation updates

Hopefully this gives new hackers a better overview of
how the components relate to each other.

nntp: fix printf warnings

Error messages and request lines may contain '%' which would
throw off Perl printf.

feed: capitalize "Atom" consistently

This is the official name of the spec, so refer to it
as such despite the file extension being lower-cased

view: further reduce size of attribution/timestamp

The "by" on the message page and "-" in the index are
unnecessary and readers should have no trouble figuring out
what the attribution/timestamp line means.

TODO: updates for done stuff, and add item for message threading

Of course, we need to figure out if RFC 4685 is supported anywhere,
first.

view: remove "created" and "updated" noise words

They increase HTML size and add to visual noise without telling
enough useful information.

filter: fix handling of bad attachments

Improve error messages and use a better regexp for detecting
printable characters in attachments.

view: fixup bad comparison

Oops, there is no longer a 3rd element.

Fixes: 759efc037728a766ee80f1b0d3c1fd7b8c76a05f
("view: remove attribution for topics in top-level view")

view: remove attribution for topics in top-level view

It clutters up the page unnecessarily, as identity of the topic
starter/updater probably doesn't matter if there's no exact
message to attribute the message to.

README: add OpenSSL exception

Network connections may use OpenSSL for TLS (as other libraries,
such as GNUTLS do not appear well-supported under Perl).  So
give this exception in case somebody needs TLS support for NNTP.

mbox: generate Archived-At, List-Post, List-Archive headers

Downloaded mboxen can be archived/stored indefinitely, try to
make it easy for future archaelogists to find the online
archive location.

mbox: kill Bytes meta-header, too

It may be present in messages imported from NNTP.

view: add links for mbox and atom feeds in homepage

Having per-thread Atom feeds and downloadable mboxen is powerful
and should be more easily visible/accessible to casual readers.

mda: support a 'filter=scrub' option for external lists

For list where we are not the primary archival entry point,
defaulting to filter=scrub makes sense since their list
conventions may be more tolerant of HTML and other crap
than we are.

drop Message-IDs longer than 244 bytes

Xapian has this limit for terms, and there are likely no
legitimate Message-IDs (or single header lines) this long; so
there's no need to workaround this limit.

rename mid_compress to id_compress

We use it as a general compressor for identifiers such as
subject paths, so using the "mid_" prefix probably is not
appropriate.

nntpd: executable permission

Ensure we are executable for consistency and documentation.
MakeMaker already makes this executable, but we might as
well do the same...

Msgmap: pass ReadOnly DBI flag for non-writable opens

This doesn't seem to do anything on my older system, but maybe it
will in newer or future versions of DBD::SQLite.  Anyways it can
be helpful for documentation purposes, too.

searchidx: subject is not a term

Sometimes subjects are excessively long and hit Xapian's 245-byte
term limit.  We can still perform subject-only searches with
a probabilistic prefix.

nntp: better delimit error message

It may be hard to tell what command triggered an error,
otherwise.

nntp: remove reference to non-existent function

Oops

nntp: implement idle time expiration

We don't want to waste precious server memory on clients which
have been idle for longer than 3 minutes.

filter: more consistent labeling of rejections

While we're at it, reject non-plain-text top-level messages,
too.  They probably do not exist in practice, but we cannot
afford to scrub given policies implemented by overzealous
mail providers.

While we're at it, update the comment for strip_multipart.

searchview: fix syntax error

Oops, I forgot to run the syntax check for this.

filter: do not strip Reply-To

It's often part of idiotic policies to prevent mailing lists
from working at all.

mda: keep DKIM crap

This is probably unsafe

view: correctly pick latest in index anchor links

The last message in a thread _display_ is not necessarily the
latest message in the thread.  We must go by the Date: header
on the messages themselves as a best-guess.  Of course Date:
headers may lie, but most mail clients trust them by default,
so we will, too.

README: document NNTP access

That's right, we now have our NNTP server running and are
self-hosting a read-only news gateway at:

nntp://news.public-inbox.org/inbox.comp.mail.public-inbox.meta

view: use '+' instead of '%20' to escape spaces in mailto:

'+' is more shoter and more readable in query parameters than '%20'

t/nntpd.t: additional tests for XHDR/HDR

More testing is good, especially since clients I use
don't implement all the commands.

t/nntpd.t: simplify condition for response termination

Multiline responses must end with "\r\n.\r\n", so we won't
break out early in case the OS doesn't support MSG_MORE.

nntp: implement OVER/XOVER summary in search document

The document data of a search message already contains a good chunk
of the information needed to respond to OVER/XOVER commands quickly.
Expand on that and use the document data to implement OVER/XOVER
quickly.

This adds a dependency on Xapian being available for nntpd usage,
but is probably alright since nntpd is esoteric enough that anybody
willing to run nntpd will also want search functionality offered
by Xapian.

This also speeds up XHDR/HDR with the To: and Cc: headers and
:bytes/:lines article metadata used by some clients for header
displays and marking messages as read/unread.

nntp: implement LIST HEADERS

We shall remove slow, unoptimized headers in XHDR/HDR to avoid
becoming an easy DoS target.