fixup Plack-related requires

We do not need to load Plack::Request outside of WWW anymore.

t/init.t: avoid spewing directory names in output

This is a step towards having consistent, reproducible
test output. (ugh, but each %hash usage screws that up).

t/search.t: use transactions to reduce I/O load

In case folks do not use eatmydata or tmpfs for testing,
use transactions to reduce the number of fsync calls
made and hopefully prevent drives from wearing out.

git-http-backend: fixes for mod_perl

Apache2 mod_perl does not give us a real file handle, so
we must translate that before giving that to git-http-backend(1).

Also, parse the Status: correctly for errors since we failed to
set %ENV properly before the previous fix for SpawnPP

spawnpp: use env(1) for mod_perl compatibility

We cannot modify %ENV directly under mod_perl (even after forking!),
so use env(1) instead to pass the environment.

git-http-backend: stricter parsing of CRLF

It is not needed as we know git uses CRLF termination.

favor procedural calls for most private functions

This makes for better compile-time checking and also helps
document which calls are private for HTTP and NNTP.

While we're at it, use IO::Handle::* functions procedurally,
too, since we know we're working with native glob handles.

distinguish error messages intended for users vs developers

For error messages intended to show user error (e.g. giving
invalid options), we add a newline ("\n") at the end to
polluting the output with location information.

However, for diagnosing non-user-triggered errors, we should
show the location of where the error occured.

http: avoid needless time2str calls

Checking the time is nearly free on modern systems with
vDSO/vsyscall/similar while sprintf is always expensive.

http: document event_write usage

It may not be obvious where we are when we enter the event_write
callback.  Hopefully this clarifies things.

http: error check for sysseek on input

Just in case we screwed up somewhere, we need to match up
syswrite to sysseek and we also favor procedural calls for
native types.

examples/public-inbox.psgi: relax license to GPL-3.0+

Using the AGPL for server config files is probably overkill.
GPL-3.0+ still requires appliance vendors to disclose
configurations which seems desirable for end users.

examples: various Apache-related doc updates

Plack::Handler::Apache2 exists and seems to work very well.

examples/cgi-webrick.rb: set CGIPathEnv, update comments

webrick clears PATH otherwise, and we rely on git commands.

examples/: PSGI example updates

Users wanting to customize their installation should know
to about the usability of STDOUT for logging.
(and we still need manpages for -nntpd and -httpd)

spawnpp: die instead of exit on exec failure

Perl may complain about exit not being executed, but not die.

newswww: set Content-Type properly

Oops :x

http: support graceful shutdown like nntp

HTTP responses may be long-running or requests may be slow or
pipelined.  Ensure we don't kill them off prematurely.

reduce calls to close unless error checks are needed

We can rely on timely auto-destruction based on reference
counting; reducing the chance of redundant close(2) calls
which may hit the wront FD.

We do care about certain close calls (e.g. writing to a buffered
IO handle) if we require error-checking for write-integrity.  In
other cases, let things go out-of-scope so it can be freed
automatically after use.

searchidx: use defined for checking EOF behavior

While empty or "0" should never appear, this allows the
reviewer to think and know less about the context in which
this check is done.

t/: remove unnecessary Dumper use

No point in loading Data::Dumper if we do not use it
in the tests.

searchmsg: update + fix license header

Not sure how, but this should've always been AGPL-3.0+ like
the rest of the code, not GPL-3.0+

MANIFEST: update (generate via "git ls-files")

It's been a while...

httpd: allow running if ReverseProxy is missing

Not everybody will be running this behind a ReverseProxy;
but it's probably the likely configuration.  Anyways,
warn about this and also about Deflater being missing.

spawn: disable popen optimization for non-vfork

This is necessary since we want to be able to do arbitrary redirects
via the popen interface.  Oh well, we'll be a little slower for now
for users without vfork.  vfork users will get all the performance
benefits.

spawnpp: fix error message for stderr redirect failing

Oops :x

daemon: refresh before forking

This means we always load the PSGI server code early for
-httpd.  This may make things less compatible with existing
PSGI/Plack apps, but we prioritize our httpd for the uses
of public-inbox itself, first.

And any existing PSGI/Plack app which wants to may adapt
themselves to being preload-friendly.

spawn: fail properly if Inline fails

We must stash the error correctly when nesting evals, oops :x

move executables to script/ directory

This seems to match more closely with what is expected of Perl
packages based on how blib is used.  Hopefully makes the top-level
source tree less cluttered and things easier-to-find.

git: use built-in spawn implementation for vfork

This should reduce overhead of spawning git processes
from our long-running httpd and nntpd servers.

initial spawn implementation using vfork

Under Linux, vfork maintains constant performance as
parent process size increases.  fork needs to prepare pages
for copy-on-write, requiring a linear scan of the address
space.

http: simplify offset calculation slightly

No point in comparing an empty string; length() is only
potentially expensive on big strings.

psgi: enable ReverseProxy middleware by default

ReverseProxy is the common way to run Perl applications,
so enable it by default and don't care too much about fake
requests because we don't handle any sensitive information
or rely on authentication (everything is read-only from
the WWW interface and will remain so).

daemon: update comment about usage in httpd

Writing a read-only IMAP server isn't out-of-scope, either,
but I've never studiied the IMAP protocol, much, unlike HTTP/1.x
or even NNTP.

httpd: avoid loading our WWW-specific code early

We want this to be usable as a generic httpd for other Free Software
projects, so do not force users to load our WWW code at
compile-time.

www: add News* wrappers to preload

We want to preload as much as possible in -httpd when forking
to save memory via CoW.

www: workaround for malformed NNTP links

Some linkifiers to create invalid HTTP links when it sees a
link intended for NNTP services.  This means we may see links
to news.public-inbox.org/inbox.comp.mail.public-inbox.meta
point to "http://" on port 80 instead of 119.  Try to
redirect users to http://public-inbox.org/meta/ in this case.

support protocol-relative URLs in publicinbox.$LISTNAME.url

All URL generation in dynamic HTTP pages should be capable of
generating "https" or "http" URLs depending on the user's
preference.

git-http-backend: extract input_to_file function

This will allow us to more easily read and test later.

extmsg: do not modify shared array via prurl

We cannot modify elements in any shared data strucutures
shared between requests.  Oops!

extmsg: allow returning 404 responses

We will be falling back and cascading to newsgroup lookups, later.

httpd: fill in missing Danga::Socket callbacks

Danga::Socket will die on us if we hit the base implementations.

git-http-backend: avoid multi-arg print statemtents

Even with output buffering disabled via IO::Handle::autoflush,
writes are not atomic unless it is a single argument passed to
"print".  Multiple arguments to "print" will show up as multiple
calls to write(2) instead of a single, atomic writev(2).

git-http-backend: start async API for streaming

git-http-backend may take a while, ensure we can process other
requests while waiting on it.  We currently do this via
Danga::Socket in public-inbox-httpd; but avoid exposing this
internal implementation detail to the PSGI interface and
instead only expose a callback via: $env->{'pi-httpd.async'}

git-http-backend: start refactoring to use callback

Designing for asynchronous, non-blocking operations makes
adapting for synchronous, blocking operation easy.

Going the other way around is not easy, so do it now and
allow us to be more easily adapted for non-blocking use
in the next commit...

use pipe for git-http-backend output

This allows us to stream the output to the client without buffering
everything up-front.  Next, we'll let Danga::Socket (or AE in the
future) wait for readability.

hval: implement common UI for protocol-relative URLs

This allows users to avoid HTTPS -> HTTP downgrade warnings,
but we will also avoid encouraging them towards HTTPS, for now.

IMHO: the CA system gives a false sense of security,
TLS libraries (e.g. OpenSSL) can introduce new bugs and
problems (even to attack clients), and TLS libraries
also eats memory on cheap servers.

www: make interface more OO

This allows multiple instances the WWW app from
running within the same process space

remove direct CGI.pm support

Relying on Plack::Handler::CGI is much easier for long-term
maintenance and development.

Nowadays, we even include our own httpd implementation to
facilitate easier deployment with PSGI/Plack.

www: support $MESSAGE_ID/R/ endpoint for replies

Setting the "In-Reply-To:" header via mailto: links is not
well-supported and should probably not be encouraged unless
the client situation improves.

So instead, teach users more widely-supported ways of setting
the In-Reply-To: header to ensure proper threading of replies.

view: capture header object early

For future changes, this will allow us to more quickly notice
if we keep the heavy Email::MIME object around too long.

It has the side effect of avoiding extra method calls with
Email::MIME which forwards header calls to the header_obj.

t/httpd-corner: test HTTP chunking with curl

Just in case my knowledge of chunking is wrong.

initial public-inbox-httpd implemenation

This is meant to provide an easy starting point for server admins.
It provides a basic HTTP server for admins unfamiliar with
configuring PSGI applications as well as being an identical
interface for management as our nntpd implementation.

This HTTP server may also be a generic Plack/PSGI server for
existing Plack/PSGI applications.

extmsg: support "//" protocol-relative URLs

Avoid unintentionally switching protocols if the external site
we're linking to supports both HTTP and HTTPS.

We do not want to force HTTPS everywhere because potential
bugs and performance problems in the TLS stack may outweigh
the privacy benefits.  Leave up to site authors and users
to decide whether they want HTTPS or plain old HTTP.

www: document "git clone --mirror" usage

Not everybody is willing to install or run ssoma; but at least
document "git clone --mirror" usage to promote data distribution.

It's wasteful to clone without "--mirror", so we'll suggest that
to avoid wasting disk space and inodes.

examples/public-inbox.psgi: document ReverseProxy

Running behind a ReverseProxy is a popular deployment,
so document it for users.

www: advertise clone-ability over http/https

All public-inbox instances shall be clone-able.

feed: favor relative URL to Atom feed in HTML

Normal browsers should understand relative path names.
Atom feeds may be hosted externally and seems to need
full URLs.

README: fix broken link to dc-dlvr-spam-flow

Reported-by: Jordi Bunster <jordi@bunster.org>

view: fix link to top-level ghost parent

In an single-message thread with a ghost parent, we need to
go up level from the current Message-ID before appending the
parent message to us.

view: simplify topic handling based on subjects

Dropping "[FOO]" prefixes for the purposes of summarization
is tricky and we end up with odd display behavior.
Just show Subject line changes as the writer intended
(with the exception of normalization to strip the "Re: ")

feed: declare alternate link to HTML interface

It seems we need to declare "alternate" and "text/html" at least
for feed readers.

support smart HTTP cloning

This requires POST and (small file) upload support from the
PSGI/Plack web server.  CGI.pm is currently not supported with
this feature.

We'll serve everything git can handle by default for performance
in the general case.

To avoid introducing cognitive overhead for sysadmins managing
existing HTTP backends, we do not introduce new configuration
directives.

Thus, setting http.uploadpack=false in the relevant git config
file for each public-inbox (ssoma) git repo will disable smart
HTTP for CPU/memory-constrained systems.

Technically we could support http.receivepack to allow posting
messages to a public-inbox over HTTP(S), but that breaks
the public-inbox model of encouraging users to Cc: everyone.
Again, we encourage users to Cc: everyone to reduce the chance
of a public-inbox becoming a centralized point of
failure/censorship.

t/cgi.t: fix broken test for dumb HTTP

This should not be dependent on what is in the users'
$HOME config, oops.

www: support git cloning via dumb HTTP

This is enabled by default, for now.
Smart HTTP cloning support will be added later, but it will
be optional since it can be highly CPU and memory intensive.

doc: misc cleanups and whitespace additions

Add a few newlines for readability (perhaps at the expense of
economy).  Stop mentioning "Open Source" as it is redundant
and "Free Software" fits our goals, better.

view: reference ghost parent in permalink view

We should not hide the parent Message-ID in this view;
give the user the option to find the message in other archives.

view: cleanup permalink Thread: header display

The word "skip" can be confusing.  Instead, spell out "scroll down"
for the user to read and only display that text when the thread
is sufficiently long.

view: do not kill whitespace in permalink thread timestamp

There's no need to HTML escape a timestamp we generate ourselves.
We need to preserve the leading space and can't use the "oneline"
semantics to preserve alignment.

view: explain why we do not use blockquote

Inevitably, somebody will care about semantic HTML; but
preserving the original intent of the email author is
important.

www: fix redirection loops

Sometimes users forget trailing slashes; but we should not punish
them with infinite loops.

view: fix Atom feed link in full message view page

Oops :x

hval: new should not strip leading spaces

We should be able to use this for ASCII art and paragraphs

hval: use more appropriate hvals for documentation

Not needed, but this is good documentation.  Some of these values
should never have newlines.

TODO: add a few more items

Sometimes I contribute to projects with centralization-inducing
things like reply-to-list and bug trackers.

I dislike those things myself, but most of the time I can deal with
them... for now.

HACKING: more docs about our philosophy

Reiterating reasons behind what we do might help drive our point
across better.

use Perl POD instead of pandoc-flavored Markdown

This project is currently implemented in Perl, and pod2man is
probably more common among potential users and developers of
this project.

listener: pass accepted address to post_accept

We can avoid making getpeername syscalls this way.

doc: add TODO.html to public website

HTML has one major advantage over plain text: <a href=...> links
That's about it.

view: label "relevance" in threaded search view

The threaded search view is somewhat alien to new users,
so ensure we label the word "relevance" for them.

misc doc updates

Strongly emphasize decentralization, as that was actually the
main impetus for my interest in git.

www: comments for denoting Plack::Request vs CGI

We'll probably want to continue supporting CGI for mod_perl
compatibility.

examples/public-inbox.psgi: shorten to simplify

Enable deflater using a shorter string as we do with other
middlewares, and use single quotes to denote we do not need
interpolation.

www: redirect with query string

We use query strings for search and index pages, so
we should not drop them if somebody types a URL by hand
and omits the trailing slash.

view: fixup indentation nesting in search

Oops, the rarely-accessed threaded search view was completely
broken.  Additionally, the normal threading depths were broken
when we attempted to go up-thread and replies got nested
improperly

Followup to commit be984ce279776d4513b4ca1bff05ebecafdd1bad
("view: thread using <ul> instead of <table>")

view: "thread" in per-message view goes back to /t/

Linking to the expanded thread page probably makes more sense
as it avoid unnecessary scanning for the thread summary.

view: avoid excessive indentation in thread summary

We already use "` " (backtick + space) to denote one indentation
level, so do not excessively indent and always pad with one
level less of spaces.

The 'x' operator in Perl handles negative values, so subtracting
one from level=0 will result in an empty string without spaces.

view: thread using <ul> instead of <table>

On second viewing, this does render small cues which makes the
output more pleasant for lynx users.  We avoid injecting the
root (level=0) message into a list since it still wastes
precious horizontal whitespace on small displays.

This also results in small reductions in bandwidth usage as
it takes fewer tags/whitespace to render unordered lists.

t/plack.t: fix test *with* plack installed... oops

Fixes commit 83fedde4cde6539386c9d3ecf37fb99d74af8d93
("tests: fixup requirements for tests")

tests: fixup requirements for tests

We should be able to run tests on bare bones systems more easily.

doc: minor updates to trim down the README

We'll continue developing and supporting ssoma, but it's unlikely to
gain much adoption in its current form; so stop cluttering up our
own README with it.

doc: use ".html" instead of ".txt.html" for website

Shorter URLs are easier to read, remember, and more efficient.

use "Atom feed" consistently in headers/footers

While having the extra " feed" is noisy in the main topic
landing page, it is useful in headers/footers which have
plenty of space to be more descriptive.

searchview: fix unclosed tags in threaded search results

Oops, we've had this forever and we also lacked a space
between the this was noticed while adding an extra
line between the "Search results ordered by" header
and actual messages.

view: reduce main landing page weight

Hopefully, "mbox.gz" is sufficiently understandabe that
we can get rid of the "title" attribute in <a> tags
(we already omitted the title in other pages).

Additionally, drop the '@' in front of the date.
The date should be obvious and is not necessary for
headers without author attribution.

searchview: fix up Atom feed in search results

Oops :x  We need better testing...
Fixes: commit 4c2c2325d2948ec5340e2fcafbee798cf568f5fd
("rename 'GitCatFile' package to 'Git'")

searchview: fixup stupid syntax error

Fixes: commit 398e29344ecc43548a7d3998bb5d2fcee62d66cd
("view: favor whitespace wrap in <head>")

Oops.

view: favor whitespace wrap in <head>

If we bite the bullet and rely on inline CSS, we might as well
only specify it once per page instead of inline in every <pre>
tag which may handle UGC.  So this actually saves us a small
amount of bandwith on most pages which have multiple <pre>
start tags.

examples/public-inbox.psgi: make output chunky by default

HTTP/1.1 clients will want persistent connections and
need to know response terminations.

view: fixup ghost message errors from threading tweaks

Ghost message links didn't show up too well after
commit bc067a7562a586bed92401fe1084bbe423b9451a
("view: move thread info near top of single view")

Additionally, attribution lacked a space when subjects changed
mid-thread.