learn: remove IPC::Run dependency

We'll be relying on our spawn implementation, for now;
since it'll be consistent with the rest of our code and
can optionally take advantage of vfork.

t/feed.t: make IPC::Run usage optional

Since ssoma is optional, here, IPC::Run shall also be optional.
(And it may be removed entirely in the future).

drop dependency on File::Path::Expand

We still pull it in via Email::LocalDelivery, but that
dependency will go away, soon.

nntp: do not double-encode UTF-8 body

Or whatever the appropriate Perl terminology, is...
And we will need to do something appropriate for other
encodings, too.  I still barely understand Perl Unicode
despite attempting to understand the docs over the years..

doc: systemd examples should only kill one process

For our daemons, killing only the master process is enough.
Killing the entire control group (as done by default in
systemd) may cause subprocesses such as git to shut down
unexpectedly.

Having systemd kill workers directly will also cause an
immediate shutdown since the master would've already signaled
the workers; and workers will die after two shutdown requests.

view: msg_html uses getline body to reduce latency

We need to ensure we show the message body ASAP since
the thread generation via Xapian could take a while
and maybe even raise an exception or crash.

examples: systemd socket and service definitions for daemons

Since our daemons are built to take advantage of socket activation,
provide example files to allow systems administrators to hit the
ground running with systemd.

Example init files for other systems greatly appreciated.

daemon: reset unused signal handlers to default in child

They're effectively noops anyways, and we don't want to be
holding a reference to the read end of the parent pipe.

unsubscribe: HTML encode undecryptable username

Otherwise, URLs can be crafted to inject HTML.

doc: update links to HTTPS sites in INSTALL and README

Thanks to Let's Encrypt and getssl, we can afford to have
HTTPS for our own hosting, and www.gnu.org has been accessible
over HTTPS for a long while.

While we're at it, update the copyright years, too.

unsubscribe: fix off-by-one error

Oops, pesky users of single-character email addresses!

unsubscribe.psgi: disable confirmation

This makes unsubscribing easier and frictionless.

unsubscribe.milter: implement archive blacklist

We don't want people following links from archivers and
breaking archival.

Merge branch 'unsubscribe'

* unsubscribe:
  unsubscribe.milter: use default postfork dispatcher
  unsubscribe: prevent decrypt from showing random crap
  examples/unsubscribe-psgi@.service: disable worker processes
  unsubscribe: bad URL fixup
  unsubscribe: get off mah lawn^H^H^Hist

view: be sure reply text describes plain-text

While we may end up mirroring lists which allow HTML mail,
encourage plain-text for compatibility since all current
inboxes we host are text-only.

view: remove trailing whitespace from reply command

Oops, needless waste of space.

view: escape From name properly for title

Oops :x   Add an additional test for live data for any
unprintable characters, too, since this could be a dangerous
source of HTML injection.

view: inline message reply into message view

This should reduce link following for replies and improve
visibility.  This should also reduce cache overhead/footprint
for crawlers.

www: force two element key-value pairs in query

Oops, this quiets down a warning seen in logs.

use utf8::{encode,decode} for in-place transforms

No need to duplicate the string when transforming it;
learned from studying SpamAssassin 3.4.1

http: yield body->getline running time

We cannot let a client monopolize the single-threaded server
even if it can drain the socket buffer faster than we can
emit data.

While we're at it, acknowledge the this behavior (which happens
naturally) in httpd/async.

The same idea is present in NNTP for the long_response code.

This is the HTTP followup to:
commit 0d0fde0bff97 ("nntp: introduce long response API for streaming")
commit 79d8bfedcdd2 ("nntp: avoid signals for long responses")

script/*{mda,learn}: no strict params for Email::MIME::ContentType

User input is imperfect, do not pollute our mail logs with
warnings we cannot fix.  This is documented in the
Email::MIME::ContentType manpage so it should remain supported.

www: remove a few more Plack::Request dependencies

Still a work in progress, but SearchView no longer depends
on Plack::Request at all and Feed is getting there.

We now parse all query parameters up front, but we may do
that lazily again in the future.

www: remove gratuitous use of Plack::Request methods

Accessing $env directly is faster and we will eventually
remove all Plack::Request dependencies.

git-http-backend: remove dependency on Plack::Request

Plack::Request is unnecessary overhead for this given the
strictness of git-http-backend.  Furthermore, having to make
commit 311c2adc8c63 ("avoid Plack::Request parsing body")
to avoid tempfiles should not have been necessary.

nntp: fix for missing articles/bodies/heads

Oops, we totally forgot to automate testing for this :x

inbox: drop references ASAP for search and msgmap

We can't leave them lingering in the parent process at
all due to the risk of corruption with multiple processes.

searchmsg: all timestamps stored in Xapian are UTC

We cannot have strftime using the local timezone for %z.
This fixes output when a server is not running UTC.

INSTALL: note Debian bug #808610 corruption

Ugh, this is a nasty corruption bug and I can't recommend
this project for Debian 8.0 users without documenting this.

txt2pre: remove CGI.pm dependency

It's no longer a part of the stock Perl distribution,
and we don't need a whole module for just one function.

remove redundant NewsGroup class

Most of its functionality is in the PublicInbox::Inbox class.

While we're at it, we no longer auto-create newsgroup names
based on the inbox name, since newsgroup names probably deserve
some thought when it comes to hierarchy.

config: remove try_cat

It's moved into the Inbox module and we no longer use it
in WWW

www: remove footer_html support

I haven't used it in a while and the existing "description"
is probably good enough.

If we support it again, it should be plain-text + auto-linkified
for ease-of-maintenance and consistency.

examples: config no longer supports atomUrl

We build the atomUrl from url, which can change
dynamically depending on what PSGI environment it
is called under.

Makefile.PL: allow N to be overridden

Relying on the number of processors isn't a great idea
since some of our tests rely on delays to test blocking
and slow client behavior.

http: clarify comments about layering violation

It's a low priority, but acknowledge it.

t/plack: ensure we can cascade on common endpoints

We don't serve things like robots.txt, favicon.ico, or
.well-known/ endpoints ourselves, but ensure we can be
used with Plack::App::Cascade for others.

config: fix NewsWWW fallback for newsgroups in HTTP URLs

Oops, added a test to prevent regressions while we're at it.

git-http-backend: close pipe for generic PSGI on errors

The generic PSGI code needs to avoid resource leaks if
smart cloning is disabled (due to resource contraints).

git-http-backend: move real close to GetlineBody

This makes more sense as it keeps management of rpipe
nice and neat.

unsubscribe.milter: use default postfork dispatcher

Let postfix (or sendmail :P) control the concurrency limit
instead of doing it ourselves.  This is necessary because SMTP
connections are completely synchronous at this point and a
slow/idle SMTP connection will monopolize the worker process.

httpd/async: do not needlessly weaken

The restart_read callback has no chance of circular reference,
and weakening $self before we create it can cause $self to
be undefined inside the callback (seen during stress testing).

Fixes: 395406118cb2 ("httpd/async: prevent circular reference")

git-http-backend: fix aborts for generic PSGI clone

We need to avoid circular references in the generic PSGI layer,
do it by abusing DESTROY.

http: avoid circular reference for getline responses

Lightly tested, this seems to work when mass-aborting
responses.  Will still need to automate the testing...

httpd/async: prevent circular reference

We must avoid circular references which can cause leaks in
long-running processes.  This callback is dangerous since
it may never be called to properly terminate everything.

remove Email::Address dependency

git has stricter requirements for ident names (no '<>')
which Email::Address allows.

Even in 1.908, Email::Address also has an incomplete fix for
CVE-2015-7686 with a DoS-able regexp for comments.  Since we
don't care for or need all the RFC compliance of Email::Address,
avoiding it entirely may be preferable.

Email::Address will still be installed as a requirement for
Email::MIME, but it is only used by the
Email::MIME::header_str_set which we do not use

git-http-backend: use qspawn to limit running processes

Having an excessive amount of git-pack-objects processes is
dangerous to the health of the server.  Queue up process spawning
for long-running responses and serve them sequentially, instead.

http: fix various race conditions

We no longer override Danga::Socket::event_write and instead
re-enable reads by queuing up another callback in the $close
response callback.  This is necessary because event_write may not be
completely done writing a response, only the existing buffered data.

Furthermore, the {closed} field can almost be set at any time when
writing, so we must check it before acting on pipelined requests as
well as during write callbacks in more().

standardize timer-related event-loop code

Standardize the code we have in place to avoid creating too many
timer objects.  We do not need exact timers for things that don't
need to be run ASAP, so we can play things fast and loose to avoid
wasting power with unnecessary wakeups.

We only need two classes of timers:

* asap - run this on the next loop tick, after operating on
  @Danga::Socket::ToClose to close remaining sockets

* later - run at some point in the future.  It could be as
  soon as immediately (like "asap"), and as late as 60s into
  the future.

In the future, we support an "emergency" switch to fire "later"
timers immediately.

http: avoid uninitialized variable

Oops, really gotta start checking logs in tests :x

Fixes: bb38f0fcce739 ("http: chunk in the server, not middleware")

http: chunk in the server, not middleware

Since PSGI does not require Transfer-Encoding: chunked or
Content-Length, we cannot expect random apps we host to chunk
their responses.

Thus, to improve interoperability, chunk at the HTTP layer like
other PSGI servers do.  I'm chosing a more syscall-intensive method
(via multiple send(...MSG_MORE) for now to reduce copy + packet
overhead.

git-http-backend: refactor to support cleanup

We will have clients dropping connections during long clone
and fetch operations; so do not retain references holding
backend processes once we detect a client has dropped.

git-http-backend: avoid Plack::Request parsing body

Only check query parameters since there's no useful body
in there.

TODO: update linkification notes

Some readers will want to use "HTTPS Everywhere" conveniently;
and I will support it.

git-http-backend: cleanup vestigial the process limiter code

This bit is still being redone to support gigantic repos.

config: use popen_rd when spawning `git config'

We may spawn this in a large server process, so be sure
to take advantage of the optional vfork() support when
for folks who set PERL_INLINE_DIRECTORY.

t/config.t: remove GIT_DIR usage in test

Followup-to: commit 24e0219f364ed402f9136227756e0f196dc651aa
("remove GIT_DIR env usage in favor of --git-dir")

daemon: ignore SIGWINCH when connected to terminal

Users may change terminal sizes if the process is connected to a
terminal, so we can't reasonably expect SIGWINCH to work as
intended.

spawn: note we do not use absolute paths within our code

We can't rely on absolute paths when installed on other
systems.

Unfortunately, mlmmj-* requires them, but none of the core
code will use it.

www: avoid warnings on bad offsets for Xapian

The offset argument must be an integer for Xapian,
however users (or bots) type the darndest things.

AFAIK this has no security implications besides triggering
a warning (which could lead to out-of-space-errors)

git-http-backend: switch to async_pass

This simplifies the code somewhat; but it could probably
still be made simpler.  It will need to support command
queueing for expensive commands so expensive processes
can be queued up.

http: rework async_pass support

Unfortunately, the original design did not work because
middleware can wrap the response body and make `async_pass'
invisible to HTTP.pm

git-http-backend: simplify dumb serving

We can rely entirely on getline + close callbacks
and be compatible with 100% of PSGI servers.

git-http-backend: remove process limit

We will figure out a different way to avoid overloading...

t/spawn.t: additional tests for popen_rd

We need to ensure $? is set properly for users.

http: pass reference to Danga::Socket::write

This can avoid an expensive copy for big strings.

http: fix typo: write_buf => write_buf_size

Otherwise, we get deep recursion as we keep calling
recursively on giant responses

http: async getline supports push_back_read

Sometimes we need to read something to ensure it's a successful
response.

http: support async_pass for Danga::Socket

This will allow us to minimize buffering after we wait
(possibly a long time) for readability.  This also greatly
reduces the amount of Danga::Socket-specific knowledge we
have in our PSGI code, making it easier for others to
understand.

import: avoid needless git update-server-info

We don't need to update-server-info (or read-tree) if fast
import was spawned for removals and no changes were made.

daemon: simplify forking

We shouldn't need sigprocmask unless we're running multiple
native threads or using vfork, neither of which is the case,
here.

localize $/ in more places to avoid potential problems

This hopefully makes the intent of the code clearer, too.
The the HTTP use of the numeric reference for getline
caused problems in Git.pm, already.

unsubscribe: prevent decrypt from showing random crap

Wow, I don't know crypto at all.

examples/unsubscribe-psgi@.service: disable worker processes

This unsubscribe PSGI endpoint should never incur enough load to
justify using multiple worker processes.  If it's unstable and
crashes, systemd can automatically restart it.

unsubscribe: bad URL fixup

Fixup a comment about s/query string/PATH_INFO/ while
we're at it, as pre-published versions of this used
query strings before I determined it could be harder
to copy+paste URLs with query parameters in them.

mbox: switch generation over to pull model

This allows us to easily provide gigantic inboxes
with proper backpressure handling for slow clients.

It also eliminates public-inbox-httpd and Danga::Socket-specific
knowledge from this class, making it easier to follow for
those used to generic PSGI applications.

http: reduce over-buffering for getline responses

By switching to a "pull"-based I/O model for reading
application responses, we should be able to throttle
buffering to slow clients more effectively and avoid
wasting precious RAM.

This will also allow us to more Danga::Socket-specific
knowledge out of the PSGI application and keep it
confined to PublicInbox::HTTP.

ssoma-replay: use TMPDIR for temporary path

Otherwise, tempfile() will use the current working directory,
which may not be writable.

unsubscribe: get off mah lawn^H^H^Hist

While public-inbox is intended primarily for archival,
SMTP list subscriptions are still in use in most places
and users are likely to want a good unsubscribe mechanism.

HTTP (or HTTPS) links in the List-Unsubscribe header are
often preferable since some users may use an incorrect
email address for mailto: links.

Thus, it is useful to provide an example which generates an
HTTPS link for users to click on.  The default .psgi requires
a POST confirmation (as destructive actions with GET are
considered bad practice).  However, the "confirm" parameter
may be disabled for a true "one-click" unsubscribe.

The generated URLs are hopefully short enough and both shell
and highlighting-friendly to reduce copy+paste errors.

www: tighten up allowable filenames for attachments

Having a file start with '.' or '-' can be confusing
and for users, so do not allow it.

view: reduce clutter for attachments w/o description

For attachments without a filename or description, reduce
the amount of precious screen space required to display
a link to it.

www: validate and check filenames in URLs

We shall ensure links continue working for this.

msg_iter: workaround broken Email::MIME versions

Email::MIME >= 1.923 and < 1.935 would drop too many newlines
in attachments.  This would lead to ugly text files without
a proper trailing newline if using quoted-printable, 7bit, or
8bit.  Attachments encoded with base64 were not affected.

These versions of Email::MIME are widely available in Debian 8
(Jessie) and even Ubuntu LTS distros so we will need to support
this workaround for a while.

www: support downloading attachments

This can be useful for lists where the convention is to
attach (rather than inline) patches into the message body.

switch read-only uses of walk_parts to msg_iter

msg_iter lets us know the index of the attachment,
allow us to make more sensible labels and in a future
commit, hyperlinks to download attachments.

msg_iter: new internal API for iterating through MIME

Unlike Email::MIME::walk_parts, this is non-recursive and gives
depth + index offset information about the part for creating
links for later retrieval

It is intended for read-only access and changes are not
propagated to the parent; however future versions of it
may clobber bodies or the original version as it iterates
to reduce memory overhead.

It is intended for making it easy to locate attachments within a
message in the WWW view.

view: rely on Email::MIME::body_str for decoding

Or is it "encoding"?  Gah, Perl character set handling
confuses me no matter how many times I RTFM :<

This contains placeholders for attachment downloading
which will be in a future commit.

nntpd: avoid uninitialized warning

Oops, but at least it was mostly harmless, just ugly.

Followup-to: 9bfe40e7a4ac 'nntp: use "newsgroup" instead of "name"''

nntpd: reject control characters entirely

There's no place for them in the commands and we don't take
messages; potentially printing them into a log opened in a
terminal is too dangerous.

Hoist out read_til_dot in the test while we're at it.

tests: add check-www-inbox script

This can be useful for hammering a live HTTP server
with requests to ensure it does not fall over under
load.

view: avoid redirect to reply endpoint

Oops, but perhaps the "reply" endpoint should be embedded
into the permalink message view itself to reduce URLs.

feed: inline feed entry generation

Remove unnecessary wrapper subroutines and constants
which are only used once.

http: release resources when idle

This lets us release old git processes so unlinked packs
(leftover from repacking) can be released.  This may also
be helpful for Xapian as indices get rebuilt for tuning.

For SQLite (msgmap), the there may be no benefit besides
reducing FD pressure.

Followup changes will unify the Inbox and NewsGroup
classes and allow better code-sharing between NNTP and
HTTP classes (as well as the planned POP3 class).

view: escape Message-ID for "next" link

Oops, we need to escape Message-IDs since they can contain
bad characters such as '%' in them.  '@' actually seems fine
and does not need to be escaped; however, but we've been
doing it forever.

www: fix for running under mount paths

We try to avoid issues like these by using relative URLs
in hrefs, but we can't avoid the problem with Location:
for redirects and Atom feeds which are likely to be
rehosted elsewhere.

We also reorder some of the code to work around a weird
issue on the psgi-plack mailing list:
<20160516073750.GA11931@dcvr.yhbt.net>
(Somewhere on https://groups.google.com/group/psgi-plack
 but it's probably not bookmarkable)

config: allow taking an existing reference

This should make creating test cases easier and faster.

declare Inbox object for reusability

From the beginning, we've avoided objects here in favor
of faster startup time; but it may not be worth it
since a persistent httpd/nntpd is faster and -mda
isn't hit as often.

doc: sync ~/.spamassassin/user_prefs with my prod machine

This is what I'm running on public-inbox.org as of today.

mbox: support /$INBOX/all.mbox.gz endpoint

Allows easily downloading the entire archive without
special tools.  In any case, it's not yet advertised to via
HTML until we can test it better.  It'll also support range
queries in the future to avoid wasting bandwidth.

mbox: consistent header order when decompressed

This should make validating the output easier
when testing between different servers.