Makefile.PL: add test scripts to syntax checks

I make syntax errors all the time :x

t/www_listing: favor HTTP::Tiny over Net::HTTP

More testers are likely to have HTTP::Tiny than Net::HTTP, since
HTTP::Tiny is a dual-life module and distributed with Perl since
Perl 5.14 (2011-05-14), whereas Net::HTTP will likely live in
a separate package forever.

edit: fix portability of editor invocation

The eval was unnecessary, and $0 can't be "--".
Tested with /bin/sh on FreeBSD 11.2

Merge remote-tracking branch 'origin/reshard' into next

* origin/reshard:
  xcpdb: support resharding v2 repos
  xcpdb: use destination shard as progress prefix
  xapcmd: preserve indexlevel based on the destination
  v2writable: use a smaller default for Xapian partitions

Merge remote-tracking branch 'origin/manifest' into next

* origin/manifest:
  git: ensure ->modified returns an integer
  www: support $INBOX/git/$EPOCH.git for v2 cloning
  www: wire up /$INBOX/manifest.js.gz, too
  wwwlisting: generate grokmirror-compatible manifest.js.gz
  wwwlisting: allow hiding entries from manifest

Merge remote-tracking branch 'origin/edit' into next

* origin/edit:
  edit: unlink temporary file when done
  v2writable: replace: kill git processes before reindexing
  edit: drop unwanted headers before noop check
  edit|purge: improve output on rewrites
  edit: new tool to perform edits
  doc: document the --prune option for -index
  admin: expose ->config
  AdminEdit: move editability checks from -purge
  admin: beef up resolve_inboxes to handle purge options
  purge: start moving common options to AdminEdit module
  admin: remove warning arg for unconfigured inboxes
  v2writable: implement ->replace call
  import: switch to "replace_oids" interface for purge
  import: extract_author_info becomes extract_commit_info
  v2writable: consolidate overview and indexing call

xcpdb: support resharding v2 repos

v2 repos are sometimes created on machines where CPU
parallelization exceeds the capability of the storage devices.

In that case, users may reshard the Xapian DB to any smaller,
positive integer to avoid excessive overhead and contention when
bottlenecked by slow storage.

Resharding can also be used to increase shard count after
hardware upgrades.

xcpdb: use destination shard as progress prefix

For M:N resharding, we'll want to display the number from
the new shard number.

xapcmd: preserve indexlevel based on the destination

To support M:N resharding, we need to ensure we store the
indexlevel in the destination shard, rather than the
originating one.

v2writable: use a smaller default for Xapian partitions

Apparently 16 CPUs (probably HT) and SATA storage is common
these days.  Having excessive Xapian partitions leads to
contention and excessive FD/space use.  So set a smaller
default but continue allowing user-specified values to bump
this up.

git: remove cat_file sub callback interface

We weren't using it, and in retrospect, it makes no sense to use
this API cat_file for giant responses which can't read quickly
with minimal context-switching (or sanely fit into memory for
Email::Simple/Email::MIME).

For giant blobs which we don't want slurped in memory, we'll
spawn a short-lived git-cat-file process like we do in ViewVCS.

Otherwise, monopolizing a git-cat-file process for a giant
blob is harmful to other PSGI/NNTP users.

A better interface is coming which will be more suitable for
for batch processing of "small" objects such as commits and
email blobs.

nntp: filter out duplicate Message-IDs for leafnode

It's the unfortunate reality that there are some clients which
reuse Message-IDs (in which we generate + use another) or set
multiple Message-IDs on their own.  While the v2 format
addresses that, NNTP clients such as leafnode are not always
prepared to deal with that case.

So, ensure NNTP clients only see a single Message-ID, and
show the others as 'X-Alt-Message-ID'.

nntp: ensure Message-ID is not folded for leafnode

Leafnode cannot handle Message-ID headers which are too long and
require folding via Email::Simple::Header.  Since there are
already many of these messages in git with the header already
folded, we need to handle the unfolding when emitting the
message via NNTP.

As far as we know, Leafnode is the only client software
incapable of handling this case.

nntp: add Path: header for leafnode

Apparently leafnode just needs any junk in the Path: header.
Lets not waste bandwidth and just use a single byte to keep
leafnode happy.

Cc: Dave Taht <dave@taht.net>

Makefile.PL: "dsyn" target to check syntax of changed files

We have lots of files and syntax-checking every single one of
them is slow.  Enable "perl -w" in the existing syntax check
while we're at it.

doc: update dependencies for CentOS 7.x

Digest::SHA is the most notable missing package at runtime
for a minimal system.

Tests don't run at all without Test::Simple (or Test::More).
Plack::Test is also a separate package, too...

Also, the package for IO::Compress::Gzip should be IO::Compress;
as perl-PerlIO-gzip is a different thing entirely which is not
relevant to our needs.

Test::HTTP::Server::Simple doesn't seem required at all for Plack
tests.

ExtUtils::MakeMaker needs to be documented as a install dependency
for people installing this, too; since AFAIK public-inbox is not
yet in any distros.

t/common.perl: fix error message for git requirements

And enable strict + warnings in the scope of t/common.perl, too.

searchmsg: remove unused ->get subroutine

It's obsolete and unusable since our search schema version 15;
which made the Xapian document ID correspond to the NNTP article
number.

searchidx: improve error message when Xapian fails

Make it easier to detect if a partition is corrupt.

edit: unlink temporary file when done

We don't need to leave temporary files lying around.

v2writable: replace: kill git processes before reindexing

Xapian on Linux <3.15 has trouble with coprocesses since it used
fork() for locking and would hold onto pipes used for git
unnecessarily.

edit: drop unwanted headers before noop check

mutt will set Content-Length, Lines, and Status headers
unconditionally, so we need to account for that before
doing header comparisons to avoid making expensive changes
when noop edits are made.

edit|purge: improve output on rewrites

Fill in undef as "(unchanged)" when displaying commits
and prefix the epoch name.

git: ensure ->modified returns an integer

We don't want to serialize timestamps as strings to JSON.
I only noticed this bug on a 32-bit system.

doc: index.pod: fix mismatched =back

doc: generate manpage and HTML from -convert POD

It's been written for over a year, but I forgot to include
it in the build so it did not get installed or put on the site.

doc: clean-doc target removes *.8 manpages

edit: new tool to perform edits

This wrapper around V2Writable->replace provides a user-interface
for editing messages as single-message mboxes (or the raw text
via $EDITOR).

doc: document the --prune option for -index

We've had it around for a while, but I forgot to document it :x

admin: expose ->config

No point in forcing admin programs to reparse the config
themselves; and we won't support multiple instances of it;
unlike the WWW code.

AdminEdit: move editability checks from -purge

We'll be reusing the same logic for -edit

admin: beef up resolve_inboxes to handle purge options

We'll be using this in -edit, and maybe other admin-oriented
tools for UI-consistency.

purge: start moving common options to AdminEdit module

Editing and purging are similar operations involving history
rewrites, so there'll be common options and code between them.

admin: remove warning arg for unconfigured inboxes

We no longer make -index warn on it, no other code uses it;
and working on unconfigured inboxes is totally reasonable
for admins who are setting things up.

v2writable: implement ->replace call

Much of the existing purge code is repurposed to a general
"replace" functionality.

->purge is simpler because it can just drop the information.
Unlike ->purge, ->replace needs to edit existing git commits (in
case of From: and Subject: headers) and reindex the modified
message.

We currently disallow editing of References:, In-Reply-To: and
Message-ID headers because it can cause bad side effects with
our threading (and our lack of rethreading support to deal with
excessive matching from incorrect/invalid References).

import: switch to "replace_oids" interface for purge

Continuing the work by Eric Biederman in commit a118d58a402bd31b
("Import.pm: When purging replace a purged file with a zero length file"),
we can use a generic OID replacement mechanism to implement
purge.

import: extract_author_info becomes extract_commit_info

We will be reusing the same logic for extracting all
the authorship and commit title logic for edits; so
put it all into one sub.

v2writable: consolidate overview and indexing call

It's one ugly sub with lots of parameters, but it's better
than calling a bunch of ugly subs with lots of parameters;
as we'll be needing to call it again when reindexing for
message replacements.

www: support $INBOX/git/$EPOCH.git for v2 cloning

And use it in manifest.js.

To ease maintaining mirrors with grokmirror(1), we can accept
a "git/" directory prefix before the epoch, and ".git" suffix
after the epoch number.

We maintain compatibility with "$INBOX/$EPOCH" cloning, of
course, and it's still easier-to-type on the command-line.

www: wire up /$INBOX/manifest.js.gz, too

I can imagine myself just wanting to clone a single v2 inbox
and all its epochs without thinking about include/exclude
rules in a grokmirror config file.

wwwlisting: generate grokmirror-compatible manifest.js.gz

Support on-demand generation of "/manifest.js.gz" for inboxes.
By default, this matches inboxes with URLs matching the given
request hostname by default.

This makes it easier to create full mirrors of several inboxes
without needing to configure static file serving.

cf. https://git.kernel.org/pub/scm/utils/grokmirror/grokmirror.git

wwwlisting: allow hiding entries from manifest

Since we already have a mechanism for hiding repositories from
the WWW listing, we might as well support another one for hiding
repositories from the upcoming manifest.js.gz generation.

scripts: add README to describe its purpose

Well, it could probably be moved to contrib...

scripts: require ASCII digits in a few places

I haven't touched most these scripts in ages, but we might as well
purge \d usage from here, as well.

tighten up digit matches to ASCII for git output

While I don't expect git to suddenly start spewing non-ASCII
digits in places I'd expect ASCII, this would make things easier
for future hackers and reviewers.

t: avoid "subtest" for Perl 5.10.1 compatibility

The version of Test::More from Perl 5.10.1 did not support
"subtest", and the earliest version which did is Perl 5.12.0

The good news is this gives me an excuse to parallelize
the indexlevels-mirror test by splitting it into two.
(it could be further split, even).

Update t/nntpd. to use PI_TEST_VERSION consistently while
we're at it.

Merge branch 'charclass'

* charclass: (24 commits)
  www: require ASCII word characters for CSS filenames
  www: require ASCII range for mbox downloads
  githttpbackend: require ASCII in path
  require ASCII digits for local FS items
  www: require ASCII digit for git epoch
  solver|viewdiff: restrict digit matches to ASCII
  inbox: require ASCII digits for feedmax var
  filter/rubylang: require ASCII digit for mailcount
  msgtime: require ASCII digits for parsing dates
  searchview: do not allow non-ASCII offsets and limits
  githttpbackend: require Range:, Status: to be ASCII digits
  view: require YYYYmmDD(HHMMSS) timestamps to be ASCII
  newswww: only accept ASCII digits as article numbers
  config: do not accept non-ASCII digits in cgitrc params
  www: require ASCII filenames in git blob downloads
  www: only emit ASCII chars in attachment filenames
  wwwattach: only pass the charset through if ASCII
  wwwlisting: require ASCII digit for port number
  http: require SERVER_PORT to be ASCII digit
  feed: only accept ASCII digits for ref~$N
  ...

MANIFEST: add examples/nginx_proxy

examples: add sample nginx configuration

The sample configuration can be used to proxy-pass requests
to public-inbox-httpd or to a standalone PSGI/Plack server.

www: require ASCII word characters for CSS filenames

Allowing admins to set non-ASCII CSS filenames could
cause unnecessary problems for client and proxies.

www: require ASCII range for mbox downloads

We do not support many mboxrd download range specifications at
the moment; but parsing non-ASCII characters isn't planned.
This makes no difference aside from being able to return 404
slightly earlier than we would've in the past.

githttpbackend: require ASCII in path

We mainly support git-upload-pack; and maybe somebody uses
git-receive-pack with this.  Perhaps other (experimental)
command names are acceptable.  But it's unlikely anybody will
want Unicode command names for git services.

require ASCII digits for local FS items

In case some BOFH decides to randomly create directories
using non-ASCII digits all over the place.

www: require ASCII digit for git epoch

Don't inadvertantly serve git repos containing non-ASCII
digit characters.

solver|viewdiff: restrict digit matches to ASCII

git would not generate non-ASCII digits to describe
hunk offsets, so don't waste more time than necessary
to make sense of non-ASCII digit chars for line offsets.

inbox: require ASCII digits for feedmax var

Don't waste more cycles than necessary if somebody decides to
put non-ASCII digits in their ~/.public-inbox/config

filter/rubylang: require ASCII digit for mailcount

Unlikely to matter, but who knows...

msgtime: require ASCII digits for parsing dates

User input contains the darndest things.  Don't waste more time
than necessary trying to parse dates out of non-ASCII digits.

searchview: do not allow non-ASCII offsets and limits

Non-ASCII digits would be interpreted as zero when used as integers.

githttpbackend: require Range:, Status: to be ASCII digits

Non-ASCII digits would be interpreted as a zeroes as integers.

While we're at it, ensure the Status: code is an ASCII digit,
too; though I would not expect git-http-backend(1) or cgit(1)
start spewing non-ASCII digits at us.

view: require YYYYmmDD(HHMMSS) timestamps to be ASCII

Passing digits to `timegm' which it does not understand would
be a waste of time.

newswww: only accept ASCII digits as article numbers

Non-ASCII digits aren't specified in RFC3977 for article numbers;
so don't waste a trip to SQLite only to turn up empty.

config: do not accept non-ASCII digits in cgitrc params

cgit uses atoi(3), and now we can retain compatibility.

www: require ASCII filenames in git blob downloads

Our Hval::to_filename sub has always been strict about emitting
ASCII-only characters for ViewVCS "raw" links.

However, somebody could manually generate a filename with
non-ASCII words for somebody else to download (we have no
cheap and fast way of mapping filenames back to blobs for
validation).

www: only emit ASCII chars in attachment filenames

We don't want to emit funky URLs which can be lost in
translation or cause problems with non-Unicode-aware
clients.

Then, don't accept non-ASCII filenames in URLs, since
a manually-generated URL/filename in attachment downloads
could be used for Unicode homographs to confuse folks who
down the attachment.

wwwattach: only pass the charset through if ASCII

AFAIK all names of charsets are ASCII, so passing non-ASCII
characters from emails to clients would probably confuse clients.

wwwlisting: require ASCII digit for port number

We only care about the hostname portion for matching,
so this change is probably inconsequential.

http: require SERVER_PORT to be ASCII digit

I'm not sure what middlewares care for for SERVER_PORT; but
allowing non-ASCII digits seems non-sensical, here.

feed: only accept ASCII digits for ref~$N

We don't want to waste cycles passing non-ASCII characters
to git.

mid: id_compress requires ASCII-clean words

Its result is used for HTML anchors and such.

nntp: ensure we only handle ASCII whitespace

RFC3977 does not have provisions for whitespace beyond ASCII
TAB, SP, CR and LF.  I doubt there's any NNTP clients broken
enough to be sending non-ASCII whitespace delimiters.

We're probably excessively liberal regarding TAB acceptance,
even; but it's probably too late to change at this point...

nntp: be explicit about ASCII digit matches

We aren't able to make sense of non-ASCII digits

cf. perlrecharclass(1) / "Digits" section

linkify: support Internationalized Domain Names in URLs

The "\w" character class in Perl matches any word characters
in the Unicode database, not just ASCII characters.  So we
must be prepared for that and generate links to IDNs.

Merge remote-tracking branch 'origin/git-cleanup'

* origin/git-cleanup:
  git: drop the deleted err_c file
  git: unconditional expiry

Merge remote-tracking branch 'origin/ds'

* origin/ds:
  ds: remove PLCMap and per-socket PostLoopCallback
  ds: drop write_set_watch field
  ds: drop unused EVENT: label in epoll code path
  ds: drop checks for invalid descriptors
  ds: drop set_writer_func support
  ds: add a note about planned future changes
  ds: drop more unused subs

ds: remove PLCMap and per-socket PostLoopCallback

We don't need and won't be needing per-socket PostLoopCallbacks.

t/psgi_search.t: require DBD::SQLite

In case we encounter an odd system which has Search::Xapian
but not DBD::SQLite.

ds: drop write_set_watch field

We never enable write watches ourselves for HTTP and NNTP,
and only enable the write watch with EvCleanup because it's
an "always on" watch.

ds: drop unused EVENT: label in epoll code path

This was never used in Danga::Socket 1.61, either.

ds: drop checks for invalid descriptors

I've used Danga::Socket for well over a decade in various
projects at this point and have never seen the need for it.

If such a bug ever happens; the process should fall over so
it gets fixed ASAP.

ds: drop set_writer_func support

This is not used by perlbal for OpenSSL support, either;
and it does not appear to be the right layer for doing
write translations anyways (IO::Socket::SSL uses `tie').

ds: add a note about planned future changes

Sometimes I get bored with the email part of this project and
need a distraction :P

ds: drop more unused subs

ToClose and HaveEpoll are of no use to us and I see no
future use for them, either.

ds: fix and test for FD leaks with kqueue on ->Reset

Even though we currently don't use it repeatedly, ->Reset
should close() kqueue FDs and not cause the process to run
out of descriptors.

Add a close-on-exec test while we're at it.

doc/v2: note that Xapian is now optional in v2

This is true as of e220b8b2ee5cfd458167dc2c6c92726352c4c80e
("Merge remote-tracking branch 'origin/xap-optional' into master")

ds: set close-on-exec flag on epoll descriptors

We should not be leaking these FDs to git(1) processes,
in case git has a bug that causes it to access the wrong FD.

git: drop the deleted err_c file

No reason to leave that (usually) empty file open after killing off
"cat-file --batch-check".  This wasn't an unbound leak, though,
as respawning the --batch-check process would've clobbered the
old err_c file.

git: unconditional expiry

A constant stream of traffic to either httpd/nntpd would mean
git-cat-file processes never expire.  Things can go bad after a
full repack, as a full repack will unlink old pack indices and
git-cat-file does not currently detect unlinked files.

We could do something complicated by recursively stat-ing
objects/pack of every git directory and alternate;
but that's probably not worth the trouble compared to
occasionally restarting the cat-file process.

So simplify the code and let httpd/nntpd expire them
periodically, since spawning a "git-cat-file --batch" process
isn't too expensive.  We already spawn for every request which
hits git-http-backend, cgit, and git-apply.

In the future, we may optionally support the Git::Raw module
to avoid IPC; but we must remain careful to not leave lingering
FDs open to unlinked files after repack.

git: drop the deleted err_c file

No reason to leave that (usually) empty file open after killing off
"cat-file --batch-check".  This wasn't an unbound leak, though,
as respawning the --batch-check process would've clobbered the
old err_c file.

git: unconditional expiry

A constant stream of traffic to either httpd/nntpd would mean
git-cat-file processes never expire.  Things can go bad after a
full repack, as a full repack will unlink old pack indices and
git-cat-file does not currently detect unlinked files.

We could do something complicated by recursively stat-ing
objects/pack of every git directory and alternate;
but that's probably not worth the trouble compared to
occasionally restarting the cat-file process.

So simplify the code and let httpd/nntpd expire them
periodically, since spawning a "git-cat-file --batch" process
isn't too expensive.  We already spawn for every request which
hits git-http-backend, cgit, and git-apply.

In the future, we may optionally support the Git::Raw module
to avoid IPC; but we must remain careful to not leave lingering
FDs open to unlinked files after repack.

TODO: add item for optional Cache::FastMmap

Taking one step out of setting up a performant deployment could
make setup and administration easier (at the cost of installing
an extra-but-common XS module).  This can also be useful for
the day NNTP servers see hug-of-death events.

viewdiff: avoid repeat variable expansion

This is worth a 1-2% speedup in t/perf-msgview.t rendering 2620
messages currently in https://public-inbox.org/meta/

Merge remote-tracking branch 'origin/v2-noop-speedup'

* origin/v2-noop-speedup:
  v2writable: short-circuit is_ancestor check on equality
  v2writable: avoid mm_tmp creation without regen
  v2writable: hoist out index_epoch sub
  v2writable: split off unindex_range mapping

doc/hosted: drop some links and clarify wording

I don't have time to check and train spam for all these
projects.

Spam filtering is especially difficult on ruby-core: it
enters via Redmine, so it doesn't have a distinct Received:
chain, and also gets mixed with non-spam bug-report text,
throwing off Bayes training.

And I'm not sure if those mirrors did anybody any good, even;
so lets not say its' a "service" to anybody :P

The actual mirrors remain up, for now, but who knows...
I care about decentralization too much to ask anybody
to trust me to keep anything up :P

v2writable: short-circuit is_ancestor check on equality

We don't need to use git to check ancestry if object IDs
match on a string comparison.

This saves 100ms or so and brings down the ~0.5s no-op time on
lore.kernel.org/lkml down to ~0.4s.

v2writable: avoid mm_tmp creation without regen

Creating mm_tmp is an expensive operation with large inboxes
and can be avoided if there are no new messages to process.

Since git-fetch(1) currently lacks an --exit-code option(*),
mirrors will run `public-inbox-index' unconditionally after
fetch, which is an expensive op if it needs to duplicate
a large SQLite DB.

This speeds up the mirror case of:

git --git-dir=git/$EPOCH.git fetch && public-inbox-index

This reduces the no-op `public-inbox-index' time from over 8s to
~0.5s on a (currently) 7-epoch clone of https://lore.kernel.org/lkml/
on my system.

(*) WIP --exit-code for git-fetch:
    https://public-inbox.org/git/87ftphw7mv.fsf@evledraar.gmail.com/

v2writable: hoist out index_epoch sub

This will make future changes easier-to-follow.

v2writable: split off unindex_range mapping

It'll make it easier to detect if we have anything to
unindex and run git-log on, at all.

searchidx: store indexlevel=medium as metadata

And use it from Admin.

It's easy to tell what indexlevel=basic is from unconfigured
inboxes, but distinguishing between 'medium' and 'full' would
require stat()-ing position.* files which is fragile and
Xapian-implementation-dependent.

So use the metadata facility of Xapian and store it in the main
partition so Admin tools can deal better with unconfigured
inboxes copied using generic tools like cp(1) or rsync(1).

index: remove warning on unconfigured inboxes

It's annoying for people using "git fetch && public-inbox-index"
as one user; and running -httpd/-nntpd as a different user
(where users see different config files).