www: redefinable project name and URL

This should make it easier for folks to run their own forks.

www: a note .onion URLs require the usage of Tor

Not everybody knows what .onion URLs are, so refer them to Tor.

view: split up --cc args for git-send-email

Having long Cc: lines is inevitable for large threads
with many participants, and git-send-email only gained
the ability to recognize ',' in the "--cc" arg recently
with the release of git v2.6.0 in September 2015.

www: label sections and hopefully improve navigation

Clearly label "Thread overview" and "Reply instructions"
so users can quickly skip stuff they're not interested in.

Additionally, note the fact the thread view allows quick
navigation within the thread to avoid extra network requests
and improve the display for single-message threads.

Finally, use <hr> to better-delineate sections of each page.

extmsg: favor user-provided URL on partial matches

While an inbox may have multiple URLs, we will favor
the existing URL for the current inbox on partial matches
to avoid confusing users or slowing them down by requiring
a new TCP connection.

view: conditionally anchor to thread skeleton

We only care about the thread skeleton if we have
multiple messages in a thread, single message threads
can just go to the top of the message.

INSTALL: postfix and spamassassin are optional for HTTP mirrors

Not everybody needs to run an -mda or -watch

view: add "infourl" for reply information

view: show most recently updated topics, first

This probably makes the most sense as it's structured like
a changelog.

view: improve grouping for topic view

This reduces the amount of mbox/Atom links while keeping
better track of overall thread count.  We no longer loop
to fill up slots to simplify the code a bit and hopefully
get better grouping.

httpd/async: reinstate D::S timer usage for cleanup

EvCleanup::asap events are not guaranteed to run after
Danga::Socket closes sockets at the event loop.  Thus we
must use slower Danga::Socket timers which are guaranteed
to run at the end of the event loop.

httpd/async: do not attempt future writes on closed sockets

Danga::Socket::close does not clear the write_buf_size field,
so it's conceivable we could attempt to queue up data and
callbacks we can never flush out.

www: add configurable limiters

Currently only for git-http-backend use, this allows limiting
the number of spawned processes per-inbox or by group, if there
are multiple large inboxes amidst a sea of small ones.

For example, a "big" repo limiter could be used for big inboxes:
which would be shared between multiple repos:

[limiter "big"]
max = 4
[publicinbox "git"]
address = git@vger.kernel.org
mainrepo = /path/to/git.git
; shared limiter with giant:
httpbackendmax = big
[publicinbox "giant"]
address = giant@project.org
mainrepo = /path/to/giant.git
; shared limiter with git:
httpbackendmax = big

; This is a tiny inbox, use the default limiter with 32 slots:
[publicinbox "meta"]
address = meta@public-inbox.org
mainrepo = /path/to/meta.git

qspawn: allow configurable limiters

And bump the default limit to 32 so we match git-daemon
behavior.  This shall allow us to configure different levels
of concurrency for different repositories and prevent clones
of giant repos from stalling service to small repos.

cleanup some unnecessary use/requires

Hopefully this can reduce memory overhead for people that
use one-shot CGI.

feed: remove dead code and unneeded use

We've cleaned up our code in recent days and WwwStream
provides a consistent header for our HTML pages.

www: cleanup parameter passing

Reduce the size of hashes a bit and drops some unneeded hash
lookups for uncommon paths.

www: drop unused constants

We no longer generate our footer, here.  We are not currently
advertising ssoma, here.

nntp: return if a client drops on us

Danga::Socket::write will set the closed flag on a socket,
automatically, and we do not need to bring down an entire
server when one client breaks the connection :P

examples: add logrotate sample to show USR1 reopening

Same as nginx :>

examples: minimize differences for systemd examples

Our nntpd and httpd are similar so configuration differences
should be minimized

http: drop extra newline in error message

We already add the extra newline when we call print.

http: additional info for write failures

There was a spurious test failure in t/httpd-corner.t
which I have not been able to reproduce.

nntpd: avoid exiting subroutine via next

Fixes: 33cef7f24d3d ("config: introduce each_inbox for iteration")

view: per-message view links to real previous sibling

This is closer to the behavior of thread-aware MUAs.

view: preserve attribution for current message

It should be harmless if the "[this message]" text goes past
the boundary as we bold the entire line to make it stand out.

view: reduce visual noise in conversation view

No need for ' / ' delimiters on lines dedicated for hyperlinks.

www: remove old footer generation code and normalize new.html

We now generate all of our HTML using WwwStream which
forces us to have consistent headers and footers in
the HTML itself.

This also makes the search-capable vs search-less installs
go to the new.html endpoint to maintain consistency
(in case an admin decides to enable Xapian).

inbox: cleanup and consolidate object weakening

This fixes some layering violations and consolidates
the cleanup into the inbox object itself.  Keeping in
mind weakening does not work at all without our PSGI
server.

t/git-http-backend: check BSD::Resource availability

We should not fail tests when this is not available.

githttpbackend: avoid intermediate array creation from stat

No need to keep an extra array around for this.

feed: fix links to attachments in Atom feed

Oops...

www: use HTML <hr> instead of XHTML <hr />

We only need XHTML-compatibility inside Atom feeds, as
anecdotally, feed readers are stricter than normal browsers and
some do not support HTML, only XHTML.  So we will continue to
accomodate them.  However we favor HTML elsewhere since it
tends to be smaller than the equivalent well-formed XHTML.

view: fix double-escaping of ghost links

Oops :x

extmsg: switch to wwwstream for partial match, too

Another step towards a consistent WWW UI...

extmsg: disable automatic inbox switching

Automatic inbox switching was a potentially deceptive pattern
and surprises readers who do not check the URL bar closely.
Furthermore, a message could be cross-posted to multiple lists,
too.

wwwstream: allow undef noop callback

This can be use to specify a small response using -html_tip.

address: attempt to handle comments somewhat

They're uncommon, fortunately, but we make no attempt to
handle nested comments (which would open us up to things
like CVE-2015-7686) or use the comment in place of a
missing name.

hval: get rid of unused parameter for new_msgid

Exposing compressed Message-IDs in URLs was a mistake,
remove a remnant of it.

daemon: disable USR2/TTIN/TTOU/WINCH in workers

If using a master/worker setup, a careless user could be trying
to signal all processes using "killall".  This may trigger bad
side-effects; but try to limit the side-effects as much as
possible.

scripts/dc-dlvr: ensure temporary files are removed

Oops :x

examples/varnish-4.vcl: comments and tweaks

Document and simplify things a bit.  The major functional change
is we no longer waste space caching objects from dumb HTTP
clones.

examples: remove X-Forwarded-For mentions

We don't need to care about client IPs anywhere.

view: remove self-linkification in thread views

There is no point for diverting readers' attention with
an unnecessary link, here.

githttpbackend: match Content-Type of git-http-backend(1)

This will allow cache proxies such as Varnish to avoid
caching data sent by us.

wwwstream: wording/grammar tweaks in trailer

git.git documentation uses "clonable" so that's probably
a better term than "clone-able".  Also, shorten the section
for retrieving our code and remove an obvious typo.

nntp: respect 3 minute idle time for shutdown

This avoids breaking clients on graceful shutdown since
NNTP responses should usually be quick.

nntp: simplify update_idle_time

This ought to make things easier when we add TLS support.

config: introduce each_inbox for iteration

This fills in the internal lookup hashes and simplifies
callers.

linkify: allow '!' in URLs

GoogleGroups URLs often contain '!' in them

www: remove Plack::Request dependency entirely

Lighter and ever-so-slightly faster!

Most importantly, this won't do non-obvious stuff behind our
backs like trying to parse a POST request body for a query
string param.

view: rely on internal query parser for 'o' param

Plack::Request will check the request body by merely
calling "param", totally unnecessary and sneaky.

www: use PSGI env directly

More work on on the Plack::Request/CGI.pm removal front,
No need to access the PSGI env through an extra hash lookup.

extmsg: rework to use Inbox objects

This is less code and hopefully easier-to-understand.

inbox: base_url method takes PSGI env hashref instead

This is lighter and we can work further towards eliminating
our Plack::Request dependency entirely.

TODO: clarify streaming Email::MIME replacement

I bet there's a billion other improvements to be made elsewhere.

MANIFEST: update with new varnish-4 vcl example

examples: add varnish-4.vcl

Well, I'm fumbling along with this config.  Might as well
fumble along with it publically :)

TODO: update documentation for performance items

view: avoid redundant trailing slash for In-Reply-To

Oops, fortunately this branch is only exposed to non-Xapian
users, right now.

address: filter out domain from address-as-name idents

It seems common for address entries to end up as:
"foo@example" <foo@example>

Avoid needlessly displaying the domain name in that case.

examples/README: update URL to point to our HTTPS backend

It's browseable, too!

t/watch_maildir: quiet down spam check warning

Probably better than bloating our own API with configurable
warning streams and such...

www_stream: fix stupid typo :x

Note to self: remember to run tests

Fixes: 52052329aced ("git: allow cloning from the URL root, too")

git: allow cloning from the URL root, too

This means we can still show non-git users a somewhat browseable
URL with a link to the README.html file while allowing git users
to type less when cloning.

All of the following are supported:

git clone https://public-inbox.org/ public-inbox
git clone https://public-inbox.org/public-inbox
git clone https://public-inbox.org/public-inbox.git
torsocks git clone http://ou63pmih66umazou.onion/public-inbox

update git repo location to https:// using GitHTTPBackend.pm

Might as well eat our own dogfood...

githttpbackend: allow git to be a regular scalar string

No point in forcing users to pass a hashref/object to
get a single git directory.

searchview: add missing newline in search results

Hrm... is there a more obvious way to do an internal API for
this while still being streamable?

www_stream: fix search for new.html endpoint

We want to avoid the bare './' wherever possible, but it
doesn't seem possible here.

view: fix permalink and raw links at the top

Oops :x  I really need to whip check-inbox.perl into
shape or at least start running it, again.

Fixes: e29518088b3f ("view: fix up some HTML injection via Message-ID vectors")

view: move per-message anchor to top in conversation view

This fixes the '^' (up) link in the $INBOX/new.html endpoint
for search-less displays.

searchview: show result count in thread index, for now

I'm not sure what to show here, actually; but it's better
than triggering an uninitialized variable warning.

view: reference posting style article on Wikipedia

Storage is precious when it is forever and distributed.

And public-inbox aims to not only end Eternal September(*),
but to build a world less-centralized than Usenet ever was:
forkable discussion groups

(*) https://en.wikipedia.org/wiki/Eternal_September

view: improve readability of msg_reply with here-doc

This should make formatting more apparent since we can rely
on <pre> semantics.

www_stream: add response wrapper sub

This encapsulates an entire PSGI response array, hopefully
making it easier to generate responses and avoid typos when
setting the Content-Type.

view: fixup bad reference to new_msgid

Oops, this endpoint needs testing :x

Merge branch 'thread-view-skel'

* thread-view-skel:
  view: show thread size when linking to summary
  view: default to flat/hybrid thread display
  view: fix up some HTML injection via Message-ID vectors
  www: reinstate old thread view as an option
  view: show more nearby messages in flat thread view
  view: tweak thread/index header slightly
  feed: add $INBOX/new.html endpoint
  view: merge $state hash with existing $ctx
  view: show thread context in the thread-aware flat view
  www: use WwwStream for dumping thread and search views
  www: implement hybrid flat+thread conversation view

view: show thread size when linking to summary

This should give readers a better idea of what to expect.

view: default to flat/hybrid thread display

This is friendlier for people on small screens and usually
eliminates the need to scroll horizontally.

view: fix up some HTML injection via Message-ID vectors

Oops, these were only introduced during the hybrid flat thread
view reworking and never deployed.

www: reinstate old thread view as an option

This hybrid view is better than the old flat, but can
still fall down compared to the old threaded view in
some cases.

Revert "view: update git-send-email URL"

This reverts commit a391cf5aaf7181b5e5e20eb240c7ce50cbdf8fa2
as kernel.org is updating again.  Ref:
http://mid.gmane.org/xmqqpor18a2n.fsf@gitster.mtv.corp.google.com

view: show more nearby messages in flat thread view

Context is important, but so is conserving precious screen
space.  Decisions :<

view: tweak thread/index header slightly

This makes the top permalink/raw as well as the In-Reply-To
show up without search.  While we're at it, try to make
the links on the thread index from the "X siblings, Y replies"
more obvious.

feed: add $INBOX/new.html endpoint

This acts like the Atom feed; but should be viewable directly
from browsers.

view: merge $state hash with existing $ctx

This reduces the level of indirection to reach certain objects
within the hash and there are no namespace or lifetime conflicts
anyways.

view: show thread context in the thread-aware flat view

This lets user have a small window of the context of
the current message relative to other threads.

www: use WwwStream for dumping thread and search views

This allows us the HTTP server to react to backpressure
from slow clients when writing.  As a side effect, this
also makes it easier for us to maintain a consistent
header/footer across our HTML.

www: implement hybrid flat+thread conversation view

This should be more accessible to readers on narrow terminals
(or giant fonts) while providing a chronological view which
is also aware of message threading relationships.

view: HTML escape mailto: link

Oops, we cannot have bare '&' in mailto: links, either.

view: attribute in parent link for permalink message

Oops, but apparently this does not trigger errors?

inbox: avoid trying s// on undef

Oops, I guess I'm trigger-happy today.

Fixes: 31a6ff1221fe ("inbox: ensure we do not show leading "From " lines")

inbox: ensure we do not show leading "From " lines

Some messages will be misimported due to an old bug,
clean them up and ensure we do not propagate the mistake.

Followup-to: a0c07cba0e5d ("mda: drop leading "From " lines again")

mda: drop leading "From " lines again

Oops...

While we're at it, drop blank lines before the "From ", too,
since it could happen.

spamcheck/spamc: fix compatibility with Perl 5.14.2

This is necessary for Debian 7.x (wheezy), since
GLOB objects do not seem responsive to the can("fileno")
check (we do a similar check in GitHTTPBackend).

watch_maildir: warn on spam check failures

It would be nice to know about spamcheck failures.

www: unescape '+' in query parameter to space

Fixes: fbcb7de93884b ("www: remove a few more Plack::Request dependencies")

TODO: add a few Xapian-related items

"git cat-file --batch" seems expensive for big repos and
loading 70K+ tree objects in git isn't all that fast.

Ideas are cheap, time, code, and testing are not :P

www_stream: linkify cloneurl entries if they're HTTP/HTTPS

They may be other public-inbox instances which are browseable,
so provide a link to them to encourage their use as clones.

view: safer and optional quoting for --in-reply-to arg

Angle brackets around the --in-reply-to= arg for git send-email
has been optional since git v1.5.3.2, so strip them and make the
command-line argument easier-to-type.