nntp: remove reference to non-existent function

Oops

nntp: implement idle time expiration

We don't want to waste precious server memory on clients which
have been idle for longer than 3 minutes.

filter: more consistent labeling of rejections

While we're at it, reject non-plain-text top-level messages,
too.  They probably do not exist in practice, but we cannot
afford to scrub given policies implemented by overzealous
mail providers.

While we're at it, update the comment for strip_multipart.

searchview: fix syntax error

Oops, I forgot to run the syntax check for this.

filter: do not strip Reply-To

It's often part of idiotic policies to prevent mailing lists
from working at all.

mda: keep DKIM crap

This is probably unsafe

view: correctly pick latest in index anchor links

The last message in a thread _display_ is not necessarily the
latest message in the thread.  We must go by the Date: header
on the messages themselves as a best-guess.  Of course Date:
headers may lie, but most mail clients trust them by default,
so we will, too.

README: document NNTP access

That's right, we now have our NNTP server running and are
self-hosting a read-only news gateway at:

nntp://news.public-inbox.org/inbox.comp.mail.public-inbox.meta

view: use '+' instead of '%20' to escape spaces in mailto:

'+' is more shoter and more readable in query parameters than '%20'

t/nntpd.t: additional tests for XHDR/HDR

More testing is good, especially since clients I use
don't implement all the commands.

t/nntpd.t: simplify condition for response termination

Multiline responses must end with "\r\n.\r\n", so we won't
break out early in case the OS doesn't support MSG_MORE.

nntp: implement OVER/XOVER summary in search document

The document data of a search message already contains a good chunk
of the information needed to respond to OVER/XOVER commands quickly.
Expand on that and use the document data to implement OVER/XOVER
quickly.

This adds a dependency on Xapian being available for nntpd usage,
but is probably alright since nntpd is esoteric enough that anybody
willing to run nntpd will also want search functionality offered
by Xapian.

This also speeds up XHDR/HDR with the To: and Cc: headers and
:bytes/:lines article metadata used by some clients for header
displays and marking messages as read/unread.

nntp: implement LIST HEADERS

We shall remove slow, unoptimized headers in XHDR/HDR to avoid
becoming an easy DoS target.

nntp: MODE READER denies posting

Redundantly confirm to clients we do not accept posting with the
MODE READER command.

ref: RFC 3977 5.3.1

INSTALL: document Danga::Socket dependency for nntpd

We don't have something like CGI or Plack to build an NNTP
server on top on, so we implemented one using Danga::Socket
for epoll/kqueue abstraction.

nntpd: avoid lazy require

We cannot avoid requiring ::Config, so do not hide it.

daemon: always autoflush stdout/stderr

Users may log output to a pipe, so ensure these outputs are
unbuffered in userspace and go to the operating system ASAP
for other processes to pick up.

remove unnecessary fields usage

It doesn't actually give performance improvements unless we
use types with "my", but we don't do that.  We'll only continue
using fields with Danga::Socket-derived classes where they're
required.

nntp: reduce syscalls for LIST OVERVIEW.FMT

No point in sending such a short, bounded response with
multiple syscalls.

nntp: HDR returns 225, not 224

This is stipulated by RFC 3977 8.5.1, but apparently I misread it.

search: remove get_subject_path

We probably won't be supporting this in the public API

daemon: fix various permissions + daemon issues

When using user-switching in a single process, we must be
careful to not inadvertantly create new Msgmap sqlite3 files.
We must also ensure we set proper permissions on any files
we create.

Additionally, our refactoring was broken as we failed to
actually daemonize or preserve the parent FD in a worker
process.

Finally, default to one worker process since our code may
be fatally broken and it's nice to be able to scale to multiple
cores via SIGTTIN if needed.

nntp: avoid signals for long responses

Using a signal-based timer can hurt throughput on a machine that's
overloaded.  Ensure there's always forward progress and reduce the
number of syscalls we make, too.

git: use fields for GitCatFile

Micro-optimization, but it make using Danga::Socket for watching
pipe readability easier at some point.

git: signal-safety for pipe writes

I've yet to hit it, but syswrite has chance of returning EINTR
on a blocking pipe.

nntp: prefix FD on every log line

This can help us track down what request patterns clients
will perform when we have multiple clients.

nntp: do not repeat result on blocked write

Oops, we must increment our range even if we yield or
get blocked on output buffering.

searchidx: remove unused sub: next_doc_id

It seems like it was never used

nntp: consistently use 501 for unsupported LIST

This is required by RFC 3977, section 3.2.1

nntp: HDR allows metadata prefixed with ':'

RFC 3977, section 8.5.2 states metadata lookups can be done
with HDR.

nntpd: hoist out daemon management code

We'll probably be supporting read-only IMAP, or maybe
we'll just implement a custom HTTP server so users can
manage/upgrade the same way as the nntpd while being
immune to slow clients.

nntpd: support SIGUSR2 in single-process mode, too

We may support SIGUSR2 in single-process mode as long
as permissions aren't wonky.

nntpd: better encapsulation for shutdown

We can use the UNIVERSAL::can to better encapsulate the shutdown
process, in case we need to implement a gopher or HTTP daemon.

nntp: avoid infinite loop on partial read

Oops :x

nntpd: move busy check to NNTP package

This is better encapsulated and hopefully more readable.
While we're at it, check for being inside a long response, too.

nntpd: hard quit after 30s

We don't want clients hogging server resources and preventing
us from shutting down, so give them 30s to finish whatever
request they're getting.

nntpd: additional daemonization options

This should fully support the signals used by nginx and starman,
so scripts used by nginx can be used to manage our nntpd daemon,
too.

nntp: fix XOVER command

Oops, we need to test commands more closely :x
Add a missing prototype while we're at it for extra
checking.

nntp: support HDR command from RFC 3977

This is similar to XHDR, but differs in how it handles Message-ID
lookups.

nntp: XHDR lookups by Message-ID may cross groups

This is allowed by RFC 2980 and HDR (to-be-implemented) in
RFC 3977 supports it, too.

nntp: XHDR fixes for Message-ID lookups

We'll require some modifications for HDR support, though.

nntp: implement OVER from RFC 3977

This is just like the XOVER command, but allows a single Message-ID
to be given.

nntp: avoid setting Bytes and Lines headers

These are internal metadata should be calculated, so avoid
leaking it into the header.

nntp: ensure body lines end with CRLF

It's common for mail bodies to end with LF-only, so end them with
CRLF to avoid triggering errors in clients.

nntp: support YYYYMMDD dates for commands

RFC 3977 supports YYYYMMDD dates while retaining backwards
compatibility for old YYMMDD dates.

t/nntpd.t: fix fcntl test to ensure no failures

We need to run the syscall before testing for its failure :x

nntp: proper UTF-8 support (hopefully?)

RFC 3977 stipulates the use of UTF-8 as the default charset,
so we shall try using that and hopefully not mangle things.

remove bytes:: for length checks

Apparently, my mental model of Perl internals is still incorrect
after all these years.  I am but a simple *nix programmer:
everything is a bag of bytes to me.

This fixes a problem with UTF-8 headers from Xapian (via
"XHDR Subject [range]") triggering partial writes and writing an
extra newline to the outputs.

t/nntpd.t: improve test runnability

The created socket FD number may not be 3 in the test,
force it to be so inside the child process.

nntp: speed up xover slightly

Reserializing the message to a string to check size wastes
considerable time and should be able to get by with slightly
less accuracy.

nntp: speed up XHDR Xref for rtin

We could also start displaying Xref in XOVER as rtin seems to
prefer it.  Anyways this is nearly 100 times faster now and
requires no DB changes.

msgmap: minor cleanup to move constant declaration

This doesn't actually change anything as the constant is still
usable in other subroutines, but helps with consistency and
readability IMHO.

nntp: add "newsgroup" parameter and sort grouplist

Using non-hierarchical mailing list names for newsgroups
might confuse traditional newsreader software and perhaps
some humans.  Allow administrators to configure newsgroups
names and hierarchies to their liking.

Sorting the grouplist alphabetically should probably be
done anyways to improve usability for some clients which
won't sort themselves.

newsgroup: use only the first address

public-inboxen may be aliased to multiple email addresses,
and we have always favored the first.

nntp: fix handling of trickled responses

We cannot use the push_back_read functionality of Danga::Socket
since it will trigger event_read on buffered data.  This would
allow a malicious (or badly implemented) client to burn CPU
without actually sending us anything.

So we still do buffering ourselves and play some tricks with
timers re-enable readability.

nntp: do not re-enable reads during long responses

Long responses may leave the buffer momentarily empty,
but we must prevent read events from firing at that point.

nntpd: support systemd FD inheritance + signals

Avoid depending on IO::Socket::INET if we can help it,
we do not need to bloat ourselves with lot of that
functionality.

nntp: article lookups by Message-ID may cross newsgroups

Lynx seems to rely on this behavior for "ARTICLE <message-id>"

Tested with Lynx Version 2.8.8dev.12 (22 Feb 2012) on Debian wheezy.

nntp: log to FDs given by the Nntpd module

This will allow us to redirect stdout/stderr more easily
for logging.

nntp: fix ARTICLE/HEAD/BODY/STAT

Article number is optional, but we need to update the
article number of the client connection if it was specified
(but not if it was given a Message-ID) as stipulated by
RFC 977

nntp: fix logging of long responses

It's misleading to show short times on long responses.
Instead, show the long response as a separate entry on
completion or failure.

nntp: implement XPATH

This may be helpful for sorting out duplicates.

nntp: implement XROVER, speed up XHDR for some cases

Using Xapian allows us to implement XROVER without forking
new processes.

nntp: speed up XHDR for the Message-ID case

We can use our msgmap database to implement "XHDR Message-ID [range]"
commands quickly.  This helps immensely with slrnpull, which prefers
XHDR to LISTGROUP for some reason...

nntp: XOVER does not require range

XOVER uses the current article if no range is given as
stipulated in RFC 2980.

nntp: implement command argument checking

Validate commands to make sure we do not accidentally screw up
some things or leave out some argument checking.

nntp: use long response API for LISTGROUP

LISTGROUP can be expensive for giant groups, too.  Use the
long response API to improve fairness and prevent excessive
buffering.

nntp: introduce long response API for streaming

XOVER, NEWNEWS, XHDR responses may be arbitrarily long and cause
memory usage via buffering.  This problem would exist even if we
were to optimize them by caching headers for fast retrieval and
search.

Introduce a generic API to handle all of these commands fairly
without triggering excessive buffering and unfairness of the
existing implementation.

Generating these responses is still expensive for now, but at least
the implementation is fair to other clients and prevents one client
from using one of these commands to monopolize resources away from
other clients.

nntp: use write_buf_size instead write_buf

It is shorter code and probably faster than checking an
array.

read-only NNTP server

Implementing NEWNEWS, XHDR, XOVER efficiently will require
additional caching on top of msgmap.

This seems to work with lynx and slrnpull, haven't tried clients.

DO NOT run in production, yet, denial-of-service vulnerabilities
await!

view: do not shorten top-level messages in thread view

The thread root is usually the most important, and should
be displayed in full.

add cgit commit-filter example

public-inbox has search functionality, so take advantage of
good commit messages with proper titles to lookup discussion.

INSTALL: document DBD::SQLite and DBI dependencies

They're optional, but probably highly useful.

extmsg: wire up to use msgmap for prefixes

DBI + DBD::SQLite has much better handling of prefix lookups
than Xapian.  While we're at it, avoid linking blatantly wrong
Message-IDs to external services.

searchidx: sync Msgmap database along with Xapian

We can avoid duplicating work of extracting messages from git if we
tie this to Xapian.  Of course, this ties the two features together,
but it's probably reasonable to expect that anybody who wants to use
public-inbox to serve messages to front-end users will have both.

searchidx: hoist out rlog code

We'll be reusing this for loading msgmap.

msgmap: add message mapping via SQLite

This will allow us to maintain stable article numbers for an
NNTP server independently of Xapian.

searchview: do not link Atom feed by relevance

Atom feeds only make sense when sorted by time, not when our
search indexing rules change and affect relevance.  So do not
include the relevance option when linking to Atom feeds.

However, we shall still honor the 'r' query parameter in case
somebody wants to manually include that in the URL for
testing/experimental purposes.  We simply will not advertise
it.

view: jump to anchor of current message on References

Otherwise it could be a bit disorienting to jump to the
first message in the thread without navigation context.

view: do not show References unless a message has them

It's a waste of space and potentially confusing.

view: use header_obj to avoid extra method calls

Email::MIME will call the header_obj each time anyways, avoid
the extra method lookups and hit header_obj directly for the
header lookup.

view: extra Atom feed link in standalone message view

It might be helpful if user agents do not display the <link>
element in <head>.

view: add Atom links in headers for per-message links

Some user agents will advertise the presence of a feed this
way for users to subscribe to individual topics.

searchview: implement Atom feed for search results

This can be helpful for folks who want to subscribe
to a particular topic or keyword.

feed: consolidate updated tag generation

We'll be reusing this code further in the next commit.

searchview: support displaying entire threads

This hopefully makes it easy to perform queries to display
an entire thread.  Raise the limit in the threaded view to
display more results and hopefully improve the output of
thread display.

searchview: hoist out subroutines for clarity

We'll be expanding the search view to handle expanded views.

view: more consistent prefix for ghost links

This will be reused for search views.

examples/public-inbox.psgi: optional deflater

The deflater middleware isn't standard Plack, so don't require
potential users install it.

constent X?HTML MIME type filtering

Filter and View should reject X?HTML the same way.

view: change References link to expand thread

The expanded thread view is generally more useful.  Having links
to more links at the bottom seems to a waste of navigation time.
However, keep the '#r' anchor in case people rely on it for
links.

public-inbox-init: use absolute path

We actually have no business expanding (e.g. translating ~ to
$HOME) paths from the command-line argument, the shell does
that.

However, we need to make the path absolute instead.

update copyright headers and email addresses

In the future, it should be possible to use this:

    git ls-files | UPDATE_COPYRIGHT_HOLDER='all contributors' \
      UPDATE_COPYRIGHT_USE_INTERVALS=2 \
      xargs /path/to/gnulib/build-aux/update-copyright

Makefile.PL: conform to naming conventions

Not that we actually have a bare PublicInbox module, yet.
Maybe MID can be it.

extmsg: add note about the deficiency of the implementation

ref: http://public-inbox.org/meta/20150905091457.GA27857@dcvr.yhbt.net/

searchview: link users to permalink instead of thread

The permalink should load faster if the user had a good query
and users can easily find the rest of the message in the thread.

extmsg: fall back to partial Message-ID matching

In case a URL gets truncated (as is common with long URLs),
we can rely on Xapian for partial matches and bring the user
to their destination.

search: tweak parsing for internal queries

We should not need to use QueryParser for internal queries,
but rather for external ones.

We'll also be exposing searching Message-IDs with the "mid:" prefix
for broken mids on some servers, and enabling partial searching
with 'm' to help with URL truncations.

Since thread IDs may be volatile, they cannot be exposed to the
public, there's no reason to expose them to the query parser,
either.

Also, add 's:' as an alternative probabilistic prefix to 'subject'
as it is shorter.

search: note why we do not support FLAG_PURE_NOT

Perhaps this can be optionally enabled in the future for smaller
sites.

searchview: error description for invalid queries

Xapian may raise exceptions on some queries.  Pass the error
along to the user so they can read Xapian documentation.