Documentation/RelNotes/v1.6.0.eml

   1 From: Eric Wong <e@80x24.org>
   2 To: meta@public-inbox.org
   3 Subject: [ANNOUNCE] public-inbox 1.6.0
   4 Date: Wed, 16 Sep 2020 20:03:09 +0000
   5 Message-ID: <20200916200309.public-inbox-1.6.0-rele@sed>
   6 MIME-Version: 1.0
   7 Content-Type: text/plain; charset=utf-8
   8 Content-Disposition: inline
   9
  10 A big release containing several performance optimizations, a
  11 new anonymous IMAP server, and more.  It represents an
  12 incremental improvement over 1.5 in several areas with more to
  13 come in 1.7.
  14
  15 The read-only httpd and nntpd daemons no longer block the event
  16 loop when retrieving blobs from git, making better use of SMP
  17 systems while accomodating slow storage.
  18
  19 Indexing can be now be tuned to give somewhat usable performance
  20 on HDD storage, though we can't defy the laws of physics, either.
  21
  22 * General changes:
  23
  24   - ~/.cache/public-inbox/inline-c is automatically used for Inline::C
  25     if it exists.  PERL_INLINE_DIRECTORY in env remains supported
  26     and prioritized to support `nobody'-type users without HOME.
  27
  28   - msgmap.sqlite3 uses journal_mode=TRUNCATE, matching over.sqlite3
  29     behavior for a minor reduction in VFS traffic
  30
  31   - public-inbox-tuning(7) - new manpage containing pointers to
  32     various tuning options and tips for certain HW and OS setups.
  33
  34   - Copy-on-write is disabled on BTRFS for new indices to avoid
  35     fragmentation.  See the new public-inbox-tuning(7) manpage.
  36
  37   - message/{rfc822,news,global} attachments are decoded recursively
  38     and indexed for search.  Reindexing (see below) is required
  39     to ensure these attachments are indexed in old messages.
  40
  41   - inbox.lock (v2) and ssoma.lock (v1) files are written to
  42     on message delivery (or spam removal) to wake up read-only
  43     daemons via inotify or kqueue.
  44
  45   - `--help' switch supported by command-line tools
  46
  47 * Upgrading for new features in 1.6
  48
  49   The ordering of these steps is only necessary if you intend to
  50   use some new features in 1.6.  Future releases may have
  51   different instructions (or be entirely transparent).
  52
  53   0. install (use your OS package manager, or "make install")
  54
  55   1. restart public-inbox-watch instances if you have any
  56
  57   2. Optional: remove Plack::Middleware::Deflater if you're using
  58      a custom .psgi file for PublicInbox::WWW.  This only saves
  59      some memory and CPU cycles, and you may also skip this step
  60      if you expect to roll back to 1.5.0 for any reason.
  61
  62   Steps 3a and 3b may happen in any order, 3b is optional
  63   and is only required to use new WWW and IMAP features.
  64
  65   3a. restart existing read-only daemons if you have them
  66       (public-inbox-nntpd, public-inbox-httpd)
  67
  68   3b. run "public-inbox-index -c --reindex --rethread --all"
  69       to reindex all configured inboxes
  70
  71   4. configure and start the new public-inbox-imapd.  This
  72      requires reindexing in 3b, but there's no obligation to
  73      run an IMAP server, either.
  74
  75 * public-inbox-index
  76
  77   There are several new options to improve usability on slow,
  78   rotational storage.
  79
  80   - `--batch-size=BYTES' or publicinbox.indexBatchSize parameter
  81     to reduce frequency of random writes on HDDs
  82
  83   - `--sequential-shard' or publicInbox.sequentialShard parameter
  84     to improve OS page cache utilization on HDDs.
  85
  86   - `--no-fsync' when combined with Xapian 1.4+ can be used to
  87     speed up indexing on SSDs and small (default) `--batch-size'
  88
  89   - `--rethread' option to go with `--reindex' (use sparringly,
  90     see manpage)
  91
  92   - parallelize v2 updates by default, `--sequential-shard' and
  93     `-j0' is (once again) allowed to disable parallelization
  94
  95   - (re-)indexing parallelizes blob reads from git
  96
  97   - `--all' may be specified to index all configured inboxes
  98
  99 * public-inbox-learn
 100
 101   - `rm' supports `--all' to remove from all configured inboxes
 102
 103 * public-inbox-imapd
 104
 105   - new read-only IMAP daemon similar to public-inbox-nntpd
 106     `AUTH=ANONYMOUS' is supported, but any username and
 107     password for clients without `AUTH=ANONYMOUS' support.
 108
 109 * public-inbox-nntpd
 110
 111   - blob reads from git are handled asynchronously
 112
 113 * public-inbox-httpd
 114
 115   - Plack::Middleware::Deflater is no longer loaded by default
 116     when no .psgi file is specified; PublicInbox::WWW can rely
 117     on gzip for buffering (see below)
 118
 119 * PublicInbox::WWW
 120
 121   - use consistent blank line around attachment links
 122
 123   - Attachments in message/{rfc822,news,global} messages can be
 124     individually downloaded.  Downloading the entire message/rfc822
 125     file in full remains supported
 126
 127   - $INBOX_DIR/description is treated as UTF-8
 128
 129   - HTML, Atom, and text/plain responses are gzipped without
 130     relying on Plack::Middleware::Deflater
 131
 132   - Multi-message endpoints (/t.mbox.gz, /T/, /t/, etc) are ~10% faster
 133     when running under public-inbox-httpd with asynchronous blob
 134     retrieval
 135
 136   - mbox search results may now include all messages pertaining to that
 137     thread.  Needs `--reindex' mentioned above in
 138     `Upgrading for new features in 1.6'.
 139
 140   - fix mbox.gz search results downloads for lynx users
 141
 142   - small navigation tweaks, more prominent mirroring instructions
 143
 144 * public-inbox-watch
 145
 146   - Linux::Inotify2 or IO::KQueue is used directly,
 147     Filesys::Notify::Simple is no longer required
 148
 149   - NNTP groups and IMAP mailboxes may be watched in addition
 150     to Maildirs (lightly tested).
 151
 152 * Ongoing internal changes
 153
 154   - reduce event loop hogging for many-inbox support
 155
 156   - use more Perl v5.10-isms, future-proof against Perl 8
 157
 158   - more consistent variable and field naming, improve internal
 159     documentation and comments
 160
 161   - start supporting >=40 char git identifiers for SHA-256
 162
 163   - test -httpd-specific code paths via Plack::Test::ExternalServer
 164     in addition to generic PSGI paths.
 165
 166 Please report bugs via plain-text mail to: meta@public-inbox.org
 167
 168 See archives at https://public-inbox.org/meta/ for all history.
 169 See https://public-inbox.org/TODO for what the future holds.