]> Sergey Matveev's repositories - public-inbox.git/blob - TODO
TODO: notes about v2 format for giant archives
[public-inbox.git] / TODO
1 TODO items for public-inbox
2
3 (Not in any particular order, and
4 performance, ease-of-setup, installation, maintainability, etc
5 all need to be considered for everything we introduce)
6
7 * general performance improvements, but without relying on
8   XS or compiled code any more than we currently do.
9
10 * mailmap support (same as git) for remapping expired email addresses
11
12 * POP3 server, since some webmail providers support external POP3:
13   https://public-inbox.org/meta/20160411034104.GA7817@dcvr.yhbt.net/
14   Perhaps make this depend solely the NNTP server and work as a proxy.
15   Meaning users can run this without needing a full copy of the
16   archives in a git repository.
17
18 * HTTP and NNTP proxy support.  Allow us to be a frontend for
19   firewalled off (or Tor-exclusive) instances.  The use case is
20   for offering a publically accessible IP with a cheap VPS,
21   yet storing large amounts of data on computers without a
22   public IP behind a home Internet connection.
23
24 * TLS support for various daemons (including STARTTLS for NNTP and POP3)
25
26 * NNTP COMPRESS extension (see innd)
27
28 * Combined "super server" for NNTP/HTTP/POP3 to reduce memory overhead
29
30 * Optional reply-to-list support for mirroring lists that want it :<
31   Reply-to-list encourages the existing list as a single-point-of-failure,
32   but having an extra mirror using public-inbox code is nice regardless.
33
34 * Optional reply-to-nobody for dead lists.
35
36 * Configurable linkification for per-inbox shorthands:
37   "$gmane/123456" could be configured to expand to the
38   appropriate link pointing to the gmane.org list archives,
39   likewise "[Bug #123456]" could be configured to expand to
40   point to some project's bug tracker at http://example.com/bug/123456
41
42 * Support optional "HTTPS Everywhere" for mapping old HTTP to HTTPS
43   links if (and only if) the user wants to use HTTPS.  We may also
44   be able to configure redirects for expired URLs.
45
46   Note: message bodies rendered as HTML themselves must NOT change,
47   the links should point to an anchor tag within the same page,
48   instead; giving the user options.
49
50 * configurable constants (index limits, search results)
51
52 * handle messages with multiple Message-IDs (how?)
53
54 * handle broken double-bracketed References properly (maybe)
55   and totally broken Message-IDs
56
57   cf.  https://public-inbox.org/git/20160814012706.GA18784@starla/
58
59 * portability to FreeBSD (and other Free Software *BSDs)
60   ugh... https://rt.cpan.org/Ticket/Display.html?id=116615
61   (IO::KQueue is broken with Danga::Socket)
62
63 * improve documentation
64
65 * linkify thread skeletons better
66   https://public-inbox.org/git/6E3699DEA672430CAEA6DEFEDE6918F4@PhilipOakley/
67
68 * generate sample CSS for use with Stylish/dillo/etc
69
70 * streaming Email::MIME replacement: currently we generate many
71   allocations/strings for headers we never look at and slurp
72   entire message bodies into memory.
73   (this is pie-in-the-sky territory...)
74
75 * use REQUEST_URI properly for CGI / mod_perl2 compatibility
76   with Message-IDs which include '%' (done?)
77
78 * more and better test cases (use git fast-import to speed up creation)
79
80 * large mbox/Maildir/MH/NNTP spool import (see PublicInbox::Import)
81
82 * Read-only WebDAV interface to the git repo so it can be mounted
83   via davfs2 or fusedav to avoid full clones.
84
85 * Improve tree layout to help giant archives (v2 format):
86
87   * Must be optional; old ssoma users may continue using v1
88
89   * Xapian becomes becomes a requirement when using v2; they
90     claim good scalability: https://xapian.org/docs/scalability.html
91
92   * Allow git to perform better deltafication for quoted messages
93
94   * Changing tree layout for deltafication means we need to handle
95     deletes for spam differently than we do now.
96
97   * Deal with duplicate Message-IDs (web UI, at least, not sure about NNTP)
98
99   * (Maybe) SQLite alternatives (MySQL/MariaDB/Pg) for NNTP article
100     number mapping: https://www.sqlite.org/whentouse.html
101
102   * Ref rotation (splitting heads by YYYY or YYYY-MM)
103
104   * Support multiple git repos for a single archive?
105     This seems gross, but splitting large packs in in git conflicts
106     with bitmaps and we want to use both features.  Perhaps this
107     limitation can be fixed in git instead of merely being documented:
108     https://public-inbox.org/git/20160428072854.GA5252@dcvr.yhbt.net/
109
110   * Optional history squashing to reduce commit and intermediate
111     tree objects