]> Sergey Matveev's repositories - public-inbox.git/commitdiff
imap+nntp: share COMPRESS implementation
authorEric Wong <e@80x24.org>
Sat, 23 Jul 2022 04:41:55 +0000 (04:41 +0000)
committerEric Wong <e@80x24.org>
Sat, 23 Jul 2022 14:22:34 +0000 (14:22 +0000)
Their code was nearly identical to begin with, so save some
memory in -netd and disk space for all of our tarball/distro
users, at least.

And I seem to have used multiple inheritance successfully, here,
maybe...

MANIFEST
lib/PublicInbox/DS.pm
lib/PublicInbox/DSdeflate.pm [moved from lib/PublicInbox/NNTPdeflate.pm with 92% similarity]
lib/PublicInbox/IMAP.pm
lib/PublicInbox/IMAPD.pm
lib/PublicInbox/IMAPdeflate.pm [deleted file]
lib/PublicInbox/NNTP.pm
lib/PublicInbox/NNTPD.pm
xt/mem-imapd-tls.t

index 923f5147482f5f2cb1a9acd36ddcfa5e6019f7f0..10547351aba27fb8dcc460a3d710364236f91de6 100644 (file)
--- a/MANIFEST
+++ b/MANIFEST
@@ -169,6 +169,7 @@ lib/PublicInbox/ContentHash.pm
 lib/PublicInbox/DS.pm
 lib/PublicInbox/DSKQXS.pm
 lib/PublicInbox/DSPoll.pm
 lib/PublicInbox/DS.pm
 lib/PublicInbox/DSKQXS.pm
 lib/PublicInbox/DSPoll.pm
+lib/PublicInbox/DSdeflate.pm
 lib/PublicInbox/Daemon.pm
 lib/PublicInbox/DirIdle.pm
 lib/PublicInbox/DummyInbox.pm
 lib/PublicInbox/Daemon.pm
 lib/PublicInbox/DirIdle.pm
 lib/PublicInbox/DummyInbox.pm
@@ -206,7 +207,6 @@ lib/PublicInbox/IMAP.pm
 lib/PublicInbox/IMAPClient.pm
 lib/PublicInbox/IMAPD.pm
 lib/PublicInbox/IMAPTracker.pm
 lib/PublicInbox/IMAPClient.pm
 lib/PublicInbox/IMAPD.pm
 lib/PublicInbox/IMAPTracker.pm
-lib/PublicInbox/IMAPdeflate.pm
 lib/PublicInbox/IMAPsearchqp.pm
 lib/PublicInbox/IPC.pm
 lib/PublicInbox/IdxStack.pm
 lib/PublicInbox/IMAPsearchqp.pm
 lib/PublicInbox/IPC.pm
 lib/PublicInbox/IdxStack.pm
@@ -295,7 +295,6 @@ lib/PublicInbox/Msgmap.pm
 lib/PublicInbox/MultiGit.pm
 lib/PublicInbox/NNTP.pm
 lib/PublicInbox/NNTPD.pm
 lib/PublicInbox/MultiGit.pm
 lib/PublicInbox/NNTP.pm
 lib/PublicInbox/NNTPD.pm
-lib/PublicInbox/NNTPdeflate.pm
 lib/PublicInbox/NetNNTPSocks.pm
 lib/PublicInbox/NetReader.pm
 lib/PublicInbox/NetWriter.pm
 lib/PublicInbox/NetNNTPSocks.pm
 lib/PublicInbox/NetReader.pm
 lib/PublicInbox/NetWriter.pm
index fee31e3d132ab675ff11a9e16c9e623ddce8d1d3..ef483aacf2724a4bf73a50e64223c1b40374f3f2 100644 (file)
@@ -648,8 +648,8 @@ sub shutdn ($) {
     }
 }
 
     }
 }
 
-sub zflush {} # overridden by NNTPdeflate and IMAPdeflate
-
+sub zflush {} # overridden by DSdeflate
+sub compressed {} # overridden by DSdeflate
 sub long_response_done {} # overridden by Net::NNTP
 
 sub long_step {
 sub long_response_done {} # overridden by Net::NNTP
 
 sub long_step {
similarity index 92%
rename from lib/PublicInbox/NNTPdeflate.pm
rename to lib/PublicInbox/DSdeflate.pm
index 352d4842834816a0df1523575aa4a6ea7f3326b3..b5208e4368abd63626cf617eda1bd4ba4f00fb08 100644 (file)
@@ -2,6 +2,7 @@
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 
 # RFC 8054 NNTP COMPRESS DEFLATE implementation
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 
 # RFC 8054 NNTP COMPRESS DEFLATE implementation
+# RFC 4978 IMAP COMPRESS=DEFLATE extension
 #
 # RSS usage for 10K idle-but-did-something NNTP clients on 64-bit:
 #   TLS + DEFLATE[a] :  1.8 GB  (MemLevel=9, 1.2 GB with MemLevel=8)
 #
 # RSS usage for 10K idle-but-did-something NNTP clients on 64-bit:
 #   TLS + DEFLATE[a] :  1.8 GB  (MemLevel=9, 1.2 GB with MemLevel=8)
 # [b] - memory-optimized implementation using a global deflate context.
 #       It's less efficient in terms of compression, but way more
 #       efficient in terms of server memory usage.
 # [b] - memory-optimized implementation using a global deflate context.
 #       It's less efficient in terms of compression, but way more
 #       efficient in terms of server memory usage.
-package PublicInbox::NNTPdeflate;
+package PublicInbox::DSdeflate;
 use strict;
 use strict;
-use 5.010_001;
-use parent qw(PublicInbox::NNTP);
+use v5.10.1;
 use Compress::Raw::Zlib;
 
 my %IN_OPT = (
 use Compress::Raw::Zlib;
 
 my %IN_OPT = (
-       -Bufsize => PublicInbox::NNTP::LINE_MAX,
+       -Bufsize => 1024,
        -WindowBits => -15, # RFC 1951
        -AppendOutput => 1,
 );
        -WindowBits => -15, # RFC 1951
        -AppendOutput => 1,
 );
@@ -42,21 +42,18 @@ my $zout;
        $err == Z_OK or die "Failed to initialize zlib deflate stream: $err";
 }
 
        $err == Z_OK or die "Failed to initialize zlib deflate stream: $err";
 }
 
-
 sub enable {
        my ($class, $self) = @_;
        my ($in, $err) = Compress::Raw::Zlib::Inflate->new(%IN_OPT);
        if ($err != Z_OK) {
                $self->err("Inflate->new failed: $err");
 sub enable {
        my ($class, $self) = @_;
        my ($in, $err) = Compress::Raw::Zlib::Inflate->new(%IN_OPT);
        if ($err != Z_OK) {
                $self->err("Inflate->new failed: $err");
-               $self->write(\"403 Unable to activate compression\r\n");
                return;
        }
                return;
        }
-       $self->write(\"206 Compression active\r\n");
        bless $self, $class;
        $self->{zin} = $in;
 }
 
        bless $self, $class;
        $self->{zin} = $in;
 }
 
-# overrides PublicInbox::NNTP::compressed
+# overrides PublicInbox::DS::compressed
 sub compressed { 1 }
 
 sub do_read ($$$$) {
 sub compressed { 1 }
 
 sub do_read ($$$$) {
index ce0dce0f317e8fb40a2a0b9da160594cafeb4fcf..805f1102536d99d9cf77807f86e1b0b3e6290ce4 100644 (file)
@@ -1212,8 +1212,6 @@ sub event_step {
        $self->requeue unless $pending;
 }
 
        $self->requeue unless $pending;
 }
 
-sub compressed { undef }
-
 # RFC 4978
 sub cmd_compress ($$$) {
        my ($self, $tag, $alg) = @_;
 # RFC 4978
 sub cmd_compress ($$$) {
        my ($self, $tag, $alg) = @_;
@@ -1223,7 +1221,9 @@ sub cmd_compress ($$$) {
        # CRIME made TLS compression obsolete
        # return "$tag NO [COMPRESSIONACTIVE]\r\n" if $self->tls_compressed;
 
        # CRIME made TLS compression obsolete
        # return "$tag NO [COMPRESSIONACTIVE]\r\n" if $self->tls_compressed;
 
-       PublicInbox::IMAPdeflate->enable($self, $tag);
+       PublicInbox::IMAPdeflate->enable($self) or return
+                               \"$tag BAD failed to activate compression\r\n";
+       PublicInbox::DS::write($self, \"$tag OK DEFLATE active\r\n");
        $self->requeue;
        undef
 }
        $self->requeue;
        undef
 }
@@ -1269,4 +1269,8 @@ our @ISA = qw(PublicInbox::IMAP);
 
 sub logged_in { 0 }
 
 
 sub logged_in { 0 }
 
+package PublicInbox::IMAPdeflate;
+use PublicInbox::DSdeflate;
+our @ISA = qw(PublicInbox::DSdeflate PublicInbox::IMAP);
+
 1;
 1;
index d8814324f23e333ba4b5016f36f5c619b9d582b6..b24097a2453c10783aa334484ba3920d329d85b5 100644 (file)
@@ -9,7 +9,7 @@ use v5.10.1;
 use PublicInbox::Config;
 use PublicInbox::ConfigIter;
 use PublicInbox::InboxIdle;
 use PublicInbox::Config;
 use PublicInbox::ConfigIter;
 use PublicInbox::InboxIdle;
-use PublicInbox::IMAPdeflate; # loads PublicInbox::IMAP
+use PublicInbox::IMAP;
 use PublicInbox::DummyInbox;
 my $dummy = bless { uidvalidity => 0 }, 'PublicInbox::DummyInbox';
 
 use PublicInbox::DummyInbox;
 my $dummy = bless { uidvalidity => 0 }, 'PublicInbox::DummyInbox';
 
diff --git a/lib/PublicInbox/IMAPdeflate.pm b/lib/PublicInbox/IMAPdeflate.pm
deleted file mode 100644 (file)
index d5929ef..0000000
+++ /dev/null
@@ -1,126 +0,0 @@
-# Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
-# License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
-# TODO: reduce duplication from PublicInbox::NNTPdeflate
-
-# RFC 4978
-package PublicInbox::IMAPdeflate;
-use strict;
-use warnings;
-use 5.010_001;
-use base qw(PublicInbox::IMAP);
-use Compress::Raw::Zlib;
-
-my %IN_OPT = (
-       -Bufsize => 1024,
-       -WindowBits => -15, # RFC 1951
-       -AppendOutput => 1,
-);
-
-# global deflate context and buffer
-my $zbuf = \(my $buf = '');
-my $zout;
-{
-       my $err;
-       ($zout, $err) = Compress::Raw::Zlib::Deflate->new(
-               # nnrpd (INN) and Compress::Raw::Zlib favor MemLevel=9,
-               # the zlib C library and git use MemLevel=8 as the default
-               # -MemLevel => 9,
-               -Bufsize => 65536, # same as nnrpd
-               -WindowBits => -15, # RFC 1951
-               -AppendOutput => 1,
-       );
-       $err == Z_OK or die "Failed to initialize zlib deflate stream: $err";
-}
-
-sub enable {
-       my ($class, $self, $tag) = @_;
-       my ($in, $err) = Compress::Raw::Zlib::Inflate->new(%IN_OPT);
-       if ($err != Z_OK) {
-               $self->err("Inflate->new failed: $err");
-               $self->write(\"$tag BAD failed to activate compression\r\n");
-               return;
-       }
-       $self->write(\"$tag OK DEFLATE active\r\n");
-       bless $self, $class;
-       $self->{zin} = $in;
-}
-
-# overrides PublicInbox::NNTP::compressed
-sub compressed { 1 }
-
-sub do_read ($$$$) {
-       my ($self, $rbuf, $len, $off) = @_;
-
-       my $zin = $self->{zin} or return; # closed
-       my $doff;
-       my $dbuf = delete($self->{dbuf}) // '';
-       $doff = length($dbuf);
-       my $r = PublicInbox::DS::do_read($self, \$dbuf, $len, $doff) or return;
-
-       # Workaround inflate bug appending to OOK scalars:
-       # <https://rt.cpan.org/Ticket/Display.html?id=132734>
-       # We only have $off if the client is pipelining, and pipelining
-       # is where our substr() OOK optimization in event_step makes sense.
-       if ($off) {
-               my $copy = $$rbuf;
-               undef $$rbuf;
-               $$rbuf = $copy;
-       }
-
-       # assert(length($$rbuf) == $off) as far as NNTP.pm is concerned
-       # -ConsumeInput is true, so $dbuf is automatically emptied
-       my $err = $zin->inflate($dbuf, $rbuf);
-       if ($err == Z_OK) {
-               $self->{dbuf} = $dbuf if $dbuf ne '';
-               $r = length($$rbuf) and return $r;
-               # nothing ready, yet, get more, later
-               $self->requeue;
-       } else {
-               delete $self->{zin};
-               $self->close;
-       }
-       0;
-}
-
-# override PublicInbox::DS::msg_more
-sub msg_more ($$) {
-       my $self = $_[0];
-
-       # $_[1] may be a reference or not for ->deflate
-       my $err = $zout->deflate($_[1], $zbuf);
-       $err == Z_OK or die "->deflate failed $err";
-       1;
-}
-
-sub zflush ($) {
-       my ($self) = @_;
-
-       my $deflated = $zbuf;
-       $zbuf = \(my $next = '');
-
-       my $err = $zout->flush($deflated, Z_FULL_FLUSH);
-       $err == Z_OK or die "->flush failed $err";
-
-       # We can still let the lower socket layer do buffering:
-       PublicInbox::DS::msg_more($self, $$deflated);
-}
-
-# compatible with PublicInbox::DS::write, so $_[1] may be a reference or not
-sub write ($$) {
-       my $self = $_[0];
-       return PublicInbox::DS::write($self, $_[1]) if ref($_[1]) eq 'CODE';
-
-       my $deflated = $zbuf;
-       $zbuf = \(my $next = '');
-
-       # $_[1] may be a reference or not for ->deflate
-       my $err = $zout->deflate($_[1], $deflated);
-       $err == Z_OK or die "->deflate failed $err";
-       $err = $zout->flush($deflated, Z_FULL_FLUSH);
-       $err == Z_OK or die "->flush failed $err";
-
-       # We can still let the socket layer do buffering:
-       PublicInbox::DS::write($self, $deflated);
-}
-
-1;
index 3929f81737901507e06c80994a694718617e3910..8ad7adc1fd0a3ca49a5635dc19c8b4c7c95b6c01 100644 (file)
@@ -883,8 +883,6 @@ sub cmd_xover ($;$) {
        $self->long_response(\&xover_i, @$r);
 }
 
        $self->long_response(\&xover_i, @$r);
 }
 
-sub compressed { undef }
-
 sub cmd_starttls ($) {
        my ($self) = @_;
        my $sock = $self->{sock} or return;
 sub cmd_starttls ($) {
        my ($self) = @_;
        my $sock = $self->{sock} or return;
@@ -903,7 +901,9 @@ sub cmd_compress ($$) {
        my ($self, $alg) = @_;
        return "503 Only DEFLATE is supported\r\n" if uc($alg) ne 'DEFLATE';
        return r502 if $self->compressed;
        my ($self, $alg) = @_;
        return "503 Only DEFLATE is supported\r\n" if uc($alg) ne 'DEFLATE';
        return r502 if $self->compressed;
-       PublicInbox::NNTPdeflate->enable($self);
+       PublicInbox::NNTPdeflate->enable($self) or return
+                               \"403 Unable to activate compression\r\n";
+       PublicInbox::DS::write($self, \"206 Compression active\r\n");
        $self->requeue;
        undef
 }
        $self->requeue;
        undef
 }
@@ -985,4 +985,8 @@ sub busy { # for graceful shutdown in PublicInbox::Daemon:
        defined($self->{rbuf}) || defined($self->{wbuf})
 }
 
        defined($self->{rbuf}) || defined($self->{wbuf})
 }
 
+package PublicInbox::NNTPdeflate;
+use PublicInbox::DSdeflate;
+our @ISA = qw(PublicInbox::DSdeflate PublicInbox::NNTP);
+
 1;
 1;
index 6e79f0be697fc909ac49ad301b54a4447eebfdc6..f31d43818e5570fa44f33a8c63fedc9610930956 100644 (file)
@@ -9,7 +9,7 @@ use v5.10.1;
 use Sys::Hostname;
 use PublicInbox::Config;
 use PublicInbox::InboxIdle;
 use Sys::Hostname;
 use PublicInbox::Config;
 use PublicInbox::InboxIdle;
-use PublicInbox::NNTPdeflate; # loads PublicInbox::NNTP
+use PublicInbox::NNTP;
 
 sub new {
        my ($class) = @_;
 
 sub new {
        my ($class) = @_;
index 8992a6fc0d8dc96dfe835ad5d00bae179e0889be..d728ce32ac57b5aa34842f06936abc37cb2b597e 100644 (file)
@@ -1,5 +1,5 @@
 #!perl -w
 #!perl -w
-# Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
+# Copyright (C) all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 # Idle client memory usage test, particularly after EXAMINE when
 # Message Sequence Numbers are loaded
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 # Idle client memory usage test, particularly after EXAMINE when
 # Message Sequence Numbers are loaded
@@ -221,7 +221,7 @@ package IMAPCdeflate;
 use strict;
 our @ISA;
 use Compress::Raw::Zlib;
 use strict;
 our @ISA;
 use Compress::Raw::Zlib;
-use PublicInbox::IMAPdeflate;
+use PublicInbox::IMAP;
 my %ZIN_OPT;
 BEGIN {
        @ISA = qw(IMAPC);
 my %ZIN_OPT;
 BEGIN {
        @ISA = qw(IMAPC);