]> Sergey Matveev's repositories - public-inbox.git/commitdiff
mboxgz: use Compress::Raw::Zlib instead of IO::Compress::Gzip
authorEric Wong <e@80x24.org>
Sat, 16 Nov 2019 02:34:39 +0000 (02:34 +0000)
committerEric Wong <e@80x24.org>
Sat, 16 Nov 2019 11:05:02 +0000 (11:05 +0000)
IO::Compress::Gzip is a wrapper around Compress::Raw::Zlib,
anyways, and being able to easily detach buffers to return them
via ->getline is nice.  This results in a 1-2% performance
improvement when fetching giant mboxes.

lib/PublicInbox/Mbox.pm
lib/PublicInbox/MboxGz.pm

index 42ed8c5d9f2c1decbbcc71617d65ff65af644739..42cedd15f5dead4a73170094327501f12111d983 100644 (file)
@@ -231,7 +231,7 @@ sub need_gzip {
        my $title = 'gzipped mbox not available';
        $fh->write(<<EOF);
 <html><head><title>$title</title><body><pre>$title
-The administrator needs to install the IO::Compress::Gzip Perl module
+The administrator needs to install the Compress::Raw::Zlib Perl module
 to support gzipped mboxes.
 <a href="../">Return to index</a></pre></body></html>
 EOF
index 2919ad6a9ce51022408d09dba212f7bd4af91a54..2a55447f84e873b7fedb0db4b969128856c7eb5a 100644 (file)
@@ -7,17 +7,15 @@ use Email::Simple;
 use PublicInbox::Hval qw/to_filename/;
 use PublicInbox::Mbox;
 use IO::Compress::Gzip;
+use Compress::Raw::Zlib qw(Z_FINISH Z_OK);
+my %OPT = (-WindowBits => 15 + 16, -AppendOutput => 1);
 
 sub new {
        my ($class, $ctx, $cb) = @_;
-       my $buf = '';
        $ctx->{base_url} = $ctx->{-inbox}->base_url($ctx->{env});
-       bless {
-               buf => \$buf,
-               gz => IO::Compress::Gzip->new(\$buf, Time => 0),
-               cb => $cb,
-               ctx => $ctx,
-       }, $class;
+       my ($gz, $err) = Compress::Raw::Zlib::Deflate->new(%OPT);
+       $err == Z_OK or die "Deflate->new failed: $err";
+       bless { gz => $gz, cb => $cb, ctx => $ctx }, $class;
 }
 
 sub response {
@@ -32,31 +30,40 @@ sub response {
        [ 200, \@h, $body ];
 }
 
+sub gzip_fail ($$) {
+       my ($ctx, $err) = @_;
+       $ctx->{env}->{'psgi.errors'}->print("deflate failed: $err\n");
+       '';
+}
+
 # called by Plack::Util::foreach or similar
 sub getline {
        my ($self) = @_;
        my $ctx = $self->{ctx} or return;
        my $gz = $self->{gz};
+       my $buf = delete($self->{buf});
        while (my $smsg = $self->{cb}->()) {
                my $mref = $ctx->{-inbox}->msg_by_smsg($smsg) or next;
                my $h = Email::Simple->new($mref)->header_obj;
-               $gz->write(PublicInbox::Mbox::msg_hdr($ctx, $h, $smsg->{mid}));
-               $gz->write(PublicInbox::Mbox::msg_body($$mref));
 
-               my $bref = $self->{buf};
-               if (length($$bref) >= 8192) {
-                       my $ret = $$bref; # copy :<
-                       ${$self->{buf}} = '';
-                       return $ret;
-               }
+               my $err = $gz->deflate(
+                       PublicInbox::Mbox::msg_hdr($ctx, $h, $smsg->{mid}),
+                       $buf);
+               return gzip_fail($ctx, $err) if $err != Z_OK;
+
+               $err = $gz->deflate(PublicInbox::Mbox::msg_body($$mref), $buf);
+               return gzip_fail($ctx, $err) if $err != Z_OK;
+
+               return $buf if length($buf) >= 8192;
 
                # be fair to other clients on public-inbox-httpd:
+               $self->{buf} = $buf;
                return '';
        }
-       delete($self->{gz})->close;
        # signal that we're done and can return undef next call:
        delete $self->{ctx};
-       ${delete $self->{buf}};
+       my $err = $gz->flush($buf, Z_FINISH);
+       $err == Z_OK ? $buf : gzip_fail($ctx, $err);
 }
 
 sub close {} # noop