]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Import.pm
favor readline() and print() as functions
[public-inbox.git] / lib / PublicInbox / Import.pm
index 95d654f667221711de6897ffd632b197bd6d10cf..a901350402c50febdc73ea1afa37a5be1afc9490 100644 (file)
@@ -13,8 +13,9 @@ use PublicInbox::Spawn qw(spawn popen_rd);
 use PublicInbox::MID qw(mids mid2path);
 use PublicInbox::Address;
 use PublicInbox::MsgTime qw(msg_timestamp msg_datestamp);
-use PublicInbox::ContentId qw(content_digest);
+use PublicInbox::ContentHash qw(content_digest);
 use PublicInbox::MDA;
+use PublicInbox::Eml;
 use POSIX qw(strftime);
 
 sub new {
@@ -137,7 +138,7 @@ sub check_remove_v1 {
        $info =~ m!\A100644 blob ([a-f0-9]{40})\t!s or die "not blob: $info";
        my $oid = $1;
        my $msg = _cat_blob($r, $w, $oid) or die "BUG: cat-blob $1 failed";
-       my $cur = PublicInbox::MIME->new($msg);
+       my $cur = PublicInbox::Eml->new($msg);
        my $cur_s = $cur->header('Subject');
        $cur_s = '' unless defined $cur_s;
        my $cur_m = $mime->header('Subject');
@@ -159,7 +160,7 @@ sub progress {
        my ($self, $msg) = @_;
        return unless $self->{pid};
        print { $self->{out} } "progress $msg\n" or wfail;
-       $self->{in}->getline eq "progress $msg\n" or die
+       readline($self->{in}) eq "progress $msg\n" or die
                "progress $msg not received\n";
        undef;
 }
@@ -212,13 +213,13 @@ sub get_mark {
 }
 
 # returns undef on non-existent
-# ('MISMATCH', Email::MIME) on mismatch
-# (:MARK, Email::MIME) on success
+# ('MISMATCH', PublicInbox::Eml) on mismatch
+# (:MARK, PublicInbox::Eml) on success
 #
 # v2 callers should check with Xapian before calling this as
 # it is not idempotent.
 sub remove {
-       my ($self, $mime, $msg) = @_; # mime = Email::MIME
+       my ($self, $mime, $msg) = @_; # mime = PublicInbox::Eml or Email::MIME
 
        my $path_type = $self->{path_type};
        my ($path, $err, $cur, $blob);
@@ -354,7 +355,7 @@ sub v1_mid0 ($) {
        my $hdr = $mime->header_obj;
        my $mids = mids($hdr);
 
-       if (!scalar(@$mids)) { # spam often has no Message-Id
+       if (!scalar(@$mids)) { # spam often has no Message-ID
                my $mid0 = digest2mid(content_digest($mime), $hdr);
                append_mid($hdr, $mid0);
                return $mid0;
@@ -374,7 +375,7 @@ sub clean_tree_v2 ($$$) {
 # returns undef on duplicate
 # returns the :MARK of the most recent commit
 sub add {
-       my ($self, $mime, $check_cb, $smsg) = @_; # mime = Email::MIME
+       my ($self, $mime, $check_cb, $smsg) = @_;
 
        my ($name, $email, $at, $ct, $subject) = extract_cmt_info($mime, $smsg);
        my $path_type = $self->{path_type};
@@ -553,7 +554,7 @@ sub replace_oids {
                        push @buf, "reset $tmp\n";
                } elsif (/^commit (?:.+)/) {
                        if (@buf) {
-                               $w->print(@buf) or wfail;
+                               print $w @buf or wfail;
                                @buf = ();
                        }
                        push @buf, "commit $tmp\n";
@@ -590,7 +591,7 @@ sub replace_oids {
                                rewrite_commit($self, \@oids, \@buf, $mime);
                                $nreplace++;
                        }
-                       $w->print(@buf, "\n") or wfail;
+                       print $w @buf, "\n" or wfail;
                        @buf = ();
                } elsif ($_ eq "done\n") {
                        $done = 1;
@@ -603,7 +604,7 @@ sub replace_oids {
        }
        close $rd or die "close fast-export failed: $?";
        if (@buf) {
-               $w->print(@buf) or wfail;
+               print $w @buf or wfail;
        }
        die 'done\n not seen from fast-export' unless $done;
        chomp(my $cmt = $self->get_mark(":$mark")) if $nreplace;
@@ -647,7 +648,10 @@ version 1.0
 
 =head1 SYNOPSIS
 
-       use Email::MIME;
+       use PublicInbox::Eml;
+       # PublicInbox::Eml exists as of public-inbox 1.5.0,
+       # Email::MIME was used in older versions
+
        use PublicInbox::Git;
        use PublicInbox::Import;
 
@@ -663,7 +667,7 @@ version 1.0
                "Date: Thu, 01 Jan 1970 00:00:00 +0000\n" .
                "Message-ID: <m\@example.org>\n".
                "\ntest message";
-       my $parsed = Email::MIME->new($message);
+       my $parsed = PublicInbox::Eml->new($message);
        my $ret = $im->add($parsed);
        if (!defined $ret) {
                warn "duplicate: ",
@@ -674,7 +678,7 @@ version 1.0
        $im->done;
 
        # to remove a message
-       my $junk = Email::MIME->new($message);
+       my $junk = PublicInbox::Eml->new($message);
        my ($mark, $orig) = $im->remove($junk);
        if ($mark eq 'MISSING') {
                print "not found\n";
@@ -689,8 +693,8 @@ version 1.0
 
 =head1 DESCRIPTION
 
-An importer and remover for public-inboxes which takes L<Email::MIME>
-messages as input and stores them in a git repository as
+An importer and remover for public-inboxes which takes C<PublicInbox::Eml>
+or L<Email::MIME> messages as input and stores them in a git repository as
 documented in L<https://public-inbox.org/public-inbox-v1-format.txt>,
 except it does not allow duplicate Message-IDs.
 
@@ -708,7 +712,7 @@ Initialize a new PublicInbox::Import object.
 
 =head2 add
 
-       my $parsed = Email::MIME->new($message);
+       my $parsed = PublicInbox::Eml->new($message);
        $im->add($parsed);
 
 Adds a message to to the git repository.  This will acquire
@@ -719,12 +723,13 @@ is called, but L</remove> may be called on them.
 
 =head2 remove
 
-       my $junk = Email::MIME->new($message);
+       my $junk = PublicInbox::Eml->new($message);
        my ($code, $orig) = $im->remove($junk);
 
 Removes a message from the repository.  On success, it returns
 a ':'-prefixed numeric code representing the git-fast-import
-mark and the original messages as an Email::MIME object.
+mark and the original messages as a PublicInbox::Eml
+(or Email::MIME) object.
 If the message could not be found, the code is "MISSING"
 and the original message is undef.  If there is a mismatch where
 the "Message-ID" is matched but the subject and body do not match,
@@ -748,7 +753,7 @@ The mail archives are hosted at L<https://public-inbox.org/meta/>
 
 =head1 COPYRIGHT
 
-Copyright (C) 2016 all contributors L<mailto:meta@public-inbox.org>
+Copyright (C) 2016-2020 all contributors L<mailto:meta@public-inbox.org>
 
 License: AGPL-3.0+ L<http://www.gnu.org/licenses/agpl-3.0.txt>