]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Import.pm
v2: support incremental indexing + purge
[public-inbox.git] / lib / PublicInbox / Import.pm
index f00c260b55a96d1ea6e9b2ec55a628e992017379..2529798fe4b7adc40424dad7b32341ccd9597ac0 100644 (file)
@@ -49,7 +49,14 @@ sub gfi_start {
        $self->lock_acquire;
 
        local $/ = "\n";
-       chomp($self->{tip} = $git->qx(qw(rev-parse --revs-only), $self->{ref}));
+       my $ref = $self->{ref};
+       chomp($self->{tip} = $git->qx(qw(rev-parse --revs-only), $ref));
+       if ($self->{path_type} ne '2/38' && $self->{tip}) {
+               local $/ = "\0";
+               my @tree = $git->qx(qw(ls-tree -r -z --name-only), $ref);
+               chomp @tree;
+               $self->{-tree} = { map { $_ => 1 } @tree };
+       }
 
        my $git_dir = $git->{git_dir};
        my @cmd = ('git', "--git-dir=$git_dir", qw(fast-import
@@ -185,6 +192,7 @@ sub get_mark {
        my ($r, $w) = $self->gfi_start;
        print $w "get-mark $mark\n" or wfail;
        defined(my $oid = <$r>) or die "get-mark failed, need git 2.6.0+\n";
+       chomp($oid);
        $oid;
 }
 
@@ -238,7 +246,8 @@ sub remove {
        if (defined $path) {
                print $w "D $path\n\n" or wfail;
        } else {
-               print $w "M 100644 :$blob _/D\n\n" or wfail;
+               clean_tree_v2($self, $w, 'd');
+               print $w "M 100644 :$blob d\n\n" or wfail;
        }
        $self->{nchg}++;
        (($self->{tip} = ":$commit"), $cur);
@@ -317,6 +326,15 @@ sub v1_mid0 ($) {
        }
        $mids->[0];
 }
+sub clean_tree_v2 ($$$) {
+       my ($self, $w, $keep) = @_;
+       my $tree = $self->{-tree} or return; #v2 only
+       delete $tree->{$keep};
+       foreach (keys %$tree) {
+               print $w "D $_\n" or wfail;
+       }
+       %$tree = ($keep => 1);
+}
 
 # returns undef on duplicate
 # returns the :MARK of the most recent commit
@@ -362,7 +380,7 @@ sub add {
 
        # v2: we need this for Xapian
        if ($self->{want_object_info}) {
-               chomp(my $oid = $self->get_mark(":$blob"));
+               my $oid = $self->get_mark(":$blob");
                $self->{last_object} = [ $oid, $n, \$str ];
        }
        my $ref = $self->{ref};
@@ -382,14 +400,15 @@ sub add {
        if ($tip ne '') {
                print $w 'from ', ($parent ? $parent : $tip), "\n" or wfail;
        }
+       clean_tree_v2($self, $w, $path);
        print $w "M 100644 :$blob $path\n\n" or wfail;
        $self->{nchg}++;
        $self->{tip} = ":$commit";
 }
 
-sub run_die ($;$) {
-       my ($cmd, $env) = @_;
-       my $pid = spawn($cmd, $env, undef);
+sub run_die ($;$$) {
+       my ($cmd, $env, $rdr) = @_;
+       my $pid = spawn($cmd, $env, $rdr);
        defined $pid or die "spawning ".join(' ', @$cmd)." failed: $!";
        waitpid($pid, 0) == $pid or die join(' ', @$cmd) .' did not finish';
        $? == 0 or die join(' ', @$cmd) . " failed: $?\n";
@@ -431,8 +450,9 @@ sub digest2mid ($) {
 }
 
 sub clean_purge_buffer {
-       my ($oid, $buf) = @_;
-       my $cmt_msg = "purged $oid\n";
+       my ($oids, $buf) = @_;
+       my $cmt_msg = 'purged '.join(' ',@$oids)."\n";
+       @$oids = ();
 
        foreach my $i (0..$#$buf) {
                my $l = $buf->[$i];
@@ -456,6 +476,9 @@ sub purge_oids {
        my ($r, $w) = $self->gfi_start;
        my @buf;
        my $npurge = 0;
+       my @oids;
+       my ($done, $mark);
+       my $tree = $self->{-tree};
        while (<$rd>) {
                if (/^reset (?:.+)/) {
                        push @buf, "reset $tmp\n";
@@ -472,25 +495,33 @@ sub purge_oids {
                        my $n = read($rd, my $buf, $len) or die "read: $!";
                        $len == $n or die "short read ($n < $len)";
                        push @buf, $buf;
-               } elsif (/^M 100644 ([a-f0-9]+) /) {
-                       my $oid = $1;
+               } elsif (/^M 100644 ([a-f0-9]+) (\w+)/) {
+                       my ($oid, $path) = ($1, $2);
                        if ($purge->{$oid}) {
-                               my $lf = <$rd>;
-                               if ($lf eq "\n") {
-                                       my $out = join('', @buf);
-                                       $out =~ s/^/# /sgm;
-                                       warn "purge rewriting\n", $out, "\n";
-                                       clean_purge_buffer($oid, \@buf);
-                                       $out = join('', @buf);
-                                       $w->print(@buf, "\n") or wfail;
-                                       @buf = ();
-                                       $npurge++;
-                               } else {
-                                       die "expected LF: $lf\n";
-                               }
+                               push @oids, $oid;
+                               delete $tree->{$path};
                        } else {
+                               $tree->{$path} = 1;
                                push @buf, $_;
                        }
+               } elsif (/^D (\w+)/) {
+                       my $path = $1;
+                       push @buf, $_ if $tree->{$path};
+               } elsif ($_ eq "\n") {
+                       if (@oids) {
+                               my $out = join('', @buf);
+                               $out =~ s/^/# /sgm;
+                               warn "purge rewriting\n", $out, "\n";
+                               clean_purge_buffer(\@oids, \@buf);
+                               $npurge++;
+                       }
+                       $w->print(@buf, "\n") or wfail;
+                       @buf = ();
+               } elsif ($_ eq "done\n") {
+                       $done = 1;
+               } elsif (/^mark :(\d+)$/) {
+                       push @buf, $_;
+                       $mark = $1;
                } else {
                        push @buf, $_;
                }
@@ -498,7 +529,9 @@ sub purge_oids {
        if (@buf) {
                $w->print(@buf) or wfail;
        }
-       $w = $r = undef;
+       die 'done\n not seen from fast-export' unless $done;
+       chomp(my $cmt = $self->get_mark(":$mark")) if $npurge;
+       $self->{nchg} = 0; # prevent _update_git_info until update-ref:
        $self->done;
        my @git = ('git', "--git-dir=$git->{git_dir}");
 
@@ -517,7 +550,9 @@ sub purge_oids {
                        $err++;
                }
        }
+       _update_git_info($self, 0);
        die "Failed to purge $err object(s)\n" if $err;
+       $cmt;
 }
 
 1;