]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Import.pm
import: rewrite less history during purge
[public-inbox.git] / lib / PublicInbox / Import.pm
index e07eddab4f245a2a47f368d5dd223d26e2a56770..73290eed5a04d37a8328eb39bd217cf2258fd6a7 100644 (file)
@@ -49,7 +49,14 @@ sub gfi_start {
        $self->lock_acquire;
 
        local $/ = "\n";
-       chomp($self->{tip} = $git->qx(qw(rev-parse --revs-only), $self->{ref}));
+       my $ref = $self->{ref};
+       chomp($self->{tip} = $git->qx(qw(rev-parse --revs-only), $ref));
+       if ($self->{path_type} ne '2/38' && $self->{tip}) {
+               local $/ = "\0";
+               my @tree = $git->qx(qw(ls-tree -r -z --name-only), $ref);
+               chomp @tree;
+               $self->{-tree} = { map { $_ => 1 } @tree };
+       }
 
        my $git_dir = $git->{git_dir};
        my @cmd = ('git', "--git-dir=$git_dir", qw(fast-import
@@ -238,7 +245,8 @@ sub remove {
        if (defined $path) {
                print $w "D $path\n\n" or wfail;
        } else {
-               print $w "M 100644 :$blob _/D\n\n" or wfail;
+               clean_tree_v2($self, $w, 'd');
+               print $w "M 100644 :$blob d\n\n" or wfail;
        }
        $self->{nchg}++;
        (($self->{tip} = ":$commit"), $cur);
@@ -317,6 +325,15 @@ sub v1_mid0 ($) {
        }
        $mids->[0];
 }
+sub clean_tree_v2 ($$$) {
+       my ($self, $w, $keep) = @_;
+       my $tree = $self->{-tree} or return; #v2 only
+       delete $tree->{$keep};
+       foreach (keys %$tree) {
+               print $w "D $_\n" or wfail;
+       }
+       %$tree = ($keep => 1);
+}
 
 # returns undef on duplicate
 # returns the :MARK of the most recent commit
@@ -382,14 +399,15 @@ sub add {
        if ($tip ne '') {
                print $w 'from ', ($parent ? $parent : $tip), "\n" or wfail;
        }
+       clean_tree_v2($self, $w, $path);
        print $w "M 100644 :$blob $path\n\n" or wfail;
        $self->{nchg}++;
        $self->{tip} = ":$commit";
 }
 
-sub run_die ($;$) {
-       my ($cmd, $env) = @_;
-       my $pid = spawn($cmd, $env, undef);
+sub run_die ($;$$) {
+       my ($cmd, $env, $rdr) = @_;
+       my $pid = spawn($cmd, $env, $rdr);
        defined $pid or die "spawning ".join(' ', @$cmd)." failed: $!";
        waitpid($pid, 0) == $pid or die join(' ', @$cmd) .' did not finish';
        $? == 0 or die join(' ', @$cmd) . " failed: $?\n";
@@ -430,6 +448,112 @@ sub digest2mid ($) {
        $b64 . '@localhost';
 }
 
+sub clean_purge_buffer {
+       my ($oids, $buf) = @_;
+       my $cmt_msg = 'purged '.join(' ',@$oids)."\n";
+       @$oids = ();
+
+       foreach my $i (0..$#$buf) {
+               my $l = $buf->[$i];
+               if ($l =~ /^author .* (\d+ [\+-]?\d+)$/) {
+                       $buf->[$i] = "author <> $1\n";
+               } elsif ($l =~ /^data (\d+)/) {
+                       $buf->[$i++] = "data " . length($cmt_msg) . "\n";
+                       $buf->[$i] = $cmt_msg;
+                       last;
+               }
+       }
+}
+
+sub purge_oids {
+       my ($self, $purge) = @_;
+       my $tmp = "refs/heads/purge-".((keys %$purge)[0]);
+       my $old = $self->{'ref'};
+       my $git = $self->{git};
+       my @export = (qw(fast-export --no-data --use-done-feature), $old);
+       my ($rd, $pid) = $git->popen(@export);
+       my ($r, $w) = $self->gfi_start;
+       my @buf;
+       my $npurge = 0;
+       my @oids;
+       my ($done, $mark);
+       my $tree = $self->{-tree};
+       while (<$rd>) {
+               if (/^reset (?:.+)/) {
+                       push @buf, "reset $tmp\n";
+               } elsif (/^commit (?:.+)/) {
+                       if (@buf) {
+                               $w->print(@buf) or wfail;
+                               @buf = ();
+                       }
+                       push @buf, "commit $tmp\n";
+               } elsif (/^data (\d+)/) {
+                       # only commit message, so $len is small:
+                       my $len = $1; # + 1 for trailing "\n"
+                       push @buf, $_;
+                       my $n = read($rd, my $buf, $len) or die "read: $!";
+                       $len == $n or die "short read ($n < $len)";
+                       push @buf, $buf;
+               } elsif (/^M 100644 ([a-f0-9]+) (\w+)/) {
+                       my ($oid, $path) = ($1, $2);
+                       if ($purge->{$oid}) {
+                               push @oids, $oid;
+                               delete $tree->{$path};
+                       } else {
+                               $tree->{$path} = 1;
+                               push @buf, $_;
+                       }
+               } elsif (/^D (\w+)/) {
+                       my $path = $1;
+                       push @buf, $_ if $tree->{$path};
+               } elsif ($_ eq "\n") {
+                       if (@oids) {
+                               my $out = join('', @buf);
+                               $out =~ s/^/# /sgm;
+                               warn "purge rewriting\n", $out, "\n";
+                               clean_purge_buffer(\@oids, \@buf);
+                               $npurge++;
+                       }
+                       $w->print(@buf, "\n") or wfail;
+                       @buf = ();
+               } elsif ($_ eq "done\n") {
+                       $done = 1;
+               } elsif (/^mark :(\d+)$/) {
+                       push @buf, $_;
+                       $mark = $1;
+               } else {
+                       push @buf, $_;
+               }
+       }
+       if (@buf) {
+               $w->print(@buf) or wfail;
+       }
+       die 'done\n not seen from fast-export' unless $done;
+       chomp(my $cmt = $self->get_mark(":$mark")) if $npurge;
+       $self->{nchg} = 0; # prevent _update_git_info until update-ref:
+       $self->done;
+       my @git = ('git', "--git-dir=$git->{git_dir}");
+
+       run_die([@git, qw(update-ref), $old, $tmp]) if $npurge;
+
+       run_die([@git, qw(update-ref -d), $tmp]);
+
+       return if $npurge == 0;
+
+       run_die([@git, qw(-c gc.reflogExpire=now gc --prune=all)]);
+       my $err = 0;
+       foreach my $oid (keys %$purge) {
+               my @info = $git->check($oid);
+               if (@info) {
+                       warn "$oid not purged\n";
+                       $err++;
+               }
+       }
+       _update_git_info($self, 0);
+       die "Failed to purge $err object(s)\n" if $err;
+       $cmt;
+}
+
 1;
 __END__
 =pod