]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LeiMirror.pm
lei_mirror: do not show ref updates w/o --verbose
[public-inbox.git] / lib / PublicInbox / LeiMirror.pm
index c3512d439e474d371dcf81d934a66d5561fe64de..1138a82d04f7c03d92de5134358650d8bd09b317 100644 (file)
@@ -3,8 +3,7 @@
 
 # "lei add-external --mirror" support (also "public-inbox-clone");
 package PublicInbox::LeiMirror;
-use strict;
-use v5.10.1;
+use v5.12;
 use parent qw(PublicInbox::IPC);
 use IO::Uncompress::Gunzip qw(gunzip $GunzipError);
 use IO::Compress::Gzip qw(gzip $GzipError);
@@ -19,8 +18,10 @@ use PublicInbox::Config;
 use PublicInbox::Inbox;
 use PublicInbox::LeiCurl;
 use PublicInbox::OnDestroy;
+use Digest::SHA qw(sha256_hex);
 
 our $LIVE; # pid => callback
+my $update_ref_stdin = $ENV{GIT_CAN_UPDATE_REF_STDIN} // 1;
 
 sub _wq_done_wait { # dwaitpid callback (via wq_eof)
        my ($arg, $pid) = @_;
@@ -32,9 +33,9 @@ sub _wq_done_wait { # dwaitpid callback (via wq_eof)
                warn("unlink($f): $!\n") unless $!{ENOENT};
        } else {
                if (!$mrr->{dry_run} && $lei->{cmd} ne 'public-inbox-clone') {
-                       # calls _finish_add_external
-                       $lei->lazy_cb('add-external', '_finish_'
-                                       )->($lei, $mrr->{dst});
+                       require PublicInbox::LeiAddExternal;
+                       PublicInbox::LeiAddExternal::_finish_add_external(
+                                                       $lei, $mrr->{dst});
                }
                $lei->qerr("# mirrored $mrr->{src} => $mrr->{dst}");
        }
@@ -47,7 +48,7 @@ sub try_scrape {
        my $uri = URI->new($self->{src});
        my $lei = $self->{lei};
        my $curl = $self->{curl} //= PublicInbox::LeiCurl->new($lei) or return;
-       my $cmd = $curl->for_uri($lei, $uri, '--compressed');
+       my $cmd = $curl->for_uri($lei, $uri, qw(-f --compressed));
        my $opt = { 0 => $lei->{0}, 2 => $lei->{2} };
        my $fh = popen_rd($cmd, undef, $opt);
        my $html = do { local $/; <$fh> } // die "read(curl $uri): $!";
@@ -112,17 +113,31 @@ sub clone_cmd {
        @cmd;
 }
 
-sub ft_rename ($$$) {
-       my ($ft, $dst, $open_mode) = @_;
-       my $fn = $ft->filename;
-       my @st = stat($dst);
+sub ft_rename ($$$;$) {
+       my ($ft, $dst, $open_mode, $fh) = @_;
+       my @st = stat($fh // $dst);
        my $mode = @st ? ($st[2] & 07777) : ($open_mode & ~umask);
-       chmod($mode, $ft) or croak "E: chmod $fn: $!";
+       chmod($mode, $ft) or croak "E: chmod($ft): $!";
        require File::Copy;
-       File::Copy::mv($fn, $dst) or croak "E: mv($fn => $ft): $!";
+       File::Copy::mv($ft->filename, $dst) or croak "E: mv($ft => $dst): $!";
        $ft->unlink_on_destroy(0);
 }
 
+sub do_reap ($;$) {
+       my ($self, $jobs) = @_;
+       $jobs //= $self->{-jobs} //= $self->{lei}->{opt}->{jobs} // 1;
+       $jobs = 1 if $jobs < 1;
+       while (keys(%$LIVE) >= $jobs) {
+               my $pid = waitpid(-1, 0) // die "waitpid(-1): $!";
+               if (my $x = delete $LIVE->{$pid}) {
+                       my $cb = shift @$x;
+                       $cb->(@$x) if $cb;
+               } else {
+                       warn "reaped unknown PID=$pid ($?)\n";
+               }
+       }
+}
+
 sub _get_txt_start { # non-fatal
        my ($self, $endpoint, $fini) = @_;
        my $uri = URI->new($self->{cur_src} // $self->{src});
@@ -133,10 +148,9 @@ sub _get_txt_start { # non-fatal
        my $f = (split(m!/!, $endpoint))[-1];
        my $ft = File::Temp->new(TEMPLATE => "$f-XXXX", TMPDIR => 1);
        my $opt = { 0 => $lei->{0}, 1 => $lei->{1}, 2 => $lei->{2} };
-       my $cmd = $self->{curl}->for_uri($lei, $uri, qw(--compressed -R -o),
+       my $cmd = $self->{curl}->for_uri($lei, $uri, qw(-f --compressed -R -o),
                                        $ft->filename);
-       my $jobs = $lei->{opt}->{jobs} // 1;
-       reap_live() while keys(%$LIVE) >= $jobs;
+       do_reap($self);
        $lei->qerr("# @$cmd");
        return if $self->{dry_run};
        $self->{"-get_txt.$endpoint"} = [ $ft, $cmd, $uri ];
@@ -204,8 +218,6 @@ sub set_description ($) {
 sub index_cloned_inbox {
        my ($self, $iv) = @_;
        my $lei = $self->{lei};
-       eval { set_description($self) };
-       warn $@ if $@;
 
        # n.b. public-inbox-clone works w/o (SQLite || Xapian)
        # lei is useless without Xapian + SQLite
@@ -247,11 +259,181 @@ sub run_reap {
 
 sub start_clone {
        my ($self, $cmd, $opt, $fini) = @_;
-       my $jobs = $self->{lei}->{opt}->{jobs} // 1;
-       reap_live() while keys(%$LIVE) >= $jobs;
+       do_reap($self);
        $self->{lei}->qerr("# @$cmd");
        return if $self->{dry_run};
-       $LIVE->{spawn($cmd, undef, $opt)} = [ \&reap_clone, $self, $cmd, $fini ]
+       $LIVE->{spawn($cmd, undef, $opt)} = [ \&reap_cmd, $self, $cmd, $fini ]
+}
+
+sub fetch_args ($$) {
+       my ($lei, $opt) = @_;
+       my @cmd; # (git --git-dir=...) to be added by caller
+       $opt->{$_} = $lei->{$_} for (0..2);
+       # we support "-c $key=$val" for arbitrary git config options
+       # e.g.: git -c http.proxy=socks5h://127.0.0.1:9050
+       push(@cmd, '-c', $_) for @{$lei->{opt}->{c} // []};
+       push @cmd, 'fetch';
+       push @cmd, '-q' if $lei->{opt}->{quiet} ||
+                       ($lei->{opt}->{jobs} // 1) > 1;
+       push @cmd, '-v' if $lei->{opt}->{verbose};
+       @cmd;
+}
+
+sub fgrp_update_old ($) { # for git <1.8.5
+       my ($fgrp) = @_;
+       my $cmd = [ @{$fgrp->{-torsocks}}, 'git', "--git-dir=$fgrp->{cur_dst}",
+               fetch_args($fgrp->{lei}, my $opt = {}) ];
+       $fgrp->{lei}->qerr("# @$cmd");
+       do_reap($fgrp);
+       $LIVE->{spawn($cmd, undef, $opt)} = [ \&reap_cmd, $fgrp, $cmd ];
+}
+
+sub upr { # feed `git update-ref --stdin -z' verbosely
+       my ($lei, $w, $op, $ref, $oid) = @_;
+       $lei->qerr("# $op $ref $oid") if $lei->{opt}->{verbose};
+       print $w "$op $ref\0$oid\0" or die "print(w): $!";
+}
+
+sub fgrp_update {
+       my ($fgrp) = @_;
+       my $srcfh = delete $fgrp->{srcfh} or return;
+       my $dstfh = delete $fgrp->{dstfh} or return;
+       seek($srcfh, SEEK_SET, 0) or die "seek(src): $!";
+       seek($dstfh, SEEK_SET, 0) or die "seek(dst): $!";
+       my %src = map { chomp; split(/\0/) } (<$srcfh>);
+       close $srcfh;
+       my %dst = map { chomp; split(/\0/) } (<$dstfh>);
+       close $dstfh;
+       pipe(my ($r, $w)) or die "pipe: $!";
+       my $cmd = [ 'git', "--git-dir=$fgrp->{cur_dst}",
+               qw(update-ref --stdin -z) ];
+       my $lei = $fgrp->{lei};
+       $lei->qerr("# @$cmd");
+       my $opt = { 0 => $r, 1 => $lei->{1}, 2 => $lei->{2} };
+       my $pid = spawn($cmd, undef, $opt);
+       close $r or die "close(r): $!";
+       for my $ref (keys %dst) {
+               my $new = delete $src{$ref};
+               my $old = $dst{$ref};
+               if (defined $new) {
+                       upr($lei, $w, 'update', $ref, $new) if $new ne $old;
+               } else {
+                       upr($lei, $w, 'delete', $ref, $old);
+               }
+       }
+       while (my ($ref, $oid) = each %src) {
+               upr($lei, $w, 'create', $ref, $oid);
+       }
+       if (close($w)) { # git >= 1.8.5
+               $LIVE->{$pid} = [ \&reap_cmd, $fgrp, $cmd ];
+               do_reap($fgrp);
+       } else { # git <1.8.5 w/o update-ref --stdin
+               warn "E: close(update-ref --stdin): $!\n";
+               $update_ref_stdin = 0;
+               waitpid($pid, 0) // die "waitpid(update-ref --stdin): $!";
+               fgrp_update_old($fgrp);
+       }
+}
+
+sub pack_refs {
+       my ($self, $git_dir) = @_;
+       do_reap($self);
+       my $cmd = [ 'git', "--git-dir=$git_dir", qw(pack-refs --all --prune) ];
+       $self->{lei}->qerr("# @$cmd");
+       my $opt = { 1 => $self->{lei}->{1}, 2 => $self->{lei}->{2} };
+       $LIVE->{spawn($cmd, undef, $opt)} = [ \&reap_cmd, $self, $cmd ];
+}
+
+sub fgrp_fetched {
+       my ($fgrp) = @_;
+       return if $fgrp->{dry_run} || !$LIVE;
+       my $rn = $fgrp->{-remote};
+       my %opt = map { $_ => $fgrp->{lei}->{$_} } (0..2);
+       pack_refs($fgrp, $fgrp->{-osdir}); # objstore refs always packed
+
+       $update_ref_stdin or return fgrp_update_old($fgrp);
+
+       my $update_ref = PublicInbox::OnDestroy->new($$, \&fgrp_update, $fgrp);
+
+       my $src = [ 'git', "--git-dir=$fgrp->{-osdir}", 'for-each-ref',
+               "--format=refs/%(refname:lstrip=3)%00%(objectname)",
+               "refs/remotes/$rn/" ];
+       do_reap($fgrp);
+       open($fgrp->{srcfh}, '+>', undef) or die "open(src): $!";
+       $fgrp->{lei}->qerr("# @$src >SRC");
+       my $pid = spawn($src, undef, { %opt, 1 => $fgrp->{srcfh} });
+       $LIVE->{$pid} = [ \&reap_cmd, $fgrp, $src, $update_ref ];
+
+       my $dst = [ 'git', "--git-dir=$fgrp->{cur_dst}", 'for-each-ref',
+               '--format=%(refname)%00%(objectname)' ];
+       do_reap($fgrp);
+       open($fgrp->{dstfh}, '+>', undef) or die "open(dst): $!";
+       $fgrp->{lei}->qerr("# @$dst >DST");
+       $pid = spawn($dst, undef, { %opt, 1 => $fgrp->{dstfh} });
+       $LIVE->{$pid} = [ \&reap_cmd, $fgrp, $dst, $update_ref ];
+}
+
+sub fgrp_fetch {
+       my ($fgrp, $fini) = @_;
+       my $cmd = [ @{$fgrp->{-torsocks}}, 'git', "--git-dir=$fgrp->{-osdir}",
+                       fetch_args($fgrp->{lei}, my $opt = {}), '--no-tags',
+                       $fgrp->{-remote} ];
+       $fgrp->{-fini} = $fini;
+       do_reap($fgrp);
+       $fgrp->{lei}->qerr("# @$cmd");
+       return if $fgrp->{dry_run};
+       my $fgrp_fini = PublicInbox::OnDestroy->new($$, \&fgrp_fetched, $fgrp);
+       my $pid = spawn($cmd, undef, $opt);
+       $LIVE->{$pid} = [ \&reap_cmd, $fgrp, $cmd, $fgrp_fini ];
+}
+
+# keep this idempotent for future use by public-inbox-fetch
+sub forkgroup_prep {
+       my ($self, $uri) = @_;
+       $self->{-ent} // return;
+       my $os = $self->{-objstore} // return;
+       my $fg = $self->{-ent}->{forkgroup} // return;
+       my $dir = "$os/$fg.git";
+       my @cmd = ('git', "--git-dir=$dir", 'config');
+       my $opt = +{ map { $_ => $self->{lei}->{$_} } (0..2) };
+       if (!-d $dir) {
+               PublicInbox::Import::init_bare($dir);
+               for ('repack.useDeltaIslands=true',
+                               'pack.island=refs/remotes/([^/]+)/') {
+                       run_die([@cmd, split(/=/, $_, 2)], undef, $opt);
+               }
+       }
+       my $key = $self->{-key} // die 'BUG: no -key';
+       my ($bn) = ($key =~ m{/([a-z0-9_,;=!\+\{\}\|][^/]*)(?:\.git)?\z}i);
+       my $rn = "$bn-".substr(sha256_hex($key), 0, 16);
+       # --no-tags is required to avoid conflicts
+       for ("url=$uri", "fetch=+refs/*:refs/remotes/$rn/*",
+                       'tagopt=--no-tags') {
+               my @kv = split(/=/, $_, 2);
+               $kv[0] = "remote.$rn.$kv[0]";
+               run_die([@cmd, @kv], undef, $opt);
+       }
+       $self->{-do_pack_refs} = 1; # likely coderepo
+       if (!-d $self->{cur_dst}) {
+               my $alt = File::Spec->rel2abs("$dir/objects");
+               PublicInbox::Import::init_bare($self->{cur_dst});
+               my $o = "$self->{cur_dst}/objects";
+               my $f = "$o/info/alternates";
+               my $l = File::Spec->abs2rel($alt, File::Spec->rel2abs($o));
+               open my $fh, '+>>', $f or die "open($f): $!";
+               seek($fh, SEEK_SET, 0) or die "seek($f): $!";
+               chomp(my @cur = <$fh>);
+               if (!grep(/\A\Q$l\E\z/, @cur)) {
+                       say $fh $l or die "say($f): $!";
+               }
+               close $fh or die "close($f): $!";
+               @cmd = ('git', "--git-dir=$self->{cur_dst}",
+                       qw(remote add --mirror=fetch origin), "$uri");
+               my $pid = spawn(\@cmd, undef, $opt);
+               waitpid($pid, 0) // die "waitpid(@cmd): $!";
+               die "E: @cmd: \$?=$?" if ($? && ($? >> 8) != 3);
+       }
+       bless { %$self, -osdir => $dir, -remote => $rn }, __PACKAGE__;
 }
 
 sub clone_v1 {
@@ -261,14 +443,20 @@ sub clone_v1 {
        my $uri = URI->new($self->{cur_src} // $self->{src});
        defined($lei->{opt}->{epoch}) and
                die "$uri is a v1 inbox, --epoch is not supported\n";
-       my $pfx = $curl->torsocks($lei, $uri) or return;
+       $self->{-torsocks} //= $curl->torsocks($lei, $uri) or return;
        my $dst = $self->{cur_dst} // $self->{dst};
        my $fini = PublicInbox::OnDestroy->new($$, \&v1_done, $self);
-       my $cmd = [ @$pfx, clone_cmd($lei, my $opt = {}), "$uri", $dst ];
-       my $ref = $self->{-ent} ? $self->{-ent}->{reference} : undef;
-       defined($ref) && -e "$self->{dst}$ref" and
-               push @$cmd, '--reference', "$self->{dst}$ref";
-       start_clone($self, $cmd, $opt, $fini);
+       my $cmd = [ @{$self->{-torsocks}}, clone_cmd($lei, my $opt = {}),
+               "$uri", $dst ];
+       my $fgrp = forkgroup_prep($self, $uri);
+       if (!defined($fgrp) && defined($self->{-ent})) {
+               if (defined(my $ref = $self->{-ent}->{reference})) {
+                       -e "$self->{dst}$ref" and
+                               push @$cmd, '--reference', "$self->{dst}$ref";
+               }
+       }
+       $fgrp ? fgrp_fetch($fgrp, $fini) :
+               start_clone($self, $cmd, $opt, $fini);
 
        if (!$self->{-is_epoch} && $lei->{opt}->{'inbox-config'} =~
                                /\A(?:always|v1)\z/s) {
@@ -280,7 +468,7 @@ sub clone_v1 {
        (!defined($d) && !$nohang) and
                _get_txt_start($self, 'description', $fini);
 
-       reap_live() until ($nohang || !keys(%$LIVE)); # for non-manifest clone
+       $nohang or do_reap($self, 1); # for non-manifest clone
 }
 
 sub parse_epochs ($$) {
@@ -359,7 +547,7 @@ EOM
        }
 }
 
-sub reap_clone { # async, called via SIGCHLD
+sub reap_cmd { # async, called via SIGCHLD
        my ($self, $cmd) = @_;
        my $cerr = $?;
        $? = 0; # don't let it influence normal exit
@@ -378,17 +566,27 @@ sub v1_done { # called via OnDestroy
                run_die([qw(git config -f), "$dst/config", 'gitweb.owner', $o]);
        }
        my $o = "$dst/objects";
-       if (open(my $fh, '<', "$o/info/alternates")) {
-               chomp(my @l = <$fh>);
-               for (@l) { $_ = File::Spec->abs2rel($_, $o)."\n" }
-               my $f = File::Temp->new(TEMPLATE => '.XXXX', DIR => "$o/info");
-               print $f @l;
-               $f->flush or die "flush($f): $!";
-               rename($f->filename, "$o/info/alternates") or
-                       die "rename($f, $o/info/alternates): $!";
-               $f->unlink_on_destroy(0);
-       }
-       return if $self->{-is_epoch};
+       if (open(my $fh, '<', my $fn = "$o/info/alternates")) {;
+               my $base = File::Spec->rel2abs($o);
+               my @l = <$fh>;
+               my $ft;
+               for (@l) {
+                       next unless m!\A/!;
+                       $_ = File::Spec->abs2rel($_, $base);
+                       $ft //= File::Temp->new(TEMPLATE => '.XXXX',
+                                               DIR => "$o/info");
+               }
+               if ($ft) {
+                       print $ft @l or die "print($ft): $!";
+                       $ft->flush or die "flush($ft): $!";
+                       ft_rename($ft, $fn, 0666, $fh);
+               }
+       }
+       pack_refs($self, $dst) if delete $self->{-do_pack_refs};
+       eval { set_description($self) };
+       warn $@ if $@;
+       return if ($self->{-is_epoch} ||
+               $self->{lei}->{opt}->{'inbox-config'} ne 'always');
        write_makefile($dst, 1);
        index_cloned_inbox($self, 1);
 }
@@ -411,30 +609,23 @@ sub v2_done { # called via OnDestroy
        }
        write_makefile($dst, 2);
        undef $lck; # unlock
+       eval { set_description($self) };
+       warn $@ if $@;
        index_cloned_inbox($self, 2);
 }
 
-sub reap_live {
-       my $pid = waitpid(-1, 0) // die "waitpid(-1): $!";
-       if (my $x = delete $LIVE->{$pid}) {
-               my $cb = shift @$x;
-               $cb->(@$x);
-       } else {
-               warn "reaped unknown PID=$pid ($?)\n";
-       }
-}
-
 sub clone_v2_prep ($$;$) {
        my ($self, $v2_epochs, $m) = @_; # $m => manifest.js.gz hashref
        my $lei = $self->{lei};
        my $curl = $self->{curl} //= PublicInbox::LeiCurl->new($lei) or return;
        my $first_uri = (map { $_->[0] } values %$v2_epochs)[0];
-       my $pfx = $curl->torsocks($lei, $first_uri) or return;
+       $self->{-torsocks} //= $curl->torsocks($lei, $first_uri) or return;
        my $dst = $self->{cur_dst} // $self->{dst};
        my $want = parse_epochs($lei->{opt}->{epoch}, $v2_epochs);
        my $task = $m ? bless { %$self }, __PACKAGE__ : $self;
        delete $task->{todo}; # $self->{todo} still exists
-       my (@src_edst, @skip, $desc, @entv);
+       my (@skip, $desc);
+       my $fini = PublicInbox::OnDestroy->new($$, \&v2_done, $task);
        for my $nr (sort { $a <=> $b } keys %$v2_epochs) {
                my ($uri, $key) = @{$v2_epochs->{$nr}};
                my $src = $uri->as_string;
@@ -454,8 +645,13 @@ failed to extract epoch number from $src
                        }
                }
                if (!$want || $want->{$nr}) {
-                       push @src_edst, $src, $edst;
-                       push @entv, $edst, $ent;
+                       my $etask = bless { %$task, -key => $key }, __PACKAGE__;
+                       $etask->{-ent} = $ent; # may have {reference}
+                       $etask->{cur_src} = $src;
+                       $etask->{cur_dst} = $edst;
+                       $etask->{-is_epoch} = $fini;
+                       my $ref = $ent->{reference} // '';
+                       push @{$self->{todo}->{$ref}}, $etask;
                        $self->{any_want}->{$key} = 1;
                } else { # create a placeholder so users only need to chmod +w
                        init_placeholder($src, $edst, $ent);
@@ -468,24 +664,11 @@ failed to extract epoch number from $src
 
        (!$self->{dry_run} && !-d $dst) and File::Path::mkpath($dst);
 
-       my $fini = PublicInbox::OnDestroy->new($$, \&v2_done, $task);
-
        $lei->{opt}->{'inbox-config'} =~ /\A(?:always|v2)\z/s and
                _get_txt_start($task, '_/text/config/raw', $fini);
 
        defined($desc) ? ($task->{'txt.description'} = $desc) :
                _get_txt_start($task, 'description', $fini);
-       while (@entv) {
-               my ($edst, $ent) = splice(@entv, 0, 2);
-               my $etask = bless { %$task }, __PACKAGE__;
-               $etask->{-ent} = $ent; # may have {reference}
-               $etask->{cur_src} = shift @src_edst // die 'BUG: no cur_src';
-               $etask->{cur_dst} = shift @src_edst // die 'BUG: no cur_dst';
-               $etask->{cur_dst} eq $edst or
-                       die "BUG: `$etask->{cur_dst}' != `$edst'";
-               $etask->{-is_epoch} = $fini;
-               push @{$self->{todo}->{($ent->{reference} // '')}}, $etask;
-       }
 }
 
 sub decode_manifest ($$$) {
@@ -593,7 +776,21 @@ EOM
                        last; # restart %$todo iteration
                }
        }
-       reap_live() while keys(%$LIVE);
+       do_reap($self, 1);
+}
+
+sub dump_manifest ($$) {
+       my ($m, $ft) = @_;
+       # write the smaller manifest if epochs were skipped so
+       # users won't have to delete manifest if they +w an
+       # epoch they no longer want to skip
+       my $json = PublicInbox::Config->json->encode($m);
+       my $mtime = (stat($ft))[9];
+       seek($ft, SEEK_SET, 0) or die "seek($ft): $!";
+       truncate($ft, 0) or die "truncate($ft): $!";
+       gzip(\$json => $ft) or die "gzip($ft): $GzipError";
+       $ft->flush or die "flush($ft): $!";
+       utime($mtime, $mtime, "$ft") or die "utime(..., $ft): $!";
 }
 
 # FIXME: this gets confused by single inbox instance w/ global manifest.js.gz
@@ -607,15 +804,14 @@ sub try_manifest {
        $uri->path($path . '/manifest.js.gz');
        my $ft = File::Temp->new(TEMPLATE => '.manifest-XXXX',
                                UNLINK => 1, TMPDIR => 1, SUFFIX => '.tmp');
-       my $fn = $ft->filename;
-       my $cmd = $curl->for_uri($lei, $uri, '-R', '-o', $fn);
+       my $cmd = $curl->for_uri($lei, $uri, qw(-f -R -o), $ft->filename);
        my %opt = map { $_ => $lei->{$_} } (0..2);
        my $cerr = run_reap($lei, $cmd, \%opt);
        if ($cerr) {
                return try_scrape($self) if ($cerr >> 8) == 22; # 404 missing
                return $lei->child_error($cerr, "@$cmd failed");
        }
-       my $m = eval { decode_manifest($ft, $fn, $uri) };
+       my $m = eval { decode_manifest($ft, $ft, $uri) };
        if ($@) {
                warn $@;
                return try_scrape($self);
@@ -659,6 +855,7 @@ EOM
                                        die("BUG: no `$name' in manifest");
                        $task->{cur_src} = "$uri";
                        $task->{cur_dst} = $task->{dst};
+                       $task->{-key} = $name;
                        if ($n > 1) {
                                $task->{cur_dst} .= $name;
                                $task->{cur_src} .= $name;
@@ -677,15 +874,7 @@ EOM
        return if $self->{lei}->{child_error} || $self->{dry_run};
 
        # set by clone_v2_prep/-I/--exclude
-       if (delete $self->{-culled_manifest}) {
-               # write the smaller manifest if epochs were skipped so
-               # users won't have to delete manifest if they +w an
-               # epoch they no longer want to skip
-               my $json = PublicInbox::Config->json->encode($m);
-               my $mtime = (stat($fn))[9];
-               gzip(\$json => $fn) or die "gzip: $GzipError";
-               utime($mtime, $mtime, $fn) or die "utime(..., $fn): $!";
-       }
+       dump_manifest($m => $ft) if delete $self->{-culled_manifest};
        ft_rename($ft, "$self->{dst}/manifest.js.gz", 0666);
        open my $x, '>', "$self->{dst}/mirror.done"; # for _wq_done_wait
 }
@@ -705,6 +894,11 @@ sub do_mirror { # via wq_io_do or public-inbox-clone
                $ic =~ /\A(?:v1|v2|always|never)\z/s or die <<"";
 --inbox-config must be one of `always', `v2', `v1', or `never'
 
+               if (defined(my $os = $lei->{opt}->{objstore})) {
+                       $os = 'objstore' if $os eq ''; # --objstore w/o args
+                       $os = "$self->{dst}/$os" if $os !~ m!\A/!;
+                       $self->{-objstore} = $os;
+               }
                local $LIVE;
                my $iv = $lei->{opt}->{'inbox-version'} //
                        return start_clone_url($self);
@@ -763,6 +957,7 @@ help :
        @echo Rarely needed targets:
        @echo '    make reindex      - may be needed for new features/bugfixes'
        @echo '    make compact      - rewrite Xapian storage to save space'
+       @echo '    make index        - initial index after clone
 
 fetch :
        public-inbox-fetch
@@ -779,12 +974,14 @@ update :
                echo 'public-inbox index not initialized'; \
                echo 'see public-inbox-index(1) man page'; \
        fi
+index :
+       public-inbox-index
 reindex :
        public-inbox-index --reindex
 compact :
        public-inbox-compact
 
-.PHONY : help fetch update reindex compact
+.PHONY : help fetch update index reindex compact
 EOM
                close $fh or die "close($f): $!";
        } else {