]> Sergey Matveev's repositories - public-inbox.git/commitdiff
index: ignore some warnings, set {current_info} for v1
authorEric Wong <e@80x24.org>
Wed, 16 Dec 2020 23:19:03 +0000 (23:19 +0000)
committerEric Wong <e@80x24.org>
Thu, 17 Dec 2020 19:41:13 +0000 (19:41 +0000)
-index runs on data that's already frozen in git, so there's
no point in warning users about it.

While we're at it, set the {current_info} prefix for v1 as
we do in v2 inboxes in case new problems show up.

lib/PublicInbox/Admin.pm
lib/PublicInbox/SearchIdx.pm

index eeef2f6324a8f2a3289eac8df769129d4510f831..3977d8125fda558cd060a258be780d8ca0bd5afc 100644 (file)
@@ -209,12 +209,20 @@ sub index_terminate {
 
 sub index_inbox {
        my ($ibx, $im, $opt) = @_;
+       require PublicInbox::InboxWritable;
        my $jobs = delete $opt->{jobs} if $opt;
        if (my $pr = $opt->{-progress}) {
                $pr->("indexing $ibx->{inboxdir} ...\n");
        }
        local %SIG = %SIG;
        setup_signals(\&index_terminate, $ibx);
+       my $warn_cb = $SIG{__WARN__} // sub { print STDERR @_ };
+       my $idx = { current_info => $ibx->{inboxdir} };
+       my $warn_ignore = PublicInbox::InboxWritable->can('warn_ignore');
+       local $SIG{__WARN__} = sub {
+               return if $warn_ignore->(@_);
+               $warn_cb->($idx->{current_info}, ': ', @_);
+       };
        if (ref($ibx) && $ibx->version == 2) {
                eval { require PublicInbox::V2Writable };
                die "v2 requirements not met: $@\n" if $@;
@@ -226,21 +234,18 @@ sub index_inbox {
                        } else {
                                my $n = $v2w->{shards};
                                if ($jobs < ($n + 1) && !$opt->{reshard}) {
-                                       warn
-"Unable to respect --jobs=$jobs on index, inbox was created with $n shards\n";
+                                       warn <<EOM;
+Unable to respect --jobs=$jobs on index, inbox was created with $n shards
+EOM
                                }
                        }
                }
-               my $warn_cb = $SIG{__WARN__} || sub { print STDERR @_ };
-               local $SIG{__WARN__} = sub {
-                       $warn_cb->($v2w->{current_info}, ': ', @_);
-               };
-               $v2w->index_sync($opt);
+               $idx = $v2w;
        } else {
                require PublicInbox::SearchIdx;
-               my $s = PublicInbox::SearchIdx->new($ibx, 1);
-               $s->index_sync($opt);
+               $idx = PublicInbox::SearchIdx->new($ibx, 1);
        }
+       $idx->index_sync($opt);
 }
 
 sub progress_prepare ($) {
index c6d2a0e88ba61dc9f7310aa40f2aab92966e621e..b731f6982f8bd1e6d44179d26a94f32c67726ae7 100644 (file)
@@ -617,6 +617,7 @@ sub index_both { # git->cat_async callback
        $size += crlf_adjust($$bref);
        my $smsg = bless { bytes => $size, blob => $oid }, 'PublicInbox::Smsg';
        my $self = $sync->{sidx};
+       local $self->{current_info} = "$self->{current_info}: $oid";
        my $eml = PublicInbox::Eml->new($bref);
        $smsg->{num} = index_mm($self, $eml, $oid, $sync) or
                die "E: could not generate NNTP article number for $oid";
@@ -628,7 +629,9 @@ sub index_both { # git->cat_async callback
 sub unindex_both { # git->cat_async callback
        my ($bref, $oid, $type, $size, $sync) = @_;
        return if is_bad_blob($oid, $type, $size, $sync->{oid});
-       unindex_eml($sync->{sidx}, $oid, PublicInbox::Eml->new($bref));
+       my $self = $sync->{sidx};
+       local $self->{current_info} = "$self->{current_info}: $oid";
+       unindex_eml($self, $oid, PublicInbox::Eml->new($bref));
        # may be undef if leftover
        if (defined(my $cur_cmt = $sync->{cur_cmt})) {
                ${$sync->{latest_cmt}} = $cur_cmt;
@@ -872,6 +875,7 @@ sub _index_sync {
        my ($self, $opt) = @_;
        my $tip = $opt->{ref} || 'HEAD';
        my $ibx = $self->{ibx};
+       local $self->{current_info} = "$ibx->{inboxdir}";
        $self->{batch_bytes} = $opt->{batch_size} // $BATCH_BYTES;
        $ibx->git->batch_prepare;
        my $pr = $opt->{-progress};