]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/LeiOverview.pm
lei convert: mail format conversion sub-command
[public-inbox.git] / lib / PublicInbox / LeiOverview.pm
index 366af8b2768d8c35d281f098a280396285938600..3169bae62569a464146185b08fe23e691aec1406 100644 (file)
@@ -23,7 +23,7 @@ my $JSONL = 'ldjson|ndjson|jsonl'; # 3 names for the same thing
 
 sub _iso8601 ($) { strftime('%Y-%m-%dT%H:%M:%SZ', gmtime($_[0])) }
 
-# we open this in the parent process before ->wq_do handoff
+# we open this in the parent process before ->wq_io_do handoff
 sub ovv_out_lk_init ($) {
        my ($self) = @_;
        my $tmp = File::Temp->new("lei-ovv.dst.$$.lock-XXXXXX",
@@ -51,18 +51,19 @@ sub detect_fmt ($$) {
 }
 
 sub new {
-       my ($class, $lei) = @_;
+       my ($class, $lei, $ofmt_key) = @_;
        my $opt = $lei->{opt};
        my $dst = $opt->{output} // '-';
        $dst = '/dev/stdout' if $dst eq '-';
+       $ofmt_key //= 'format';
 
-       my $fmt = $opt->{'format'};
+       my $fmt = $opt->{$ofmt_key};
        $fmt = lc($fmt) if defined $fmt;
        if ($dst =~ s/\A([a-z0-9]+)://is) { # e.g. Maildir:/home/user/Mail/
                my $ofmt = lc $1;
                $fmt //= $ofmt;
                return $lei->fail(<<"") if $fmt ne $ofmt;
---format=$fmt and --output=$ofmt conflict
+--$ofmt_key=$fmt and --output=$ofmt conflict
 
        }
        $fmt //= 'json' if $dst eq '/dev/stdout';
@@ -78,10 +79,8 @@ sub new {
        if ($fmt =~ /\A($JSONL|(?:concat)?json)\z/) {
                $json = $self->{json} = ref(PublicInbox::Config->json);
        }
-       my ($isatty, $seekable);
        if ($dst eq '/dev/stdout') {
-               $isatty = -t $lei->{1};
-               $lei->start_pager if $isatty;
+               my $isatty = $lei->{need_pager} = -t $lei->{1};
                $opt->{pretty} //= $isatty;
                if (!$isatty && -f _) {
                        my $fl = fcntl($lei->{1}, F_GETFL, 0) //
@@ -97,9 +96,13 @@ sub new {
                $lei->{dedupe} //= PublicInbox::LeiDedupe->new($lei);
        } else {
                # default to the cheapest sort since MUA usually resorts
-               $lei->{opt}->{'sort'} //= 'docid' if $dst ne '/dev/stdout';
+               $opt->{'sort'} //= 'docid' if $dst ne '/dev/stdout';
                $lei->{l2m} = eval { PublicInbox::LeiToMail->new($lei) };
                return $lei->fail($@) if $@;
+               if ($opt->{mua} && $lei->{l2m}->lock_free) {
+                       $lei->{early_mua} = 1;
+                       $opt->{alert} //= [ ':WINCH,:bell' ] if -t $lei->{1};
+               }
        }
        $self;
 }
@@ -149,17 +152,6 @@ sub _unbless_smsg {
 
 sub ovv_atexit_child {
        my ($self, $lei) = @_;
-       if (my $l2m = $lei->{l2m}) {
-               # wait for ->write_mail work we submitted to lei2mail
-               if (my $rd = delete $l2m->{each_smsg_done}) {
-                       read($rd, my $buf, 1); # wait for EOF
-               }
-       }
-       # order matters, git->{-tmp}->DESTROY must not fire until
-       # {each_smsg_done} hits EOF above
-       if (my $git = delete $self->{git}) {
-               $git->async_wait_all;
-       }
        if (my $bref = delete $lei->{ovv_buf}) {
                my $lk = $self->lock_for_scope;
                $lei->out($$bref);
@@ -195,7 +187,6 @@ sub _json_pretty {
 sub ovv_each_smsg_cb { # runs in wq worker usually
        my ($self, $lei, $ibxish) = @_;
        my ($json, $dedupe);
-       $lei->{1}->autoflush(1);
        if (my $pkg = $self->{json}) {
                $json = $pkg->new;
                $json->utf8->canonical;
@@ -208,7 +199,6 @@ sub ovv_each_smsg_cb { # runs in wq worker usually
        }
        $lei->{ovv_buf} = \(my $buf = '') if !$l2m;
        if ($l2m && !$ibxish) { # remote https?:// mboxrd
-               delete $l2m->{-wq_s1};
                my $g2m = $l2m->can('git_to_mail');
                my $wcb = $l2m->write_cb($lei);
                sub {
@@ -216,35 +206,12 @@ sub ovv_each_smsg_cb { # runs in wq worker usually
                        $wcb->(undef, $smsg, $eml);
                };
        } elsif ($l2m && $l2m->{-wq_s1}) {
-               my $sock = delete $lei->{sock}; # lei2mail doesn't need it
-               my ($lei_ipc, @io) = $lei->atfork_parent_wq($l2m);
-               $lei->{sock} = $sock if $sock;
-               # $io[0] becomes a notification pipe that triggers EOF
-               # in this wq worker when all outstanding ->write_mail
-               # calls are complete
-               $io[0] = undef;
-               pipe($l2m->{each_smsg_done}, $io[0]) or die "pipe: $!";
-               fcntl($io[0], 1031, 4096) if $^O eq 'linux'; # F_SETPIPE_SZ
-               delete @$lei_ipc{qw(l2m opt mset_opt cmd)};
-               my $git = $ibxish->git; # (LeiXSearch|Inbox|ExtSearch)->git
-               $self->{git} = $git;
-               my $git_dir = $git->{git_dir};
+               my $git_dir = $ibxish->git->{git_dir};
                sub {
                        my ($smsg, $mitem) = @_;
                        $smsg->{pct} = get_pct($mitem) if $mitem;
-                       $l2m->wq_do('write_mail', \@io, $git_dir, $smsg,
-                                       $lei_ipc);
+                       $l2m->wq_io_do('write_mail', [], $git_dir, $smsg);
                }
-       } elsif ($l2m) {
-               my $wcb = $l2m->write_cb($lei);
-               my $git = $ibxish->git; # (LeiXSearch|Inbox|ExtSearch)->git
-               $self->{git} = $git; # for ovv_atexit_child
-               my $g2m = $l2m->can('git_to_mail');
-               sub {
-                       my ($smsg, $mitem) = @_;
-                       $smsg->{pct} = get_pct($mitem) if $mitem;
-                       $git->cat_async($smsg->{blob}, $g2m, [ $wcb, $smsg ]);
-               };
        } elsif ($self->{fmt} =~ /\A(concat)?json\z/ && $lei->{opt}->{pretty}) {
                my $EOR = ($1//'') eq 'concat' ? "\n}" : "\n},";
                sub { # DIY prettiness :P
@@ -278,7 +245,9 @@ sub ovv_each_smsg_cb { # runs in wq worker usually
                        $lei->out($buf);
                        $buf = '';
                }
-       } # else { ...
+       } else {
+               die "TODO: unhandled case $self->{fmt}"
+       }
 }
 
 no warnings 'once';