script/public-inbox-edit

   1 #!/usr/bin/perl -w
   2 # Copyright (C) 2019 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 #
   5 # Used for editing messages in a public-inbox.
   6 # Supports v2 inboxes only, for now.
   7 use strict;
   8 use warnings;
   9 use Getopt::Long qw(:config gnu_getopt no_ignore_case auto_abbrev);
  10 use PublicInbox::AdminEdit;
  11 use File::Temp ();
  12 use PublicInbox::ContentId qw(content_id);
  13 use PublicInbox::MID qw(mid_clean mids);
  14 PublicInbox::Admin::check_require('-index');
  15 require PublicInbox::MIME;
  16 require PublicInbox::InboxWritable;
  17 require PublicInbox::Import;
  18
  19 my $usage = "$0 -m MESSAGE_ID [--all] [INBOX_DIRS]";
  20 my $opt = { verbose => 1, all => 0, -min_inbox_version => 2, raw => 0 };
  21 my @opt = qw(mid|m=s file|F=s raw);
  22 GetOptions($opt, @PublicInbox::AdminEdit::OPT, @opt) or
  23         die "bad command-line args\n$usage\n";
  24
  25 my $editor = $ENV{MAIL_EDITOR}; # e.g. "mutt -f"
  26 unless (defined $editor) {
  27         my $k = 'publicinbox.mailEditor';
  28         if (my $cfg = PublicInbox::Admin::config()) {
  29                 $editor = $cfg->{lc($k)};
  30         }
  31         unless (defined $editor) {
  32                 warn "\`$k' not configured, trying \`git var GIT_EDITOR'\n";
  33                 chomp($editor = `git var GIT_EDITOR`);
  34                 warn "Will use $editor to edit mail\n";
  35         }
  36 }
  37
  38 my $mid = $opt->{mid};
  39 my $file = $opt->{file};
  40 if (defined $mid && defined $file) {
  41         die "the --mid and --file options are mutually exclusive\n";
  42 }
  43
  44 my @ibxs = PublicInbox::Admin::resolve_inboxes(\@ARGV, $opt);
  45 PublicInbox::AdminEdit::check_editable(\@ibxs);
  46
  47 my $found = {}; # cid => [ [ibx, smsg] [, [ibx, smsg] ] ]
  48
  49 sub find_mid ($$$) {
  50         my ($found, $mid, $ibxs) = @_;
  51         foreach my $ibx (@$ibxs) {
  52                 my $over = $ibx->over;
  53                 my ($id, $prev);
  54                 while (my $smsg = $over->next_by_mid($mid, \$id, \$prev)) {
  55                         my $ref = $ibx->msg_by_smsg($smsg);
  56                         my $mime = PublicInbox::MIME->new($ref);
  57                         my $cid = content_id($mime);
  58                         my $tuple = [ $ibx, $smsg ];
  59                         push @{$found->{$cid} ||= []}, $tuple
  60                 }
  61                 delete @$ibx{qw(over mm git search)}; # cleanup
  62         }
  63         $found;
  64 }
  65
  66 sub show_cmd ($$) {
  67         my ($ibx, $smsg) = @_;
  68         " GIT_DIR=$ibx->{inboxdir}/all.git \\\n    git show $smsg->{blob}\n";
  69 }
  70
  71 sub show_found ($) {
  72         my ($found) = @_;
  73         foreach my $to_edit (values %$found) {
  74                 foreach my $tuple (@$to_edit) {
  75                         my ($ibx, $smsg) = @$tuple;
  76                         warn show_cmd($ibx, $smsg);
  77                 }
  78         }
  79 }
  80
  81 if (defined($mid)) {
  82         $mid = mid_clean($mid);
  83         find_mid($found, $mid, \@ibxs);
  84         my $nr = scalar(keys %$found);
  85         die "No message found for <$mid>\n" unless $nr;
  86         if ($nr > 1) {
  87                 warn <<"";
  88 Multiple messages with different content found matching
  89 <$mid>:
  90
  91                 show_found($found);
  92                 die "Use --force to edit all of them\n" if !$opt->{force};
  93                 warn "Will edit all of them\n";
  94         }
  95 } else {
  96         open my $fh, '<', $file or die "open($file) failed: $!";
  97         my $orig = do { local $/; <$fh> };
  98         my $mime = PublicInbox::MIME->new(\$orig);
  99         my $mids = mids($mime->header_obj);
 100         find_mid($found, $_, \@ibxs) for (@$mids); # populates $found
 101         my $cid = content_id($mime);
 102         my $to_edit = $found->{$cid};
 103         unless ($to_edit) {
 104                 my $nr = scalar(keys %$found);
 105                 if ($nr > 0) {
 106                         warn <<"";
 107 $nr matches to Message-ID(s) in $file, but none matched content
 108 Partial matches below:
 109
 110                         show_found($found);
 111                 } elsif ($nr == 0) {
 112                         $mids = join('', map { "  <$_>\n" } @$mids);
 113                         warn <<"";
 114 No matching messages found matching Message-ID(s) in $file
 115 $mids
 116
 117                 }
 118                 exit 1;
 119         }
 120         $found = { $cid => $to_edit };
 121 }
 122
 123 my %tmpopt = (
 124         TEMPLATE => 'public-inbox-edit-XXXXXX',
 125         TMPDIR => 1,
 126         SUFFIX => $opt->{raw} ? '.eml' : '.mbox',
 127 );
 128
 129 foreach my $to_edit (values %$found) {
 130         my $edit_fh = File::Temp->new(%tmpopt);
 131         $edit_fh->autoflush(1);
 132         my $edit_fn = $edit_fh->filename;
 133         my ($ibx, $smsg) = @{$to_edit->[0]};
 134         my $old_raw = $ibx->msg_by_smsg($smsg);
 135         delete @$ibx{qw(over mm git search)}; # cleanup
 136
 137         my $tmp = $$old_raw;
 138         if (!$opt->{raw}) {
 139                 my $oid = $smsg->{blob};
 140                 print $edit_fh "From mboxrd\@$oid Thu Jan  1 00:00:00 1970\n"
 141                         or die "failed to write From_ line: $!";
 142                 $tmp =~ s/^(>*From )/>$1/gm;
 143         }
 144         print $edit_fh $tmp or
 145                 die "failed to write tempfile for editing: $!";
 146
 147         # run the editor, respecting spaces/quote
 148 retry_edit:
 149         if (system(qw(sh -c), $editor.' "$@"', $editor, $edit_fn)) {
 150                 if (!(-t STDIN) && !$opt->{force}) {
 151                         die "E: $editor failed: $?\n";
 152                 }
 153                 print STDERR "$editor failed, ";
 154                 print STDERR "continuing as forced\n" if $opt->{force};
 155                 while (!$opt->{force}) {
 156                         print STDERR "(r)etry, (c)ontinue, (q)uit?\n";
 157                         chomp(my $op = <STDIN> || '');
 158                         $op = lc($op);
 159                         goto retry_edit if $op eq 'r';
 160                         if ($op eq 'q') {
 161                                 # n.b. we'll lose the exit signal, here,
 162                                 # oh well; "q" is user-specified anyways.
 163                                 exit($? >> 8);
 164                         }
 165                         last if $op eq 'c'; # continuing
 166                         print STDERR "\`$op' not recognized\n";
 167                 }
 168         }
 169
 170         # reread the edited file, not using $edit_fh since $EDITOR may
 171         # rename/relink $edit_fn
 172         open my $new_fh, '<', $edit_fn or
 173                 die "can't read edited file ($edit_fn): $!\n";
 174         my $new_raw = do { local $/; <$new_fh> };
 175
 176         if (!$opt->{raw}) {
 177                 # get rid of the From we added
 178                 $new_raw =~ s/\A[\r\n]*From [^\r\n]*\r?\n//s;
 179
 180                 # check if user forgot to purge (in mutt) after editing
 181                 if ($new_raw =~ /^From /sm) {
 182                         if (-t STDIN) {
 183                                 print STDERR <<'';
 184 Extra "From " lines detected in new mbox.
 185 Did you forget to purge the original message from the mbox after editing?
 186
 187                                 while (1) {
 188                                         print STDERR <<"";
 189 (y)es to re-edit, (n)o to continue
 190
 191                                         chomp(my $op = <STDIN> || '');
 192                                         $op = lc($op);
 193                                         goto retry_edit if $op eq 'y';
 194                                         last if $op eq 'n'; # continuing
 195                                         print STDERR "\`$op' not recognized\n";
 196                                 }
 197                         } else { # non-interactive path
 198                                 # unlikely to happen, as extra From lines are
 199                                 # only a common mistake (for me) with
 200                                 # interactive use
 201                                 warn <<"";
 202 W: possible message boundary splitting error
 203
 204                         }
 205                 }
 206                 # unescape what we escaped:
 207                 $new_raw =~ s/^>(>*From )/$1/gm;
 208         }
 209
 210         my $new_mime = PublicInbox::MIME->new(\$new_raw);
 211         my $old_mime = PublicInbox::MIME->new($old_raw);
 212
 213         # make sure we don't compare unwanted headers, since mutt adds
 214         # Content-Length, Status, and Lines headers:
 215         PublicInbox::Import::drop_unwanted_headers($new_mime);
 216         PublicInbox::Import::drop_unwanted_headers($old_mime);
 217
 218         # allow changing Received: and maybe other headers which can
 219         # contain sensitive info.
 220         my $nhdr = $new_mime->header_obj;
 221         my $ohdr = $old_mime->header_obj;
 222         if (($nhdr->as_string eq $ohdr->as_string) &&
 223             (content_id($new_mime) eq content_id($old_mime))) {
 224                 warn "No change detected to:\n", show_cmd($ibx, $smsg);
 225
 226                 next unless $opt->{verbose};
 227                 # should we consider this machine-parseable?
 228                 PublicInbox::AdminEdit::show_rewrites(\*STDOUT, $ibx, []);
 229                 next;
 230         }
 231
 232         foreach my $tuple (@$to_edit) {
 233                 $ibx = PublicInbox::InboxWritable->new($tuple->[0]);
 234                 $smsg = $tuple->[1];
 235                 my $im = $ibx->importer(0);
 236                 my $commits = $im->replace($old_mime, $new_mime);
 237                 $im->done;
 238                 unless ($commits) {
 239                         warn "Failed to replace:\n", show_cmd($ibx, $smsg);
 240                         next;
 241                 }
 242                 next unless $opt->{verbose};
 243                 # should we consider this machine-parseable?
 244                 PublicInbox::AdminEdit::show_rewrites(\*STDOUT, $ibx, $commits);
 245         }
 246 }