lib/PublicInbox/LeiLcat.pm

   1 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3
   4 # lcat: local cat, display a local message by Message-ID or blob,
   5 # extracting from URL necessary
   6 # "lei lcat <URL|SPEC>"
   7 package PublicInbox::LeiLcat;
   8 use strict;
   9 use v5.10.1;
  10 use PublicInbox::LeiViewText;
  11 use URI::Escape qw(uri_unescape);
  12 use PublicInbox::MID qw($MID_EXTRACT);
  13
  14 sub lcat_folder ($$$) {
  15         my ($lei, $lms, $folder) = @_;
  16         $lms //= $lei->{lse}->lms // return;
  17         my $folders = [ $folder];
  18         my $err = $lms->arg2folder($lei, $folders);
  19         $lei->qerr(@{$err->{qerr}}) if $err && $err->{qerr};
  20         if ($err && $err->{fail}) {
  21                 $lei->child_error(1 << 8, "# unknown folder: $folder");
  22         } else {
  23                 for my $f (@$folders) {
  24                         my $fid = $lms->fid_for($f);
  25                         push @{$lei->{lcat_fid}}, $fid;
  26                 }
  27         }
  28 }
  29
  30 sub lcat_imap_uri ($$) {
  31         my ($lei, $uri) = @_;
  32         my $lms = $lei->{lse}->lms or return;
  33         # cf. LeiXsearch->lcat_dump
  34         if (defined $uri->uid) {
  35                 my $oidhex = $lms->imap_oid($lei, $uri);
  36                 if (ref(my $err = $oidhex)) { # art2folder error
  37                         $lei->qerr(@{$err->{qerr}}) if $err->{qerr};
  38                 }
  39                 push @{$lei->{lcat_blob}}, $oidhex;
  40         } elsif (defined(my $fid = $lms->fid_for($$uri))) {
  41                 push @{$lei->{lcat_fid}}, $fid;
  42         } else {
  43                 lcat_folder($lei, $lms, $$uri);
  44         }
  45 }
  46
  47 sub extract_1 ($$) {
  48         my ($lei, $x) = @_;
  49         if ($x =~ m!\b(imaps?://[^>]+)!i) {
  50                 my $u = $1;
  51                 require PublicInbox::URIimap;
  52                 lcat_imap_uri($lei, PublicInbox::URIimap->new($u));
  53                 '""'; # blank query, using {lcat_blob} or {lcat_fid}
  54         } elsif ($x =~ m!\b(maildir:.+)!i) {
  55                 lcat_folder($lei, undef, $1);
  56                 '""'; # blank query, using {lcat_blob} or {lcat_fid}
  57         } elsif ($x =~ m!\b([a-z]+?://\S+)!i) {
  58                 my $u = $1;
  59                 $u =~ s/[\>\]\)\,\.\;]+\z//;
  60                 require URI;
  61                 $u = URI->new($u);
  62                 my $p = $u->path;
  63                 my $term;
  64                 if ($p =~ m!([^/]+\@[^/]+)!) { # common msgid pattern
  65                         $term = 'mid:'.uri_unescape($1);
  66
  67                         # is it a URL which returns the full thread?
  68                         if ($u->scheme =~ /\Ahttps?/i &&
  69                                 $p =~ m!/(?:T/?|t/?|t\.mbox\.gz|t\.atom)\b!) {
  70
  71                                 $lei->{mset_opt}->{threads} = 1;
  72                         }
  73                 } elsif ($u->scheme =~ /\Ahttps?/i &&
  74                                 # some msgids don't have '@', see if it looks like
  75                                 # a public-inbox URL:
  76                                 $p =~ m!/([^/]+)/(raw|t/?|T/?|
  77                                         t\.mbox\.gz|t\.atom)\z!x) {
  78                         $lei->{mset_opt}->{threads} = 1 if $2 && $2 ne 'raw';
  79                         $term = 'mid:'.uri_unescape($1);
  80                 }
  81                 $term;
  82         } elsif ($x =~ $MID_EXTRACT) { # <$MSGID>
  83                 "mid:$1";
  84         } elsif ($x =~ /\b((?:m|mid):\S+)/) { # our own prefixes (and mairix)
  85                 $1;
  86         } elsif ($x =~ /\bid:(\S+)/) { # notmuch convention
  87                 "mid:$1";
  88         } elsif ($x =~ /\bblob:([0-9a-f]{7,})\b/) {
  89                 push @{$lei->{lcat_blob}}, $1; # cf. LeiToMail->wq_atexit_child
  90                 '""'; # blank query
  91         } else {
  92                 undef;
  93         }
  94 }
  95
  96 sub extract_all {
  97         my ($lei, @argv) = @_;
  98         my $strict = !$lei->{opt}->{stdin};
  99         my @q;
 100         for my $x (@argv) {
 101                 if (my $term = extract_1($lei,$x)) {
 102                         push @q, $term;
 103                 } elsif ($strict) {
 104                         return $lei->fail(<<"");
 105 could not extract Message-ID from $x
 106
 107                 }
 108         }
 109         @q ? join(' OR ', @q) : $lei->fail("no Message-ID in: @argv");
 110 }
 111
 112 sub _stdin { # PublicInbox::InputPipe::consume callback for --stdin
 113         my ($lei) = @_; # $_[1] = $rbuf
 114         if (defined($_[1])) {
 115                 $_[1] eq '' and return eval {
 116                         $lei->fchdir or return;
 117                         my @argv = split(/\s+/, $lei->{mset_opt}->{qstr});
 118                         $lei->{mset_opt}->{qstr} = extract_all($lei, @argv)
 119                                 or return;
 120                         $lei->_start_query;
 121                 };
 122                 $lei->{mset_opt}->{qstr} .= $_[1];
 123         } else {
 124                 $lei->fail("error reading stdin: $!");
 125         }
 126 }
 127
 128 sub lei_lcat {
 129         my ($lei, @argv) = @_;
 130         my $lxs = $lei->lxs_prepare or return;
 131         $lei->ale->refresh_externals($lxs, $lei);
 132         my $sto = $lei->_lei_store(1);
 133         $lei->{lse} = $sto->search;
 134         my $opt = $lei->{opt};
 135         my %mset_opt = map { $_ => $opt->{$_} } qw(threads limit offset);
 136         $mset_opt{asc} = $opt->{'reverse'} ? 1 : 0;
 137         $mset_opt{limit} //= 10000;
 138         $opt->{sort} //= 'relevance';
 139         $mset_opt{relevance} = 1;
 140         $lei->{mset_opt} = \%mset_opt;
 141         $opt->{'format'} //= 'text' unless defined($opt->{output});
 142         if ($lei->{opt}->{stdin}) {
 143                 return $lei->fail(<<'') if @argv;
 144 no args allowed on command-line with --stdin
 145
 146                 require PublicInbox::InputPipe;
 147                 PublicInbox::InputPipe::consume($lei->{0}, \&_stdin, $lei);
 148                 return;
 149         }
 150         $lei->{mset_opt}->{qstr} = extract_all($lei, @argv) or return;
 151         $lei->_start_query;
 152 }
 153
 154 sub _complete_lcat {
 155         my ($lei, @argv) = @_;
 156         my $sto = $lei->_lei_store or return;
 157         my $lms = $sto->search->lms or return;
 158         my $match_cb = $lei->complete_url_prepare(\@argv);
 159         map { $match_cb->($_) } $lms->folders;
 160 }
 161
 162 1;