lib/PublicInbox/LeiInspect.pm

   1 # Copyright (C) 2021 all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3
   4 # "lei inspect" general purpose inspector for stuff in SQLite and
   5 # Xapian.  Will eventually be useful with plain public-inboxes,
   6 # not just lei/store.  This is totally half-baked at the moment
   7 # but useful for testing.
   8 package PublicInbox::LeiInspect;
   9 use strict;
  10 use v5.10.1;
  11 use PublicInbox::Config;
  12
  13 sub inspect_blob ($$) {
  14         my ($lei, $oidhex) = @_;
  15         my $ent = {};
  16         if (my $lse = $lei->{lse}) {
  17                 my @docids = $lse ? $lse->over->blob_exists($oidhex) : ();
  18                 $ent->{'lei/store'} = \@docids if @docids;
  19                 my $lms = $lse->lms;
  20                 if (my $loc = $lms ? $lms->locations_for($oidhex) : undef) {
  21                         $ent->{'mail-sync'} = $loc;
  22                 }
  23         }
  24         $ent;
  25 }
  26
  27 sub inspect_imap_uid ($$) {
  28         my ($lei, $uid_uri) = @_;
  29         my $ent = {};
  30         my $lse = $lei->{lse} or return $ent;
  31         my $lms = $lse->lms or return $ent;
  32         my $oidhex = $lms->imap_oid($lei, $uid_uri);
  33         if (ref(my $err = $oidhex)) { # art2folder error
  34                 $lei->qerr(@{$err->{qerr}}) if $err->{qerr};
  35         }
  36         $ent->{$$uid_uri} = $oidhex;
  37         $ent;
  38 }
  39
  40 sub inspect_sync_folder ($$) {
  41         my ($lei, $folder) = @_;
  42         my $ent = {};
  43         my $lse = $lei->{lse} or return $ent;
  44         my $lms = $lse->lms or return $ent;
  45         my $folders = [ $folder ];
  46         my $err = $lms->arg2folder($lei, $folders);
  47         if ($err) {
  48                 if ($err->{fail}) {
  49                         $lei->qerr("# no folders match $folder (non-fatal)");
  50                         @$folders = ();
  51                 }
  52                 $lei->qerr(@{$err->{qerr}}) if $err->{qerr};
  53         }
  54         for my $f (@$folders) {
  55                 $ent->{$f} = $lms->location_stats($f); # may be undef
  56         }
  57         $ent
  58 }
  59
  60 sub inspect_docid ($$;$) {
  61         my ($lei, $docid, $ent) = @_;
  62         require PublicInbox::Search;
  63         $ent //= {};
  64         my $xdb;
  65         if ($xdb = delete $ent->{xdb}) { # from inspect_num
  66         } elsif (defined(my $dir = $lei->{opt}->{dir})) {
  67                 no warnings 'once';
  68                 $xdb = $PublicInbox::Search::X{Database}->new($dir);
  69         } else {
  70                 $xdb = $lei->{lse}->xdb;
  71         }
  72         $xdb or return $lei->fail('no Xapian DB');
  73         my $doc = $xdb->get_document($docid); # raises
  74         my $data = $doc->get_data;
  75         $ent->{docid} = $docid;
  76         $ent->{data_length} = length($data);
  77         $ent->{description} => $doc->get_description;
  78         $ent->{$_} = $doc->$_ for (qw(termlist_count values_count));
  79         my $cur = $doc->termlist_begin;
  80         my $end = $doc->termlist_end;
  81         for (; $cur != $end; $cur++) {
  82                 my $tn = $cur->get_termname;
  83                 $tn =~ s/\A([A-Z]+)// or warn "$tn no prefix! (???)";
  84                 my $term = ($1 // '');
  85                 push @{$ent->{terms}->{$term}}, $tn;
  86         }
  87         @$_ = sort(@$_) for values %{$ent->{terms} // {}};
  88         $cur = $doc->values_begin;
  89         $end = $doc->values_end;
  90         for (; $cur != $end; $cur++) {
  91                 my $n = $cur->get_valueno;
  92                 my $v = $cur->get_value;
  93                 my $iv = PublicInbox::Search::sortable_unserialise($v);
  94                 $v = $iv + 0 if defined $iv;
  95                 # not using ->[$n] since we may have large gaps in $n
  96                 $ent->{'values'}->{$n} = $v;
  97         }
  98         $ent;
  99 }
 100
 101 sub inspect_num ($$) {
 102         my ($lei, $num) = @_;
 103         my ($docid, $ibx);
 104         my $ent = { num => $num };
 105         if (defined(my $dir = $lei->{opt}->{dir})) {
 106                 my $num2docid = $lei->{lse}->can('num2docid');
 107                 if (-f "$dir/ei.lock") {
 108                         require PublicInbox::ExtSearch;
 109                         $ibx = PublicInbox::ExtSearch->new($dir);
 110                 } elsif (-f "$dir/inbox.lock" || -d "$dir/public-inbox") {
 111                         require PublicInbox::Inbox; # v2, v1
 112                         $ibx = bless { inboxdir => $dir }, 'PublicInbox::Inbox';
 113                 }
 114                 $ent->{xdb} = $ibx->xdb //
 115                         return $lei->fail("no Xapian DB for $dir");
 116                 $docid = $num2docid->($ibx, $num);
 117         } else {
 118                 $ibx = $lei->{lse};
 119                 $lei->{lse}->xdb; # set {nshard} for num2docid
 120                 $docid = $lei->{lse}->num2docid($num);
 121         }
 122         if ($ibx && $ibx->over) {
 123                 my $smsg = $ibx->over->get_art($num);
 124                 $ent->{smsg} = { %$smsg } if $smsg;
 125         }
 126         inspect_docid($lei, $docid, $ent);
 127 }
 128
 129 sub inspect1 ($$$) {
 130         my ($lei, $item, $more) = @_;
 131         my $ent;
 132         if ($item =~ /\Ablob:(.+)/) {
 133                 $ent = inspect_blob($lei, $1);
 134         } elsif ($item =~ m!\Aimaps?://!i) {
 135                 require PublicInbox::URIimap;
 136                 my $uri = PublicInbox::URIimap->new($item);
 137                 if (defined($uri->uid)) {
 138                         $ent = inspect_imap_uid($lei, $uri);
 139                 } else {
 140                         $ent = inspect_sync_folder($lei, $item);
 141                 }
 142         } elsif ($item =~ m!\A(?:maildir|mh):!i || -d $item) {
 143                 $ent = inspect_sync_folder($lei, $item);
 144         } elsif ($item =~ m!\Adocid:([0-9]+)\z!) {
 145                 $ent = inspect_docid($lei, $1 + 0);
 146         } elsif ($item =~ m!\Anum:([0-9]+)\z!) {
 147                 $ent = inspect_num($lei, $1 + 0);
 148         } else { # TODO: more things
 149                 return $lei->fail("$item not understood");
 150         }
 151         $lei->out($lei->{json}->encode($ent));
 152         $lei->out(',') if $more;
 153         1;
 154 }
 155
 156 sub lei_inspect {
 157         my ($lei, @argv) = @_;
 158         $lei->{json} = ref(PublicInbox::Config::json())->new->utf8->canonical;
 159         $lei->{lse} = ($lei->{opt}->{external} // 1) ? do {
 160                 my $sto = $lei->_lei_store;
 161                 $sto ? $sto->search : undef;
 162         } : undef;
 163         if ($lei->{opt}->{pretty} || -t $lei->{1}) {
 164                 $lei->{json}->pretty(1)->indent(2);
 165         }
 166         $lei->start_pager if -t $lei->{1};
 167         $lei->{1}->autoflush(0);
 168         my $multi = scalar(@argv) > 1;
 169         $lei->out('[') if $multi;
 170         while (defined(my $x = shift @argv)) {
 171                 inspect1($lei, $x, scalar(@argv)) or return;
 172         }
 173         $lei->out(']') if $multi;
 174 }
 175
 176 sub _complete_inspect {
 177         my ($lei, @argv) = @_;
 178         my $sto = $lei->_lei_store or return;
 179         my $lms = $sto->search->lms or return;
 180         my $match_cb = $lei->complete_url_prepare(\@argv);
 181         map { $match_cb->($_) } $lms->folders;
 182 }
 183
 184 1;