script/public-inbox-index

   1 #!/usr/bin/perl -w
   2 # Copyright (C) 2015 all contributors <meta@public-inbox.org>
   3 # License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
   4 # Basic tool to create a Xapian search index for a git repository
   5 # configured for public-inbox.
   6 # Usage with libeatmydata <https://www.flamingspork.com/projects/libeatmydata/>
   7 # highly recommended: eatmydata public-inbox-index GIT_DIR
   8
   9 use strict;
  10 use warnings;
  11 use Getopt::Long qw(:config gnu_getopt no_ignore_case auto_abbrev);
  12 use Cwd 'abs_path';
  13 my $usage = "public-inbox-index GIT_DIR";
  14 use PublicInbox::Config;
  15 my $config = PublicInbox::Config->new;
  16 eval { require PublicInbox::SearchIdx };
  17 if ($@) {
  18         print STDERR "Search::Xapian required for $0\n";
  19         exit 1;
  20 }
  21
  22 my $reindex;
  23 my %opts = ( '--reindex' => \$reindex );
  24 GetOptions(%opts) or die "bad command-line args\n$usage";
  25
  26 my @dirs;
  27
  28 sub resolve_git_dir {
  29         my ($cd) = @_;
  30         my @cmd = qw(git rev-parse --git-dir);
  31         my $cmd = join(' ', @cmd);
  32         my $pid = open my $fh, '-|';
  33         defined $pid or die "forking $cmd failed: $!\n";
  34         if ($pid == 0) {
  35                 if (defined $cd) {
  36                         chdir $cd or die "chdir $cd failed: $!\n";
  37                 }
  38                 exec @cmd;
  39                 die "Failed to exec $cmd: $!\n";
  40         } else {
  41                 my $dir = eval {
  42                         local $/;
  43                         <$fh>;
  44                 };
  45                 close $fh or die "error in $cmd: $!\n";
  46                 chomp $dir;
  47                 return abs_path($cd) if ($dir eq '.' && defined $cd);
  48                 abs_path($dir);
  49         }
  50 }
  51
  52 if (@ARGV) {
  53         @dirs = map { resolve_git_dir($_) } @ARGV;
  54 } else {
  55         @dirs = (resolve_git_dir());
  56 }
  57
  58 sub usage { print STDERR "Usage: $usage\n"; exit 1 }
  59 usage() unless @dirs;
  60
  61 foreach my $k (keys %$config) {
  62         $k =~ /\Apublicinbox\.([^\.]+)\.mainrepo\z/ or next;
  63         my $name = $1;
  64         my $v = $config->{$k};
  65         for my $i (0..$#dirs) {
  66                 next if $dirs[$i] ne $v;
  67                 my $ibx = $config->lookup_name($name);
  68                 $dirs[$i] = $ibx if $ibx;
  69         }
  70 }
  71
  72 foreach my $dir (@dirs) {
  73         index_dir($dir);
  74 }
  75
  76 sub index_dir {
  77         my ($git_dir) = @_;
  78         if (!ref $git_dir && ! -d $git_dir) {
  79                 die "$git_dir does not appear to be a git repository\n";
  80         }
  81         my $s = PublicInbox::SearchIdx->new($git_dir, 1);
  82         $s->index_sync({ reindex => $reindex });
  83 }