]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/Gcf2.pm
99f4ae04e75587b28ca54c8817376a8971edf3ee
[public-inbox.git] / lib / PublicInbox / Gcf2.pm
1 # Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3
4 # backend for a git-cat-file-workalike based on libgit2,
5 # other libgit2 stuff may go here, too.
6 package PublicInbox::Gcf2;
7 use strict;
8 use v5.10.1;
9 use PublicInbox::Spawn qw(which popen_rd); # may set PERL_INLINE_DIRECTORY
10 use Fcntl qw(LOCK_EX);
11 use IO::Handle; # autoflush
12 my (%CFG, $c_src, $lockfh);
13 BEGIN {
14         # PublicInbox::Spawn will set PERL_INLINE_DIRECTORY
15         # to ~/.cache/public-inbox/inline-c if it exists
16         my $inline_dir = $ENV{PERL_INLINE_DIRECTORY} //
17                 die 'PERL_INLINE_DIRECTORY not defined';
18         my $f = "$inline_dir/.public-inbox.lock";
19         open $lockfh, '>', $f or die "failed to open $f: $!\n";
20         my $pc = which($ENV{PKG_CONFIG} // 'pkg-config');
21         my ($dir) = (__FILE__ =~ m!\A(.+?)/[^/]+\z!);
22         my $rdr = {};
23         open $rdr->{2}, '>', '/dev/null' or die "open /dev/null: $!";
24         for my $x (qw(libgit2)) {
25                 my $l = popen_rd([$pc, '--libs', $x], undef, $rdr);
26                 $l = do { local $/; <$l> };
27                 next if $?;
28                 my $c = popen_rd([$pc, '--cflags', $x], undef, $rdr);
29                 $c = do { local $/; <$c> };
30                 next if $?;
31
32                 # note: we name C source files .h to prevent
33                 # ExtUtils::MakeMaker from automatically trying to
34                 # build them.
35                 my $f = "$dir/gcf2_$x.h";
36                 if (open(my $fh, '<', $f)) {
37                         chomp($l, $c);
38                         local $/;
39                         defined($c_src = <$fh>) or die "read $f: $!\n";
40                         $CFG{LIBS} = $l;
41                         $CFG{CCFLAGSEX} = $c;
42                         last;
43                 } else {
44                         die "E: $f: $!\n";
45                 }
46         }
47         die "E: libgit2 not installed\n" unless $c_src;
48
49         # CentOS 7.x ships Inline 0.53, 0.64+ has built-in locking
50         flock($lockfh, LOCK_EX) or die "LOCK_EX failed on $f: $!\n";
51 }
52
53 # we use Capitalized and ALLCAPS for compatibility with old Inline::C
54 use Inline C => Config => %CFG, BOOT => 'git_libgit2_init();';
55 use Inline C => $c_src;
56 undef $c_src;
57 undef %CFG;
58 undef $lockfh;
59
60 sub add_alt ($$) {
61         my ($gcf2, $objdir) = @_;
62
63         # libgit2 (tested 0.27.7+dfsg.1-0.2 and 0.28.3+dfsg.1-1~bpo10+1
64         # in Debian) doesn't handle relative epochs properly when nested
65         # multiple levels.  Add all the absolute paths to workaround it,
66         # since $EXTINDEX_DIR/ALL.git/objects/info/alternates uses absolute
67         # paths to reference $V2INBOX_DIR/all.git/objects and
68         # $V2INBOX_DIR/all.git/objects/info/alternates uses relative paths
69         # to refer to $V2INBOX_DIR/git/$EPOCH.git/objects
70         #
71         # See https://bugs.debian.org/975607
72         if (open(my $fh, '<', "$objdir/info/alternates")) {
73                 chomp(my @abs_alt = grep(m!^/!, <$fh>));
74                 $gcf2->add_alternate($_) for @abs_alt;
75         }
76         $gcf2->add_alternate($objdir);
77         1;
78 }
79
80 # Usage: $^X -MPublicInbox::Gcf2 -e PublicInbox::Gcf2::loop
81 # (see lib/PublicInbox/Gcf2Client.pm)
82 sub loop () {
83         my $gcf2 = new();
84         my %seen;
85         STDERR->autoflush(1);
86         STDOUT->autoflush(1);
87
88         while (<STDIN>) {
89                 chomp;
90                 my ($oid, $git_dir) = split(/ /, $_, 2);
91                 $seen{$git_dir} //= add_alt($gcf2, "$git_dir/objects");
92                 if (!$gcf2->cat_oid(1, $oid)) {
93                         # retry once if missing.  We only get unabbreviated OIDs
94                         # from SQLite or Xapian DBs, here, so malicious clients
95                         # can't trigger excessive retries:
96                         warn "I: $$ $oid missing, retrying in $git_dir\n";
97
98                         $gcf2 = new();
99                         %seen = ($git_dir => add_alt($gcf2,"$git_dir/objects"));
100
101                         if ($gcf2->cat_oid(1, $oid)) {
102                                 warn "I: $$ $oid found after retry\n";
103                         } else {
104                                 warn "W: $$ $oid missing after retry\n";
105                                 print "$oid missing\n"; # mimic git-cat-file
106                         }
107                 }
108         }
109 }
110
111 1;