]> Sergey Matveev's repositories - public-inbox.git/blobdiff - lib/PublicInbox/Config.pm
imap+nntp: share COMPRESS implementation
[public-inbox.git] / lib / PublicInbox / Config.pm
index 1037c88495b92d05f012c3e85908ec5b1aaf451b..a31b5b74c7c7282ba1e3bb83e7fcc6603b7427bb 100644 (file)
@@ -1,4 +1,4 @@
-# Copyright (C) 2014-2021 all contributors <meta@public-inbox.org>
+# Copyright (C) all contributors <meta@public-inbox.org>
 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Used throughout the project for reading configuration
@@ -12,23 +12,24 @@ use strict;
 use v5.10.1;
 use PublicInbox::Inbox;
 use PublicInbox::Spawn qw(popen_rd);
+our $LD_PRELOAD = $ENV{LD_PRELOAD}; # only valid at startup
 
 sub _array ($) { ref($_[0]) eq 'ARRAY' ? $_[0] : [ $_[0] ] }
 
 # returns key-value pairs of config directives in a hash
 # if keys may be multi-value, the value is an array ref containing all values
 sub new {
-       my ($class, $file) = @_;
+       my ($class, $file, $errfh) = @_;
        $file //= default_file();
        my $self;
        if (ref($file) eq 'SCALAR') { # used by some tests
                open my $fh, '<', $file or die;  # PerlIO::scalar
                $self = config_fh_parse($fh, "\n", '=');
+               bless $self, $class;
        } else {
-               $self = git_config_dump($file);
+               $self = git_config_dump($class, $file, $errfh);
                $self->{'-f'} = $file;
        }
-       bless $self, $class;
        # caches
        $self->{-by_addr} = {};
        $self->{-by_list_id} = {};
@@ -96,6 +97,11 @@ sub lookup_ei {
        $self->{-ei_by_name}->{$name} //= _fill_ei($self, $name);
 }
 
+sub lookup_eidx_key {
+       my ($self, $eidx_key) = @_;
+       _lookup_fill($self, '-by_eidx_key', $eidx_key);
+}
+
 # special case for [extindex "all"]
 sub ALL { lookup_ei($_[0], 'all') }
 
@@ -158,13 +164,13 @@ sub config_fh_parse ($$$) {
 }
 
 sub git_config_dump {
-       my ($file) = @_;
-       return {} unless -e $file;
+       my ($class, $file, $errfh) = @_;
+       return bless {}, $class unless -e $file;
        my $cmd = [ qw(git config -z -l --includes), "--file=$file" ];
-       my $fh = popen_rd($cmd);
+       my $fh = popen_rd($cmd, undef, { 2 => $errfh // 2 });
        my $rv = config_fh_parse($fh, "\0", "\n");
-       close $fh or die "failed to close (@$cmd) pipe: $?";
-       $rv;
+       close $fh or die "@$cmd failed: \$?=$?\n";
+       bless $rv, $class;
 }
 
 sub valid_foo_name ($;$) {
@@ -317,39 +323,18 @@ sub parse_cgitrc {
        cgit_repo_merge($self, $repo->{dir}, $repo) if $repo;
 }
 
-# parse a code repo
-# Only git is supported at the moment, but SVN and Hg are possibilities
-sub _fill_code_repo {
+# parse a code repo, only git is supported at the moment
+sub fill_code_repo {
        my ($self, $nick) = @_;
        my $pfx = "coderepo.$nick";
-
-       # TODO: support gitweb and other repository viewers?
-       if (defined(my $cgitrc = delete $self->{-cgitrc_unparsed})) {
-               parse_cgitrc($self, $cgitrc, 0);
-       }
-       my $dir = $self->{"$pfx.dir"}; # aka "GIT_DIR"
-       unless (defined $dir) {
+       my $dir = $self->{"$pfx.dir"} // do { # aka "GIT_DIR"
                warn "$pfx.dir unset\n";
                return;
-       }
-
+       };
        my $git = PublicInbox::Git->new($dir);
-       foreach my $t (qw(blob commit tree tag)) {
-               $git->{$t.'_url_format'} =
-                               _array($self->{lc("$pfx.${t}UrlFormat")});
-       }
-
        if (defined(my $cgits = $self->{"$pfx.cgiturl"})) {
                $git->{cgit_url} = $cgits = _array($cgits);
                $self->{"$pfx.cgiturl"} = $cgits;
-
-               # cgit supports "/blob/?id=%s", but it's only a plain-text
-               # display and requires an unabbreviated id=
-               foreach my $t (qw(blob commit tag)) {
-                       $git->{$t.'_url_format'} //= map {
-                               "$_/$t/?id=%s"
-                       } @$cgits;
-               }
        }
 
        $git;
@@ -382,18 +367,18 @@ sub rel2abs_collapsed {
        Cwd::abs_path($p);
 }
 
-sub _one_val {
-       my ($self, $pfx, $k) = @_;
-       my $v = $self->{"$pfx.$k"} // return;
+sub get_1 {
+       my ($self, $key) = @_;
+       my $v = $self->{$key};
        return $v if !ref($v);
-       warn "W: $pfx.$k has multiple values, only using `$v->[-1]'\n";
+       warn "W: $key has multiple values, only using `$v->[-1]'\n";
        $v->[-1];
 }
 
 sub repo_objs {
        my ($self, $ibxish) = @_;
-       my $ibx_code_repos = $ibxish->{coderepo} or return;
-       $ibxish->{-repo_objs} //= do {
+       my $ibx_code_repos = $ibxish->{coderepo} // return;
+       $ibxish->{-repo_objs} // do {
                my $code_repos = $self->{-code_repos};
                my @repo_objs;
                for my $nick (@$ibx_code_repos) {
@@ -406,14 +391,13 @@ sub repo_objs {
                                next;
                        }
                        my $repo = $code_repos->{$nick} //=
-                                               _fill_code_repo($self, $nick);
+                                               fill_code_repo($self, $nick);
                        push @repo_objs, $repo if $repo;
                }
                if (scalar @repo_objs) {
-                       \@repo_objs;
+                       $ibxish ->{-repo_objs} = \@repo_objs;
                } else {
                        delete $ibxish->{coderepo};
-                       undef;
                }
        }
 }
@@ -422,13 +406,13 @@ sub _fill_ibx {
        my ($self, $name) = @_;
        my $pfx = "publicinbox.$name";
        my $ibx = {};
-       for my $k (qw(watch nntpserver)) {
+       for my $k (qw(watch)) {
                my $v = $self->{"$pfx.$k"};
                $ibx->{$k} = $v if defined $v;
        }
        for my $k (qw(filter inboxdir newsgroup replyto httpbackendmax feedmax
-                       indexlevel indexsequentialshard)) {
-               my $v = _one_val($self, $pfx, $k) // next;
+                       indexlevel indexsequentialshard boost)) {
+               my $v = get_1($self, "$pfx.$k") // next;
                $ibx->{$k} = $v;
        }
 
@@ -448,8 +432,10 @@ sub _fill_ibx {
        }
        # TODO: more arrays, we should support multi-value for
        # more things to encourage decentralization
-       for my $k (qw(address altid nntpmirror coderepo hide listid url
-                       infourl watchheader)) {
+       for my $k (qw(address altid nntpmirror imapmirror
+                       coderepo hide listid url
+                       infourl watchheader
+                       nntpserver imapserver pop3server)) {
                my $v = $self->{"$pfx.$k"} // next;
                $ibx->{$k} = _array($v);
        }
@@ -514,12 +500,16 @@ sub _fill_ei ($$) {
        my $pfx = "extindex.$name";
        my $d = $self->{"$pfx.topdir"} // return;
        -d $d or return;
+       if (index($d, "\n") >= 0) {
+               warn "E: `$d' must not contain `\\n'\n";
+               return;
+       }
        my $es = PublicInbox::ExtSearch->new($d);
        for my $k (qw(indexlevel indexsequentialshard)) {
-               my $v = _one_val($self, $pfx, $k) // next;
+               my $v = get_1($self, "$pfx.$k") // next;
                $es->{$k} = $v;
        }
-       for my $k (qw(altid coderepo hide url infourl)) {
+       for my $k (qw(coderepo hide url infourl)) {
                my $v = $self->{"$pfx.$k"} // next;
                $es->{$k} = _array($v);
        }
@@ -559,4 +549,13 @@ sub json {
        };
 }
 
+sub squote_maybe ($) {
+       my ($val) = @_;
+       if ($val =~ m{([^\w@\./,\%\+\-])}) {
+               $val =~ s/(['!])/'\\$1'/g; # '!' for csh
+               return "'$val'";
+       }
+       $val;
+}
+
 1;