]> Sergey Matveev's repositories - public-inbox.git/commitdiff
config: we always have {-section_order}
authorEric Wong <e@80x24.org>
Tue, 15 Oct 2019 00:38:06 +0000 (00:38 +0000)
committerEric Wong <e@80x24.org>
Tue, 15 Oct 2019 20:26:41 +0000 (20:26 +0000)
Rewrite a bunch of tests to use ordered input (emulating
"git config -l" output) so we can always walk sections in
the order they were given in the config file.

14 files changed:
lib/PublicInbox/Config.pm
t/config.t
t/config_limiter.t
t/psgi_attach.t
t/psgi_bad_mids.t
t/psgi_mount.t
t/psgi_multipart_not.t
t/psgi_scan_all.t
t/psgi_search.t
t/psgi_text.t
t/psgi_v2.t
t/watch_filter_rubylang.t
t/watch_maildir.t
t/watch_maildir_v2.t

index c2fa40f970d6575306e02c93cdf0f148ffdcc89b..b7e03af37e652b9e758a2b0646ed2fdab530c3c7 100644 (file)
@@ -20,9 +20,14 @@ sub _array ($) { ref($_[0]) eq 'ARRAY' ? $_[0] : [ $_[0] ] }
 sub new {
        my ($class, $file) = @_;
        $file = default_file() unless defined($file);
-       $file = ref $file ? $file : git_config_dump($file);
-       my $self = bless $file, $class;
-
+       my $self;
+       if (ref($file) eq 'SCALAR') { # used by some tests
+               open my $fh, '<', $file or die;  # PerlIO::scalar
+               $self = config_fh_parse($fh, "\n", '=');
+       } else {
+               $self = git_config_dump($file);
+       }
+       bless $self, $class;
        # caches
        $self->{-by_addr} ||= {};
        $self->{-by_list_id} ||= {};
@@ -119,22 +124,12 @@ sub lookup_name ($$) {
 
 sub each_inbox {
        my ($self, $cb) = @_;
-       if (my $section_order = $self->{-section_order}) {
-               foreach my $section (@$section_order) {
-                       next if $section !~ m!\Apublicinbox\.([^/]+)\z!;
-                       $self->{"publicinbox.$1.mainrepo"} or next;
-                       my $ibx = lookup_name($self, $1) or next;
-                       $cb->($ibx);
-               }
-       } else {
-               my %seen;
-               foreach my $k (keys %$self) {
-                       $k =~ m!\Apublicinbox\.([^/]+)\.mainrepo\z! or next;
-                       next if $seen{$1};
-                       $seen{$1} = 1;
-                       my $ibx = lookup_name($self, $1) or next;
-                       $cb->($ibx);
-               }
+       # may auto-vivify if config file is non-existent:
+       foreach my $section (@{$self->{-section_order}}) {
+               next if $section !~ m!\Apublicinbox\.([^/]+)\z!;
+               $self->{"publicinbox.$1.mainrepo"} or next;
+               my $ibx = lookup_name($self, $1) or next;
+               $cb->($ibx);
        }
 }
 
@@ -175,19 +170,14 @@ sub default_file {
        config_dir() . '/config';
 }
 
-sub git_config_dump {
-       my ($file) = @_;
-       my (%section_seen, @section_order);
-       return {} unless -e $file;
-       my @cmd = (qw/git config -z -l/, "--file=$file");
-       my $cmd = join(' ', @cmd);
-       my $fh = popen_rd(\@cmd) or die "popen_rd failed for $file: $!\n";
+sub config_fh_parse ($$$) {
+       my ($fh, $rs, $fs) = @_;
        my %rv;
-       local $/ = "\0";
+       my (%section_seen, @section_order);
+       local $/ = $rs;
        while (defined(my $line = <$fh>)) {
                chomp $line;
-               my ($k, $v) = split(/\n/, $line, 2);
-
+               my ($k, $v) = split($fs, $line, 2);
                my ($section) = ($k =~ /\A(\S+)\.[^\.]+\z/);
                unless (defined $section_seen{$section}) {
                        $section_seen{$section} = 1;
@@ -205,12 +195,22 @@ sub git_config_dump {
                        $rv{$k} = $v;
                }
        }
-       close $fh or die "failed to close ($cmd) pipe: $?";
        $rv{-section_order} = \@section_order;
 
        \%rv;
 }
 
+sub git_config_dump {
+       my ($file) = @_;
+       return {} unless -e $file;
+       my @cmd = (qw/git config -z -l/, "--file=$file");
+       my $cmd = join(' ', @cmd);
+       my $fh = popen_rd(\@cmd) or die "popen_rd failed for $file: $!\n";
+       my $rv = config_fh_parse($fh, "\0", "\n");
+       close $fh or die "failed to close ($cmd) pipe: $?";
+       $rv;
+}
+
 sub valid_inbox_name ($) {
        my ($name) = @_;
 
index a3c74fa2584771f02ffa5c21353471f32df13e66..3b4b12b32c20715ccfa60c6a665b43da9036212a 100644 (file)
@@ -58,30 +58,33 @@ my $tmpdir = tempdir('pi-config-XXXXXX', TMPDIR => 1, CLEANUP => 1);
 {
        my $cfgpfx = "publicinbox.test";
        my @altid = qw(serial:gmane:file=a serial:enamg:file=b);
-       my $config = PublicInbox::Config->new({
-               "$cfgpfx.address" => 'test@example.com',
-               "$cfgpfx.mainrepo" => '/path/to/non/existent',
-               "$cfgpfx.altid" => [ @altid ],
-       });
+       my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=test\@example.com
+$cfgpfx.mainrepo=/path/to/non/existent
+$cfgpfx.altid=serial:gmane:file=a
+$cfgpfx.altid=serial:enamg:file=b
+EOF
        my $ibx = $config->lookup_name('test');
        is_deeply($ibx->{altid}, [ @altid ]);
 }
 
 {
        my $pfx = "publicinbox.test";
-       my %h = (
-               "$pfx.address" => 'test@example.com',
-               "$pfx.mainrepo" => '/path/to/non/existent',
-               "publicinbox.nntpserver" => 'news.example.com',
-       );
-       my %tmp = %h;
-       my $cfg = PublicInbox::Config->new(\%tmp);
+       my $str = <<EOF;
+$pfx.address=test\@example.com
+$pfx.mainrepo=/path/to/non/existent
+publicinbox.nntpserver=news.example.com
+EOF
+       my $cfg = PublicInbox::Config->new(\$str);
        my $ibx = $cfg->lookup_name('test');
        is($ibx->{nntpserver}, 'news.example.com', 'global NNTP server');
 
-       delete $h{'publicinbox.nntpserver'};
-       $h{"$pfx.nntpserver"} = 'news.alt.example.com';
-       $cfg = PublicInbox::Config->new(\%h);
+       $str = <<EOF;
+$pfx.address=test\@example.com
+$pfx.mainrepo=/path/to/non/existent
+$pfx.nntpserver=news.alt.example.com
+EOF
+       $cfg = PublicInbox::Config->new(\$str);
        $ibx = $cfg->lookup_name('test');
        is($ibx->{nntpserver}, 'news.alt.example.com','per-inbox NNTP server');
 }
@@ -90,17 +93,15 @@ my $tmpdir = tempdir('pi-config-XXXXXX', TMPDIR => 1, CLEANUP => 1);
 {
        my $pfx = "publicinbox.test";
        my $pfx2 = "publicinbox.foo";
-       my %h = (
-               "$pfx.address" => 'test@example.com',
-               "$pfx.mainrepo" => '/path/to/non/existent',
-               "$pfx2.address" => 'foo@example.com',
-               "$pfx2.mainrepo" => '/path/to/foo',
-               lc("publicinbox.noObfuscate") =>
-                       'public-inbox.org @example.com z@EXAMPLE.com',
-               "$pfx.obfuscate" => 'true', # :<
-       );
-       my %tmp = %h;
-       my $cfg = PublicInbox::Config->new(\%tmp);
+       my $str = <<EOF;
+$pfx.address=test\@example.com
+$pfx.mainrepo=/path/to/non/existent
+$pfx2.address=foo\@example.com
+$pfx2.mainrepo=/path/to/foo
+publicinbox.noobfuscate=public-inbox.org \@example.com z\@EXAMPLE.com
+$pfx.obfuscate=true
+EOF
+       my $cfg = PublicInbox::Config->new(\$str);
        my $ibx = $cfg->lookup_name('test');
        my $re = $ibx->{-no_obfuscate_re};
        like('meta@public-inbox.org', $re,
@@ -174,16 +175,16 @@ for my $s (@valid) {
 {
        my $pfx1 = "publicinbox.test1";
        my $pfx2 = "publicinbox.test2";
-       my $h = {
-               "$pfx1.address" => 'test@example.com',
-               "$pfx1.mainrepo" => '/path/to/non/existent',
-               "$pfx2.address" => 'foo@example.com',
-               "$pfx2.mainrepo" => '/path/to/foo',
-               "$pfx1.coderepo" => 'project',
-               "$pfx2.coderepo" => 'project',
-               "coderepo.project.dir" => '/path/to/project.git',
-       };
-       my $cfg = PublicInbox::Config->new($h);
+       my $str = <<EOF;
+$pfx1.address=test\@example.com
+$pfx1.mainrepo=/path/to/non/existent
+$pfx2.address=foo\@example.com
+$pfx2.mainrepo=/path/to/foo
+$pfx1.coderepo=project
+$pfx2.coderepo=project
+coderepo.project.dir=/path/to/project.git
+EOF
+       my $cfg = PublicInbox::Config->new(\$str);
        my $t1 = $cfg->lookup_name('test1');
        my $t2 = $cfg->lookup_name('test2');
        is($t1->{-repo_objs}->[0], $t2->{-repo_objs}->[0],
index 9fafceaed5106cecc423f8f3613d8026a5331575..c1fffecf8b3c381ae91ee8a60769ff3b6fddadf2 100644 (file)
@@ -6,11 +6,11 @@ use Test::More;
 use PublicInbox::Config;
 my $cfgpfx = "publicinbox.test";
 {
-       my $config = PublicInbox::Config->new({
-               "$cfgpfx.address" => 'test@example.com',
-               "$cfgpfx.mainrepo" => '/path/to/non/existent',
-               "$cfgpfx.httpbackendmax" => 12,
-       });
+       my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=test\@example.com
+$cfgpfx.mainrepo=/path/to/non/existent
+$cfgpfx.httpbackendmax=12
+EOF
        my $ibx = $config->lookup_name('test');
        my $git = $ibx->git;
        my $old = "$git";
@@ -24,16 +24,16 @@ my $cfgpfx = "publicinbox.test";
 }
 
 {
-       my $config = PublicInbox::Config->new({
-               'publicinboxlimiter.named.max' => 3,
-               "$cfgpfx.address" => 'test@example.com',
-               "$cfgpfx.mainrepo" => '/path/to/non/existent',
-               "$cfgpfx.httpbackendmax" => 'named',
-       });
+       my $config = PublicInbox::Config->new(\<<EOF);
+publicinboxlimiter.named.max=3
+$cfgpfx.address=test\@example.com
+$cfgpfx.mainrepo=/path/to/non/existent
+$cfgpfx.httpbackendmax=named
+EOF
        my $ibx = $config->lookup_name('test');
        my $git = $ibx->git;
        ok($git, 'got git object');
-       my $old = "$git";
+       my $old = "$git"; # stringify object ref "Git(0xDEADBEEF)"
        my $lim = $git->{-httpbackend_limiter};
        ok($lim, 'Limiter exists');
        is($lim->{max}, 3, 'limiter has expected slots');
index 41695e0de961a27398bb16e00c06cd507ff6a13b..f5140f44c308371e4971439833fa6919d8f4f49c 100644 (file)
@@ -21,10 +21,10 @@ use PublicInbox::Config;
 use PublicInbox::WWW;
 use_ok 'PublicInbox::WwwAttach';
 use Plack::Builder;
-my $config = PublicInbox::Config->new({
-       "$cfgpfx.address" => $addr,
-       "$cfgpfx.mainrepo" => $maindir,
-});
+my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$maindir
+EOF
 is(0, system(qw(git init -q --bare), $maindir), "git init (main)");
 my $git = PublicInbox::Git->new($maindir);
 my $im = PublicInbox::Import->new($git, 'test', $addr);
index c561cc361323b908f9f5d1cb11c04a783d9ec316..95196a3f4b91f18859791090845be414d17ba00e 100644 (file)
@@ -53,11 +53,11 @@ Date: Fri, 02 Oct 1993 00:00:0$i +0000
 }
 $im->done;
 
-my $cfg = {
-       "$cfgpfx.address" => $ibx->{-primary_address},
-       "$cfgpfx.mainrepo" => $mainrepo,
-};
-my $config = PublicInbox::Config->new($cfg);
+my $cfg = <<EOF;
+$cfgpfx.address=$ibx->{-primary_address}
+$cfgpfx.mainrepo=$mainrepo
+EOF
+my $config = PublicInbox::Config->new(\$cfg);
 my $www = PublicInbox::WWW->new($config);
 test_psgi(sub { $www->call(@_) }, sub {
        my ($cb) = @_;
index 8da2bc8937bc140a72de2c1e92a97b04f5fb6bc6..7160896bb6c2f5071f6e7572ba5e643e89a73938 100644 (file)
@@ -21,10 +21,10 @@ use PublicInbox::Config;
 use PublicInbox::WWW;
 use Plack::Builder;
 use Plack::App::URLMap;
-my $config = PublicInbox::Config->new({
-       "$cfgpfx.address" => $addr,
-       "$cfgpfx.mainrepo" => $maindir,
-});
+my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$maindir
+EOF
 is(0, system(qw(git init -q --bare), $maindir), "git init (main)");
 my $git = PublicInbox::Git->new($maindir);
 my $im = PublicInbox::Import->new($git, 'test', $addr);
index ae248de3c44c64ad51dd60aa6703981b22f51624..2670c47a76f9afae7a5fc6738d168ac4dc27eb4a 100644 (file)
@@ -42,11 +42,11 @@ ok($im->add($mime), 'added broken multipart message');
 $im->done;
 
 my $cfgpfx = "publicinbox.v2test";
-my $cfg = {
-       "$cfgpfx.address" => $ibx->{-primary_address},
-       "$cfgpfx.mainrepo" => $repo,
-};
-my $config = PublicInbox::Config->new($cfg);
+my $cfg = <<EOF;
+$cfgpfx.address=$ibx->{-primary_address}
+$cfgpfx.mainrepo=$repo
+EOF
+my $config = PublicInbox::Config->new(\$cfg);
 my $www = PublicInbox::WWW->new($config);
 
 my ($res, $raw);
index 2f54c8207578303bcc92f06facf880d19a388c4d..2e00b6d843160e43391f2d54b8dc5227f181b42f 100644 (file)
@@ -14,13 +14,15 @@ foreach my $mod (@mods) {
 use_ok 'PublicInbox::V2Writable';
 foreach my $mod (@mods) { use_ok $mod; }
 my $tmp = tempdir('pi-scan_all-XXXXXX', TMPDIR => 1, CLEANUP => 1);
-my $cfg = {};
+my $cfg = '';
 
 foreach my $i (1..2) {
        my $cfgpfx = "publicinbox.test-$i";
-       my $addr = $cfg->{"$cfgpfx.address"} = "test-$i\@example.com";
-       my $mainrepo = $cfg->{"$cfgpfx.mainrepo"} = "$tmp/$i";
-       $cfg->{"$cfgpfx.url"} = "http://example.com/$i";
+       my $addr = "test-$i\@example.com";
+       my $mainrepo = "$tmp/$i";
+       $cfg .= "$cfgpfx.address=$addr\n";
+       $cfg .= "$cfgpfx.mainrepo=$mainrepo\n";
+       $cfg .= "$cfgpfx.url=http://example.com/$i\n";
        my $opt = {
                mainrepo => $mainrepo,
                name => "test-$i",
@@ -45,7 +47,7 @@ EOF
        ok($im->add($mime), "added message to $i");
        $im->done;
 }
-my $config = PublicInbox::Config->new($cfg);
+my $config = PublicInbox::Config->new(\$cfg);
 use_ok 'PublicInbox::WWW';
 my $www = PublicInbox::WWW->new($config);
 
index 0c4bdcd1d75c5558f7f15a303fd9cdd0bac0cb01..ab6892bcfc205aa9ffcdbdc5b595350d456ecf0a 100644 (file)
@@ -45,10 +45,10 @@ $im->done;
 PublicInbox::SearchIdx->new($ibx, 1)->index_sync;
 
 my $cfgpfx = "publicinbox.test";
-my $config = PublicInbox::Config->new({
-       "$cfgpfx.address" => 'git@vger.kernel.org',
-       "$cfgpfx.mainrepo" => $tmpdir,
-});
+my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=git\@vger.kernel.org
+$cfgpfx.mainrepo=$tmpdir
+EOF
 my $www = PublicInbox::WWW->new($config);
 test_psgi(sub { $www->call(@_) }, sub {
        my ($cb) = @_;
index bdc1ebfdbce776bb525c2b8dece599051c18d6e8..944a647637ba011140808c19c1de5650833dd1d6 100644 (file)
@@ -21,10 +21,10 @@ use PublicInbox::Config;
 use PublicInbox::WWW;
 use_ok 'PublicInbox::WwwText';
 use Plack::Builder;
-my $config = PublicInbox::Config->new({
-       "$cfgpfx.address" => $addr,
-       "$cfgpfx.mainrepo" => $maindir,
-});
+my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$maindir
+EOF
 is(0, system(qw(git init -q --bare), $maindir), "git init (main)");
 my $www = PublicInbox::WWW->new($config);
 
index 3003c5d62a7cb1397462cb0b45461eb0f7eee829..e4f7306e1606b3f93abcb33471f5b817d65c72b7 100644 (file)
@@ -54,11 +54,11 @@ $new_mid = $mids->[1];
 $im->done;
 
 my $cfgpfx = "publicinbox.v2test";
-my $cfg = {
-       "$cfgpfx.address" => $ibx->{-primary_address},
-       "$cfgpfx.mainrepo" => $mainrepo,
-};
-my $config = PublicInbox::Config->new($cfg);
+my $cfg = <<EOF;
+$cfgpfx.address=$ibx->{-primary_address}
+$cfgpfx.mainrepo=$mainrepo
+EOF
+my $config = PublicInbox::Config->new(\$cfg);
 my $www = PublicInbox::WWW->new($config);
 my ($res, $raw, @from_);
 test_psgi(sub { $www->call(@_) }, sub {
index da383c15ef4b294cbf5c047395474a8f88e66354..b28d699aa24455a25f22e64b0f5704e72d66d288 100644 (file)
@@ -70,15 +70,15 @@ spam
 EOF
        PublicInbox::Emergency->new($maildir)->prepare(\"$spam");
 
-       my %orig = (
-               "$cfgpfx.address" => $addr,
-               "$cfgpfx.mainrepo" => $mainrepo,
-               "$cfgpfx.watch" => "maildir:$maildir",
-               "$cfgpfx.filter" => 'PublicInbox::Filter::RubyLang',
-               "$cfgpfx.altid" => 'serial:alerts:file=msgmap.sqlite3',
-               "publicinboxwatch.watchspam" => "maildir:$spamdir",
-       );
-       my $config = PublicInbox::Config->new({%orig});
+       my $orig = <<EOF;
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$mainrepo
+$cfgpfx.watch=maildir:$maildir
+$cfgpfx.filter=PublicInbox::Filter::RubyLang
+$cfgpfx.altid=serial:alerts:file=msgmap.sqlite3
+publicinboxwatch.watchspam=maildir:$spamdir
+EOF
+       my $config = PublicInbox::Config->new(\$orig);
        my $ibx = $config->lookup_name($v);
        ok($ibx, 'found inbox by name');
 
@@ -108,7 +108,7 @@ EOF
        }
        $w->scan('full');
 
-       $config = PublicInbox::Config->new({%orig});
+       $config = PublicInbox::Config->new(\$orig);
        $ibx = $config->lookup_name($v);
        ($tot, undef) = $ibx->search->reopen->query('b:spam');
        is($tot, 0, 'spam removed');
index d164bf35d35d43fedd2bfc4da05606e8f50398ba..e65ab9a947a339082e4e15dac4410ef601f5154c 100644 (file)
@@ -35,13 +35,13 @@ ok(POSIX::mkfifo("$maildir/cur/fifo", 0777),
        'create FIFO to ensure we do not get stuck on it :P');
 my $sem = PublicInbox::Emergency->new($spamdir); # create dirs
 
-my $config = PublicInbox::Config->new({
-       "$cfgpfx.address" => $addr,
-       "$cfgpfx.mainrepo" => $git_dir,
-       "$cfgpfx.watch" => "maildir:$maildir",
-       "$cfgpfx.filter" => 'PublicInbox::Filter::Vger',
-       "publicinboxlearn.watchspam" => "maildir:$spamdir",
-});
+my $config = PublicInbox::Config->new(\<<EOF);
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$git_dir
+$cfgpfx.watch=maildir:$maildir
+$cfgpfx.filter=PublicInbox::Filter::Vger
+publicinboxlearn.watchspam=maildir:$spamdir
+EOF
 
 PublicInbox::WatchMaildir->new($config)->scan('full');
 my $git = PublicInbox::Git->new($git_dir);
index f1d6e740f013c9e83f2efb14ee0f90e90d01ee78..0a5a8017ebf067aa273283776c0ce005040b7a92 100644 (file)
@@ -40,14 +40,14 @@ ok(POSIX::mkfifo("$maildir/cur/fifo", 0777),
        'create FIFO to ensure we do not get stuck on it :P');
 my $sem = PublicInbox::Emergency->new($spamdir); # create dirs
 
-my %orig = (
-       "$cfgpfx.address" => $addr,
-       "$cfgpfx.mainrepo" => $mainrepo,
-       "$cfgpfx.watch" => "maildir:$maildir",
-       "$cfgpfx.filter" => 'PublicInbox::Filter::Vger',
-       "publicinboxlearn.watchspam" => "maildir:$spamdir"
-);
-my $config = PublicInbox::Config->new({%orig});
+my $orig = <<EOF;
+$cfgpfx.address=$addr
+$cfgpfx.mainrepo=$mainrepo
+$cfgpfx.watch=maildir:$maildir
+$cfgpfx.filter=PublicInbox::Filter::Vger
+publicinboxlearn.watchspam=maildir:$spamdir
+EOF
+my $config = PublicInbox::Config->new(\$orig);
 my $ibx = $config->lookup_name('test');
 ok($ibx, 'found inbox by name');
 my $srch = $ibx->search;
@@ -146,12 +146,12 @@ More majordomo info at  http://vger.kernel.org/majordomo-info.html\n);
        my $v1pfx = "publicinbox.v1";
        my $v1addr = 'v1-public@example.com';
        is(system(qw(git init -q --bare), $v1repo), 0, 'v1 init OK');
-       my $config = PublicInbox::Config->new({
-               %orig,
-               "$v1pfx.address" => $v1addr,
-               "$v1pfx.mainrepo" => $v1repo,
-               "$v1pfx.watch" => "maildir:$maildir",
-       });
+       my $cfg2 = <<EOF;
+$orig$v1pfx.address=$v1addr
+$v1pfx.mainrepo=$v1repo
+$v1pfx.watch=maildir:$maildir
+EOF
+       my $config = PublicInbox::Config->new(\$cfg2);
        my $both = <<EOF;
 From: user\@example.com
 To: $addr, $v1addr