t/lei-mirror.t

   1 #!perl -w
   2 # Copyright (C) 2020-2021 all contributors <meta@public-inbox.org>
   3 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   4 use strict; use v5.10.1; use PublicInbox::TestCommon;
   5 require_mods(qw(-httpd lei));
   6 my $sock = tcp_server();
   7 my ($tmpdir, $for_destroy) = tmpdir();
   8 my $http = 'http://'.tcp_host_port($sock);
   9 my ($ro_home, $cfg_path) = setup_public_inboxes;
  10 my $cmd = [ qw(-httpd -W0 ./t/lei-mirror.psgi),
  11         "--stdout=$tmpdir/out", "--stderr=$tmpdir/err" ];
  12 my $td = start_script($cmd, { PI_CONFIG => $cfg_path }, { 3 => $sock });
  13 test_lei({ tmpdir => $tmpdir }, sub {
  14         my $home = $ENV{HOME};
  15         my $t1 = "$home/t1-mirror";
  16         lei_ok('add-external', $t1, '--mirror', "$http/t1/", \'--mirror v1');
  17         ok(-f "$t1/public-inbox/msgmap.sqlite3", 't1-mirror indexed');
  18
  19         lei_ok('ls-external');
  20         like($lei_out, qr!\Q$t1\E!, 't1 added to ls-externals');
  21
  22         my $t2 = "$home/t2-mirror";
  23         lei_ok('add-external', $t2, '--mirror', "$http/t2/", \'--mirror v2');
  24         ok(-f "$t2/msgmap.sqlite3", 't2-mirror indexed');
  25
  26         lei_ok('ls-external');
  27         like($lei_out, qr!\Q$t2\E!, 't2 added to ls-externals');
  28
  29         ok(!lei('add-external', $t2, '--mirror', "$http/t2/"),
  30                 '--mirror fails if reused') or diag "$lei_err.$lei_out = $?";
  31         like($lei_err, qr/\Q$t2\E' already exists/, 'destination in error');
  32
  33         ok(!lei('add-external', "$home/t2\nnewline", '--mirror', "$http/t2/"),
  34                 '--mirror fails on newline');
  35         like($lei_err, qr/`\\n' not allowed/, 'newline noted in error');
  36
  37         lei_ok('ls-external');
  38         like($lei_out, qr!\Q$t2\E!, 'still in ls-externals');
  39         unlike($lei_out, qr!\Qnewline\E!, 'newline entry not added');
  40
  41         ok(!lei('add-external', "$t2-fail", '-Lmedium'), '--mirror v2');
  42         like($lei_err, qr/not a directory/, 'non-directory noted');
  43         ok(!-d "$t2-fail", 'destination not created on failure');
  44         lei_ok('ls-external');
  45         unlike($lei_out, qr!\Q$t2-fail\E!, 'not added to ls-external');
  46
  47         lei_ok('add-external', "$t1-pfx", '--mirror', "$http/pfx/t1/",
  48                         \'--mirror v1 w/ PSGI prefix');
  49         ok(!-e "$t1-pfx/mirror.done", 'no leftover mirror.done');
  50
  51         my $d = "$home/404";
  52         ok(!lei(qw(add-external --mirror), "$http/404", $d), 'mirror 404');
  53         unlike($lei_err, qr!unlink.*?404/mirror\.done!,
  54                 'no unlink failure message');
  55         ok(!-d $d, "`404' dir not created");
  56         lei_ok('ls-external');
  57         unlike($lei_out, qr!\Q$d\E!s, 'not added to ls-external');
  58
  59         my %phail = (
  60                 HTTPS => 'https://public-inbox.org/' . 'phail',
  61                 ONION =>
  62 'http://7fh6tueqddpjyxjmgtdiueylzoqt6pt7hec3pukyptlmohoowvhde4yd.onion/' .
  63 'phail,'
  64         );
  65         for my $t (qw(HTTPS ONION)) {
  66         SKIP: {
  67                 my $k = "TEST_LEI_EXTERNAL_$t";
  68                 $ENV{$k} or skip "$k unset", 1;
  69                 my $url = $phail{$t};
  70                 my $dir = "phail-$t";
  71                 ok(!lei(qw(add-external -Lmedium --mirror),
  72                         $url, $dir), '--mirror non-existent v2');
  73                 is($? >> 8, 22, 'curl 404');
  74                 ok(!-d $dir, 'directory not created');
  75                 unlike($lei_err, qr/# mirrored/, 'no success message');
  76                 like($lei_err, qr/curl.*404/, "curl 404 shown for $k");
  77         } # SKIP
  78         } # for
  79 });
  80
  81 SKIP: {
  82         undef $sock;
  83         my $d = "$tmpdir/d";
  84         mkdir $d or xbail "mkdir $d $!";
  85         my $opt = { -C => $d, 2 => \(my $err) };
  86         ok(!run_script([qw(-clone -q), "$http/404"], undef, $opt), '404 fails');
  87         ok(!-d "$d/404", 'destination not created');
  88         delete $opt->{2};
  89
  90         ok(run_script([qw(-clone -q -C), $d, "$http/t2"], undef, $opt),
  91                 '-clone succeeds on v2');
  92         ok(-d "$d/t2/git/0.git", 'epoch cloned');
  93         ok(-f "$d/t2/manifest.js.gz", 'manifest saved');
  94         ok(!-e "$d/t2/mirror.done", 'no leftover mirror.done');
  95         ok(run_script([qw(-fetch -q -C), "$d/t2"], undef, $opt),
  96                 '-fetch succeeds w/ manifest.js.gz');
  97         unlink("$d/t2/manifest.js.gz") or xbail "unlink $!";
  98         ok(run_script([qw(-fetch -q -C), "$d/t2"], undef, $opt),
  99                 '-fetch succeeds w/o manifest.js.gz');
 100
 101         ok(run_script([qw(-clone -q -C), $d, "$http/t1"], undef, $opt),
 102                 'cloning v1 works');
 103         ok(-d "$d/t1", 'v1 cloned');
 104         ok(!-e "$d/t1/mirror.done", 'no leftover file');
 105         ok(run_script([qw(-fetch -q -C), "$d/t1"], undef, $opt),
 106                 'fetching v1 works');
 107 }
 108
 109 ok($td->kill, 'killed -httpd');
 110 $td->join;
 111
 112 done_testing;