]> Sergey Matveev's repositories - public-inbox.git/blobdiff - script/public-inbox-mda
No ext_urls
[public-inbox.git] / script / public-inbox-mda
index 6ac0e8c48d82befb762d813661c8bdb01332970a..7e2bee92096e877ae40e34eb847e8149f933eb2e 100755 (executable)
 #!/usr/bin/perl -w
-# Copyright (C) 2013-2015 all contributors <meta@public-inbox.org>
-# License: AGPLv3 or later (https://www.gnu.org/licenses/agpl-3.0.txt)
+# Copyright (C) 2013-2021 all contributors <meta@public-inbox.org>
+# License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
 #
 # Mail delivery agent for public-inbox, run from your MTA upon mail delivery
+my $help = <<EOF;
+usage: public-inbox-mda [OPTIONS] </path/to/RFC2822_message
+
+options:
+
+  --no-precheck  skip internal checks for spam messages
+
+See public-inbox-mda(1) man page for full documentation.
+EOF
 use strict;
-use warnings;
-my $usage = 'public-inbox-mda < rfc2822_message';
+use Getopt::Long qw(:config gnu_getopt no_ignore_case auto_abbrev);
+my ($ems, $emm, $show_help);
+my $precheck = 1;
+GetOptions('precheck!' => \$precheck, 'help|h' => \$show_help) or
+       do { print STDERR $help; exit 1 };
+
+my $do_exit = sub {
+       my ($code) = shift;
+       $emm = $ems = undef; # trigger DESTROY
+       exit $code;
+};
 
-use Email::Filter;
-use Email::MIME;
-use File::Path::Expand qw/expand_filename/;
-use IPC::Run qw(run);
+use PublicInbox::Eml;
 use PublicInbox::MDA;
-use PublicInbox::Filter;
 use PublicInbox::Config;
-use PublicInbox::Import;
-use PublicInbox::Git;
+use PublicInbox::Emergency;
+use PublicInbox::Filter::Base;
+use PublicInbox::InboxWritable;
+use PublicInbox::Spamcheck;
 
 # n.b: hopefully we can setup the emergency path without bailing due to
 # user error, we really want to setup the emergency destination ASAP
 # in case there's bugs in our code or user error.
-my $emergency = $ENV{PI_EMERGENCY} || '~/.public-inbox/emergency/';
-$emergency = expand_filename($emergency);
-
-# this reads the message from stdin
-my $filter = Email::Filter->new(emergency => $emergency);
-my $config = PublicInbox::Config->new;
-
+my $emergency = $ENV{PI_EMERGENCY} || "$ENV{HOME}/.public-inbox/emergency/";
+$ems = PublicInbox::Emergency->new($emergency);
+my $str = do { local $/; <STDIN> };
+$str =~ s/\A[\r\n]*From [^\r\n]*\r?\n//s;
+$ems->prepare(\$str);
+my $eml = PublicInbox::Eml->new(\$str);
+my $cfg = PublicInbox::Config->new;
+my $key = 'publicinboxmda.spamcheck';
+my $default = 'PublicInbox::Spamcheck::Spamc';
+my $spamc = PublicInbox::Spamcheck::get($cfg, $key, $default);
+my $dests = [];
 my $recipient = $ENV{ORIGINAL_RECIPIENT};
-defined $recipient or die "ORIGINAL_RECIPIENT not defined in ENV\n";
-my $dst = $config->lookup($recipient); # first check
-defined $dst or exit(1);
-my $main_repo = $dst->{mainrepo} or exit(1);
-my $filtered; # string dest
-
-if (PublicInbox::MDA->precheck($filter, $dst->{address}) &&
-    do_spamc($filter->simple, \$filtered)) {
-       # update our message with SA headers (in case our filter rejects it)
-       my $msg = Email::MIME->new(\$filtered);
-       $filtered = undef;
-       $filter->simple($msg);
+if (defined $recipient) {
+       my $ibx = $cfg->lookup($recipient); # first check
+       push @$dests, $ibx if $ibx;
+}
+if (!scalar(@$dests)) {
+       $dests = PublicInbox::MDA->inboxes_for_list_id($cfg, $eml);
+       if (!scalar(@$dests) && !defined($recipient)) {
+               die "ORIGINAL_RECIPIENT not defined in ENV\n";
+       }
+       scalar(@$dests) or $do_exit->(67); # EX_NOUSER 5.1.1 user unknown
+}
 
-       my $filter_arg;
-       my $fcfg = $dst->{filter};
-       if (!defined $fcfg || $filter eq 'reject') {
-               $filter_arg = $filter;
-       } elsif ($fcfg eq 'scrub') {
-               $filter_arg = undef; # the default for legacy versions
+my $err;
+@$dests = grep {
+       my $ibx = PublicInbox::InboxWritable->new($_);
+       eval { $ibx->assert_usable_dir };
+       if ($@) {
+               warn $@;
+               $err = 1;
+               0;
+       # pre-check, MDA has stricter rules than an importer might;
+       } elsif ($precheck) {
+               !!PublicInbox::MDA->precheck($eml, $ibx->{address});
        } else {
-               warn "publicinbox.$dst->{name}.filter=$fcfg invalid\n";
-               warn "must be either 'scrub' or 'reject' (the default)\n";
+               1;
        }
+} @$dests;
 
-       if (PublicInbox::Filter->run($msg, $filter_arg)) {
-               # run spamc again on the HTML-free message
-               if (do_spamc($msg, \$filtered)) {
-                       $msg = Email::MIME->new(\$filtered);
-                       PublicInbox::MDA->set_list_headers($msg, $dst);
-                       $filter->simple($msg);
+$do_exit->(67) if $err && scalar(@$dests) == 0;
 
-                       END {
-                               index_sync($main_repo) if ($? == 0);
-                       };
-                       my $git = PublicInbox::Git->new($main_repo);
-                       my $im = PublicInbox::Import->new($git,
-                                               $dst->{name}, $recipient);
-                       if (defined $im->add($msg)) {
-                               $im->done;
-                               $filter->ignore; # exits
-                       }
-                       # this message is similar to what ssoma-mda shows:
-                       print STDERR "CONFLICT: Message-ID: ",
-                               $msg->header_obj->header_raw('Message-ID'),
-                               " exists\n";
-               }
-       }
-} else {
-       # Ensure emergency spam gets spamassassin headers.
-       # This makes it easier to prioritize obvious spam from less obvious
-       if (defined($filtered) && $filtered ne '') {
-               my $drop = Email::MIME->new(\$filtered);
-               $filtered = undef;
-               $filter->simple($drop);
+$eml = undef;
+my $spam_ok;
+if ($spamc) {
+       $str = '';
+       $spam_ok = $spamc->spamcheck($ems->fh, \$str);
+       # update the emergency dump with the new message:
+       $emm = PublicInbox::Emergency->new($emergency);
+       $emm->prepare(\$str);
+       $ems = $ems->abort;
+} else { # no spam checking configured:
+       $spam_ok = 1;
+       $emm = $ems;
+       my $fh = $emm->fh;
+       read($fh, $str, -s $fh);
+}
+$do_exit->(0) unless $spam_ok;
+
+# -mda defaults to the strict base filter which we won't use anywhere else
+sub mda_filter_adjust ($) {
+       my ($ibx) = @_;
+       my $fcfg = $ibx->{filter} || '';
+       if ($fcfg eq '') {
+               $ibx->{filter} = 'PublicInbox::Filter::Base';
+       } elsif ($fcfg eq 'scrub') { # legacy alias, undocumented, remove?
+               $ibx->{filter} = 'PublicInbox::Filter::Mirror';
        }
 }
-exit 0; # goes to emergency
 
-# we depend on "report_safe 0" in /etc/spamassassin/*.cf with --headers
-# not using Email::Filter->pipe here since we want the stdout of
-# the command even on failure (spamc will set $? on error).
-sub do_spamc {
-       my ($msg, $out) = @_;
-       eval {
-               my $orig = $msg->as_string;
-               run([qw/spamc -E --headers/], \$orig, $out);
-       };
+my @rejects;
+for my $ibx (@$dests) {
+       mda_filter_adjust($ibx);
+       my $filter = $ibx->filter;
+       my $mime = PublicInbox::Eml->new($str);
+       my $ret = $filter->delivery($mime);
+       if (ref($ret) && ($ret->isa('PublicInbox::Eml') ||
+                       $ret->isa('Email::MIME'))) { # filter altered message
+               $mime = $ret;
+       } elsif ($ret == PublicInbox::Filter::Base::IGNORE) {
+               next; # nothing, keep looping
+       } elsif ($ret == PublicInbox::Filter::Base::REJECT) {
+               push @rejects, $filter->err;
+               next;
+       }
 
-       return ($@ || $? || !defined($$out) || $$out eq '') ? 0 : 1;
+       PublicInbox::MDA->set_list_headers($mime, $ibx);
+       my $im = $ibx->importer(0);
+       if (defined $im->add($mime)) {
+               # ->abort is idempotent, no emergency if a single
+               # destination succeeds
+               $emm->abort;
+       } else { # v1-only
+               my $mid = $mime->header_raw('Message-ID');
+               # this message is similar to what ssoma-mda shows:
+               print STDERR "CONFLICT: Message-ID: $mid exists\n";
+       }
+       $im->done;
 }
 
-sub index_sync {
-       my ($git_dir) = @_;
-       eval {
-               require PublicInbox::SearchIdx;
-               PublicInbox::SearchIdx->new($git_dir, 2)->index_sync;
-       };
+if (scalar(@rejects) && scalar(@rejects) == scalar(@$dests)) {
+       $! = 65; # EX_DATAERR 5.6.0 data format error
+       die join("\n", @rejects, '');
 }
+
+$do_exit->(0);