]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/Linkify.pm
listener: warn on some accept()/accept4() errors
[public-inbox.git] / lib / PublicInbox / Linkify.pm
1 # Copyright (C) 2014-2019 all contributors <meta@public-inbox.org>
2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
3
4 # two-step linkification.
5 # intended usage is in the following order:
6 #
7 #   linkify_1
8 #   <escape unsafe chars for HTML>
9 #   linkify_2
10 #
11 # Maybe this could be done more efficiently...
12 package PublicInbox::Linkify;
13 use strict;
14 use warnings;
15 use Digest::SHA qw/sha1_hex/;
16 use PublicInbox::Hval qw(ascii_html);
17
18 my $SALT = rand;
19 my $LINK_RE = qr{([\('!])?\b((?:ftps?|https?|nntps?|gopher)://
20                  [\@:\w\.-]+(?:/
21                  (?:[a-z0-9\-\._~!\$\&\';\(\)\*\+,;=:@/%]*)
22                  (?:\?[a-z0-9\-\._~!\$\&\';\(\)\*\+,;=:@/%]+)?
23                  (?:\#[a-z0-9\-\._~!\$\&\';\(\)\*\+,;=:@/%\?]+)?
24                  )?
25                 )}xi;
26
27 sub new { bless {}, $_[0] }
28
29 # try to distinguish paired punctuation chars from the URL itself
30 # Maybe other languages/formats can be supported here, too...
31 my %pairs = (
32         "(" => qr/(\)[\.,;\+]?)\z/, # Markdown (,), Ruby (+) (, for arrays)
33         "'" => qr/('[\.,;\+]?)\z/, # Perl / Ruby
34         "!" => qr/(![\.,;\+]?)\z/, # Perl / Ruby
35 );
36
37 sub linkify_1 {
38         $_[1] =~ s^$LINK_RE^
39                 my $beg = $1 || '';
40                 my $url = $2;
41                 my $end = '';
42
43                 # it's fairly common to end URLs in messages with
44                 # '.', ',' or ';' to denote the end of a statement;
45                 # assume the intent was to end the statement/sentence
46                 # in English
47                 if (defined(my $re = $pairs{$beg})) {
48                         if ($url =~ s/$re//) {
49                                 $end = $1;
50                         }
51                 } elsif ($url =~ s/(\))?([\.,;])\z//) {
52                         $end = $2;
53                         # require ')' to be paired with '('
54                         if (defined $1) { # ')'
55                                 if (index($url, '(') < 0) {
56                                         $end = ")$end";
57                                 } else {
58                                         $url .= ')';
59                                 }
60                         }
61                 } elsif ($url !~ /\(/ && $url =~ s/\)\z//) {
62                         $end = ')';
63                 }
64
65                 $url = ascii_html($url); # for IDN
66
67                 # salt this, as this could be exploited to show
68                 # links in the HTML which don't show up in the raw mail.
69                 my $key = sha1_hex($url . $SALT);
70
71                 $_[0]->{$key} = $url;
72                 $beg . 'PI-LINK-'. $key . $end;
73         ^ge;
74         $_[1];
75 }
76
77 sub linkify_2 {
78         # Added "PI-LINK-" prefix to avoid false-positives on git commits
79         $_[1] =~ s!\bPI-LINK-([a-f0-9]{40})\b!
80                 my $key = $1;
81                 my $url = $_[0]->{$key};
82                 if (defined $url) {
83                         "<a\nhref=\"$url\">$url</a>";
84                 } else {
85                         # false positive or somebody tried to mess with us
86                         $key;
87                 }
88         !ge;
89         $_[1];
90 }
91
92 1;