lib/PublicInbox/ViewDiff.pm

   1 # Copyright (C) all contributors <meta@public-inbox.org>
   2 # License: AGPL-3.0+ <https://www.gnu.org/licenses/agpl-3.0.txt>
   3 #
   4 # used by PublicInbox::View
   5 # This adds CSS spans for diff highlighting.
   6 # It also generates links for ViewVCS + SolverGit to show
   7 # (or reconstruct) blobs.
   8
   9 package PublicInbox::ViewDiff;
  10 use strict;
  11 use v5.10.1;
  12 use parent qw(Exporter);
  13 our @EXPORT_OK = qw(flush_diff uri_escape_path);
  14 use URI::Escape qw(uri_escape_utf8);
  15 use PublicInbox::Hval qw(ascii_html to_attr);
  16 use PublicInbox::Git qw(git_unquote);
  17
  18 my $OID_NULL = '0{7,}';
  19 my $OID_BLOB = '[a-f0-9]{7,}';
  20 my $LF = qr!\n!;
  21 my $ANY = qr![^\n]!;
  22 my $FN = qr!(?:"?[^/\n]+/[^\n]+|/dev/null)!;
  23
  24 # cf. git diff.c :: get_compact_summary
  25 my $DIFFSTAT_COMMENT =
  26         qr/(?: *\((?:new|gone|(?:(?:new|mode) [\+\-][lx]))\))? *\z/s;
  27 my $NULL_TO_BLOB = qr/^(index $OID_NULL\.\.)($OID_BLOB)\b/ms;
  28 my $BLOB_TO_NULL = qr/^index ($OID_BLOB)(\.\.$OID_NULL)\b/ms;
  29 my $BLOB_TO_BLOB = qr/^index ($OID_BLOB)\.\.($OID_BLOB)/ms;
  30 our $EXTRACT_DIFFS = qr/(
  31                 (?:     # begin header stuff, don't capture filenames, here,
  32                         # but instead wait for the --- and +++ lines.
  33                         (?:^diff\x20--git\x20$FN\x20$FN$LF)
  34
  35                         # old mode || new mode || copy|rename|deleted|...
  36                         (?:^[a-z]$ANY+$LF)*
  37                 )? # end of optional stuff, everything below is required
  38                 ^index\x20($OID_BLOB)\.\.($OID_BLOB)$ANY*$LF
  39                 ^---\x20($FN)$LF
  40                 ^\+{3}\x20($FN)$LF)/msx;
  41 our $IS_OID = qr/\A$OID_BLOB\z/s;
  42
  43 sub uri_escape_path {
  44         # '/' + $URI::Escape::Unsafe{RFC3986}
  45         uri_escape_utf8($_[0], "^A-Za-z0-9\-\._~/");
  46 }
  47
  48 # link to line numbers in blobs
  49 sub diff_hunk ($$$) {
  50         my ($dctx, $ca, $cb) = @_;
  51         my ($oid_a, $oid_b, $spfx) = @$dctx{qw(oid_a oid_b spfx)};
  52
  53         if (defined($spfx) && defined($oid_a) && defined($oid_b)) {
  54                 my $n = ($ca =~ /^-([0-9]+)/) ? "#n$1" : '';
  55                 my $x = qq(@@ <a\nhref="$spfx$oid_a/s/$dctx->{Q}$n">$ca</a>);
  56
  57                 $n = ($cb =~ /^\+([0-9]+)/) ? "#n$1" : '';
  58                 $x .= qq( <a\nhref="$spfx$oid_b/s/$dctx->{Q}$n">$cb</a> @@);
  59         } else {
  60                 "@@ $ca $cb @@";
  61         }
  62 }
  63
  64 sub oid ($$$) {
  65         my ($dctx, $spfx, $oid) = @_;
  66         defined($spfx) ? qq(<a\nhref="$spfx$oid/s/$dctx->{Q}">$oid</a>) : $oid;
  67 }
  68
  69 # returns true if diffstat anchor written, false otherwise
  70 sub anchor0 ($$$$) {
  71         my ($dst, $ctx, $fn, $rest) = @_;
  72
  73         my $orig = $fn;
  74
  75         # normal git diffstat output is impossible to parse reliably
  76         # without --numstat, and that isn't the default for format-patch.
  77         # So only do best-effort handling of renames for common cases;
  78         # which works well in practice. If projects put "=>", or trailing
  79         # spaces in filenames, oh well :P
  80         $fn =~ s/$DIFFSTAT_COMMENT//;
  81         $fn =~ s/\{(?:.+) => (.+)\}/$1/ or $fn =~ s/.* => (.+)/$1/;
  82         $fn = git_unquote($fn);
  83
  84         # long filenames will require us to check in anchor1()
  85         push(@{$ctx->{-long_path}}, $fn) if $fn =~ s!\A\.\.\./?!!;
  86
  87         if (defined(my $attr = to_attr($ctx->{-apfx}.$fn))) {
  88                 $ctx->{-anchors}->{$attr} = 1;
  89                 my $spaces = ($orig =~ s/( +)\z//) ? $1 : '';
  90                 $$dst .= " <a\nid=i$attr\nhref=#$attr>" .
  91                         ascii_html($orig) . '</a>' . $spaces .
  92                         $ctx->{-linkify}->to_html($rest);
  93                 return 1;
  94         }
  95         undef;
  96 }
  97
  98 # returns "diff --git" anchor destination, undef otherwise
  99 sub anchor1 ($$) {
 100         my ($ctx, $pb) = @_;
 101         my $attr = to_attr($ctx->{-apfx}.$pb) // return;
 102
 103         my $ok = delete $ctx->{-anchors}->{$attr};
 104
 105         # unlikely, check the end of long path names we captured,
 106         # assume diffstat and diff output follow the same order,
 107         # and ignore different ordering (could be malicious input)
 108         unless ($ok) {
 109                 my $fn = shift(@{$ctx->{-long_path}}) // return;
 110                 $pb =~ /\Q$fn\E\z/s or return;
 111                 $attr = to_attr($ctx->{-apfx}.$fn) // return;
 112                 $ok = delete $ctx->{-anchors}->{$attr} // return;
 113         }
 114         $ok ? "<a\nhref=#i$attr\nid=$attr>diff</a> --git" : undef
 115 }
 116
 117 sub diff_header ($$$) {
 118         my ($x, $ctx, $top) = @_;
 119         my (undef, undef, $pa, $pb) = splice(@$top, 0, 4); # ignore oid_{a,b}
 120         my $spfx = $ctx->{-spfx};
 121         my $dctx = { spfx => $spfx };
 122
 123         # get rid of leading "a/" or "b/" (or whatever --{src,dst}-prefix are)
 124         $pa = (split(m'/', git_unquote($pa), 2))[1] if $pa ne '/dev/null';
 125         $pb = (split(m'/', git_unquote($pb), 2))[1] if $pb ne '/dev/null';
 126         if ($pa eq $pb && $pb ne '/dev/null') {
 127                 $dctx->{Q} = '?b='.uri_escape_path($pb);
 128         } else {
 129                 my @q;
 130                 if ($pb ne '/dev/null') {
 131                         push @q, 'b='.uri_escape_path($pb);
 132                 }
 133                 if ($pa ne '/dev/null') {
 134                         push @q, 'a='.uri_escape_path($pa);
 135                 }
 136                 $dctx->{Q} = '?'.join('&amp;', @q);
 137         }
 138
 139         # linkify early and all at once, since we know the following
 140         # subst ops on $$x won't need further escaping:
 141         $$x = $ctx->{-linkify}->to_html($$x);
 142
 143         # no need to capture oid_a and oid_b on add/delete,
 144         # we just linkify OIDs directly via s///e in conditional
 145         if ($$x =~ s/$NULL_TO_BLOB/$1 . oid($dctx, $spfx, $2)/e) {
 146                 push @{$ctx->{-qry}->{dfpost}}, $2;
 147         } elsif ($$x =~ s/$BLOB_TO_NULL/'index '.oid($dctx, $spfx, $1).$2/e) {
 148                 push @{$ctx->{-qry}->{dfpre}}, $1;
 149         } elsif ($$x =~ $BLOB_TO_BLOB) {
 150                 # modification-only, not add/delete:
 151                 # linkify hunk headers later using oid_a and oid_b
 152                 @$dctx{qw(oid_a oid_b)} = ($1, $2);
 153                 push @{$ctx->{-qry}->{dfpre}}, $1;
 154                 push @{$ctx->{-qry}->{dfpost}}, $2;
 155         } else {
 156                 warn "BUG? <$$x> had no ^index line";
 157         }
 158         $$x =~ s!^diff --git!anchor1($ctx, $pb) // 'diff --git'!ems;
 159         $ctx->zadd(qq(<span\nclass="head">$$x</span>));
 160         $dctx;
 161 }
 162
 163 sub diff_before_or_after ($$) {
 164         my ($ctx, $x) = @_;
 165         if (exists $ctx->{-anchors} && $$x =~ /\A(.*?) # likely "---\n"
 166                         # diffstat lines:
 167                         ((?:^\x20(?:[^\n]+?)(?:\x20+\|\x20[^\n]*\n))+)
 168                         (\x20[0-9]+\x20files?\x20)changed,([^\n]+\n)
 169                         (.*?)\z/msx) { # notes, commit message, etc
 170                 my @x = ($5, $4, $3, $2, $1);
 171                 my $lnk = $ctx->{-linkify};
 172                 $$x = $lnk->to_html(pop @x); # uninteresting prefix
 173                 for my $l (split(/^/m, pop(@x))) { # per-file diffstat lines
 174                         $l =~ /^ (.+)( +\| .*\z)/s and
 175                                 anchor0($x, $ctx, $1, $2) and next;
 176                         $$x .= $lnk->to_html($l);
 177                 }
 178                 $$x .= pop @x; # $3 /^ \d+ files? /
 179                 my $ch = $ctx->{changed_href} // '#related';
 180                 $$x .= qq(<a href="$ch">changed</a>,);
 181                 $$x .= ascii_html(pop @x); # $4: insertions/deletions
 182                 # notes, commit message, etc
 183                 $ctx->zadd($$x .= $lnk->to_html(pop @x));
 184         } else {
 185                 $ctx->zadd($ctx->{-linkify}->to_html($$x));
 186         }
 187 }
 188
 189 # callers must do CRLF => LF conversion before calling this
 190 sub flush_diff ($$) {
 191         my ($ctx, $cur) = @_;
 192
 193         my @top = split($EXTRACT_DIFFS, $$cur);
 194         undef $$cur; # free memory
 195
 196         my $lnk = $ctx->{-linkify};
 197         my $dctx; # {}, keys: Q, oid_a, oid_b
 198
 199         while (defined(my $x = shift @top)) {
 200                 if (scalar(@top) >= 4 &&
 201                                 $top[1] =~ $IS_OID &&
 202                                 $top[0] =~ $IS_OID) {
 203                         $dctx = diff_header(\$x, $ctx, \@top);
 204                 } elsif ($dctx) {
 205                         my $after = '';
 206
 207                         # Quiet "Complex regular subexpression recursion limit"
 208                         # warning.  Perl will truncate matches upon hitting
 209                         # that limit, giving us more (and shorter) scalars than
 210                         # would be ideal, but otherwise it's harmless.
 211                         #
 212                         # We could replace the `+' metacharacter with `{1,100}'
 213                         # to limit the matches ourselves to 100, but we can
 214                         # let Perl do it for us, quietly.
 215                         no warnings 'regexp';
 216
 217                         for my $s (split(/((?:(?:^\+[^\n]*\n)+)|
 218                                         (?:(?:^-[^\n]*\n)+)|
 219                                         (?:^@@ [^\n]+\n))/xsm, $x)) {
 220                                 if (!defined($dctx)) {
 221                                         $after .= $s;
 222                                 } elsif ($s =~ s/\A@@ (\S+) (\S+) @@//) {
 223                                         $ctx->zadd(qq(<span\nclass="hunk">) .
 224                                                 diff_hunk($dctx, $1, $2) .
 225                                                 $lnk->to_html($s) .
 226                                                 '</span>');
 227                                 } elsif ($s =~ /\A\+/) { # $s may be huge
 228                                         $ctx->zadd(qq(<span\nclass="add">),
 229                                                         $lnk->to_html($s),
 230                                                         '</span>');
 231                                 } elsif ($s =~ /\A-- $/sm) { # email sig starts
 232                                         $dctx = undef;
 233                                         $after .= $s;
 234                                 } elsif ($s =~ /\A-/) { # $s may be huge
 235                                         $ctx->zadd(qq(<span\nclass="del">),
 236                                                 $lnk->to_html($s),
 237                                                 '</span>');
 238                                 } else { # $s may be huge
 239                                         $ctx->zadd($lnk->to_html($s));
 240                                 }
 241                         }
 242                         diff_before_or_after($ctx, \$after) if !$dctx;
 243                 } else {
 244                         diff_before_or_after($ctx, \$x);
 245                 }
 246         }
 247 }
 248
 249 1;