]> Sergey Matveev's repositories - public-inbox.git/blob - lib/PublicInbox/SearchThread.pm
ds: split out IO::KQueue-specific code
[public-inbox.git] / lib / PublicInbox / SearchThread.pm
1 # This library is free software; you can redistribute it and/or modify
2 # it under the same terms as Perl itself.
3 #
4 # This license differs from the rest of public-inbox
5 #
6 # Our own jwz-style threading class based on Mail::Thread from CPAN.
7 # Mail::Thread is unmaintained and unavailable on some distros.
8 # We also do not want pruning or subject grouping, since we want
9 # to encourage strict threading and hopefully encourage people
10 # to use proper In-Reply-To/References.
11 #
12 # This includes fixes from several open bugs for Mail::Thread
13 #
14 # Avoid circular references
15 # - https://rt.cpan.org/Public/Bug/Display.html?id=22817
16 #
17 # And avoid recursion in recurse_down:
18 # - https://rt.cpan.org/Ticket/Display.html?id=116727
19 # - http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=833479
20 package PublicInbox::SearchThread;
21 use strict;
22 use warnings;
23
24 sub thread {
25         my ($msgs, $ordersub, $ibx) = @_;
26         my $id_table = {};
27
28         # Sadly, we sort here anyways since the fill-in-the-blanks References:
29         # can be shakier if somebody used In-Reply-To with multiple, disparate
30         # messages.  So, take the client Date: into account since we can't
31         # alway determine ordering when somebody uses multiple In-Reply-To.
32         # We'll trust the client Date: header here instead of the Received:
33         # time since this is for display (and not retrieval)
34         _add_message($id_table, $_) for sort { $a->{ds} <=> $b->{ds} } @$msgs;
35         my $rootset = [ grep {
36                         !delete($_->{parent}) && $_->visible($ibx)
37                 } values %$id_table ];
38         $id_table = undef;
39         $rootset = $ordersub->($rootset);
40         $_->order_children($ordersub, $ibx) for @$rootset;
41         $rootset;
42 }
43
44 sub _get_cont_for_id ($$) {
45         my ($id_table, $mid) = @_;
46         $id_table->{$mid} ||= PublicInbox::SearchThread::Msg->new($mid);
47 }
48
49 sub _add_message ($$) {
50         my ($id_table, $smsg) = @_;
51
52         # A. if id_table...
53         my $this = _get_cont_for_id($id_table, $smsg->{mid});
54         $this->{smsg} = $smsg;
55
56         # saves around 4K across 1K messages
57         # TODO: move this to a more appropriate place, breaks tests
58         # if we do it during psgi_cull
59         delete $smsg->{num};
60
61         # B. For each element in the message's References field:
62         defined(my $refs = $smsg->{references}) or return;
63
64         # This loop exists to help fill in gaps left from missing
65         # messages.  It is not needed in a perfect world where
66         # everything is perfectly referenced, only the last ref
67         # matters.
68         my $prev;
69         foreach my $ref ($refs =~ m/<([^>]+)>/g) {
70                 # Find a Container object for the given Message-ID
71                 my $cont = _get_cont_for_id($id_table, $ref);
72
73                 # Link the References field's Containers together in
74                 # the order implied by the References header
75                 #
76                 # * If they are already linked don't change the
77                 #   existing links
78                 # * Do not add a link if adding that link would
79                 #   introduce a loop...
80                 if ($prev &&
81                         !$cont->{parent} &&  # already linked
82                         !$cont->has_descendent($prev) # would loop
83                    ) {
84                         $prev->add_child($cont);
85                 }
86                 $prev = $cont;
87         }
88
89         # C. Set the parent of this message to be the last element in
90         # References.
91         if (defined $prev && !$this->has_descendent($prev)) { # would loop
92                 $prev->add_child($this);
93         }
94 }
95
96 package PublicInbox::SearchThread::Msg;
97 use strict;
98 use warnings;
99 use Carp qw(croak);
100
101 sub new {
102         bless {
103                 id => $_[1],
104                 children => {}, # becomes an array when sorted by ->order(...)
105         }, $_[0];
106 }
107
108 sub topmost {
109         my ($self) = @_;
110         my @q = ($self);
111         while (my $cont = shift @q) {
112                 return $cont if $cont->{smsg};
113                 push @q, values %{$cont->{children}};
114         }
115         undef;
116 }
117
118 sub add_child {
119         my ($self, $child) = @_;
120         croak "Cowardly refusing to become my own parent: $self"
121           if $self == $child;
122
123         my $cid = $child->{id};
124
125         # reparenting:
126         if (defined(my $parent = $child->{parent})) {
127                 delete $parent->{children}->{$cid};
128         }
129
130         $self->{children}->{$cid} = $child;
131         $child->{parent} = $self;
132 }
133
134 sub has_descendent {
135         my ($self, $child) = @_;
136         my %seen; # loop prevention
137         while ($child) {
138                 return 1 if $self == $child || $seen{$child}++;
139                 $child = $child->{parent};
140         }
141         0;
142 }
143
144 # Do not show/keep ghosts iff they have no children.  Sometimes
145 # a ghost Message-ID is the result of a long header line
146 # being folded/mangled by a MUA, and not a missing message.
147 sub visible ($$) {
148         my ($self, $ibx) = @_;
149         ($self->{smsg} ||= eval { $ibx->smsg_by_mid($self->{id}) }) ||
150          (scalar values %{$self->{children}});
151 }
152
153 sub order_children {
154         my ($cur, $ordersub, $ibx) = @_;
155
156         my %seen = ($cur => 1); # self-referential loop prevention
157         my @q = ($cur);
158         while (defined($cur = shift @q)) {
159                 my $c = $cur->{children}; # The hashref here...
160
161                 $c = [ grep { !$seen{$_}++ && visible($_, $ibx) } values %$c ];
162                 $c = $ordersub->($c) if scalar @$c > 1;
163                 $cur->{children} = $c; # ...becomes an arrayref
164                 push @q, @$c;
165         }
166 }
167
168 1;