]> Sergey Matveev's repositories - tofuproxy.git/blob - open.go
9be02f71761f8507be3ef50cc0d71d66501bf418
[tofuproxy.git] / open.go
1 /*
2 tofuproxy -- flexible HTTP/HTTPS proxy, TLS terminator, X.509 TOFU
3              manager, WARC/geminispace browser
4 Copyright (C) 2021-2023 Sergey Matveev <stargrave@stargrave.org>
5
6 This program is free software: you can redistribute it and/or modify
7 it under the terms of the GNU General Public License as published by
8 the Free Software Foundation, version 3 of the License.
9
10 This program is distributed in the hope that it will be useful,
11 but WITHOUT ANY WARRANTY; without even the implied warranty of
12 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 GNU General Public License for more details.
14
15 You should have received a copy of the GNU General Public License
16 along with this program.  If not, see <http://www.gnu.org/licenses/>.
17 */
18
19 package warc
20
21 import (
22         "fmt"
23         "io"
24         "path"
25 )
26
27 var UnZSTDPath = "/home/stargrave/work/tofuproxy/cmd/zstd/unzstd"
28
29 type Offset struct {
30         Z int64 // Compressed frame size
31         U int64 // Its uncompressed size
32 }
33
34 type RawRecordReader interface {
35         io.ReadCloser
36         Offsets() []Offset
37 }
38
39 func Open(warcPath string, offsets []Offset, offset int64) (RawRecordReader, error) {
40         ext := path.Ext(warcPath)
41         switch ext {
42         case ".warc":
43                 return NewUncompressedReader(warcPath, offset)
44         case ".gz":
45                 return NewGZIPReader(warcPath, offsets, offset)
46         case ".zst":
47                 return NewCompressedReader(warcPath, UnZSTDPath, offsets, offset)
48         }
49         return nil, fmt.Errorf("unknown extension: %s", ext)
50 }