warc/open.go

   1 /*
   2 tofuproxy -- flexible HTTP/HTTPS proxy, TLS terminator, X.509 TOFU
   3              manager, WARC/geminispace browser
   4 Copyright (C) 2021-2023 Sergey Matveev <stargrave@stargrave.org>
   5
   6 This program is free software: you can redistribute it and/or modify
   7 it under the terms of the GNU General Public License as published by
   8 the Free Software Foundation, version 3 of the License.
   9
  10 This program is distributed in the hope that it will be useful,
  11 but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 GNU General Public License for more details.
  14
  15 You should have received a copy of the GNU General Public License
  16 along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17 */
  18
  19 package warc
  20
  21 import (
  22         "fmt"
  23         "io"
  24         "path"
  25 )
  26
  27 var UnZSTDPath = "/home/stargrave/work/tofuproxy/cmd/zstd/unzstd"
  28
  29 type Offset struct {
  30         Z int64 // Compressed frame size
  31         U int64 // Its uncompressed size
  32 }
  33
  34 type RawRecordReader interface {
  35         io.ReadCloser
  36         Offsets() []Offset
  37 }
  38
  39 func Open(warcPath string, offsets []Offset, offset int64) (RawRecordReader, error) {
  40         ext := path.Ext(warcPath)
  41         switch ext {
  42         case ".warc":
  43                 return NewUncompressedReader(warcPath, offset)
  44         case ".gz":
  45                 return NewGZIPReader(warcPath, offsets, offset)
  46         case ".zst":
  47                 return NewCompressedReader(warcPath, UnZSTDPath, offsets, offset)
  48         }
  49         return nil, fmt.Errorf("unknown extension: %s", ext)
  50 }