warc/open.go

   1 // tofuproxy -- flexible HTTP/HTTPS proxy, TLS terminator, X.509 TOFU
   2 //              manager, WARC/geminispace browser
   3 // Copyright (C) 2021-2024 Sergey Matveev <stargrave@stargrave.org>
   4 //
   5 // This program is free software: you can redistribute it and/or modify
   6 // it under the terms of the GNU General Public License as published by
   7 // the Free Software Foundation, version 3 of the License.
   8 //
   9 // This program is distributed in the hope that it will be useful,
  10 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 // GNU General Public License for more details.
  13 //
  14 // You should have received a copy of the GNU General Public License
  15 // along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 package warc
  18
  19 import (
  20         "fmt"
  21         "io"
  22         "path"
  23 )
  24
  25 var UnZSTDPath = "/home/stargrave/work/tofuproxy/cmd/zstd/unzstd"
  26
  27 type Offset struct {
  28         Z int64 // Compressed frame size
  29         U int64 // Its uncompressed size
  30 }
  31
  32 type RawRecordReader interface {
  33         io.ReadCloser
  34         Offsets() []Offset
  35 }
  36
  37 func Open(warcPath string, offsets []Offset, offset int64) (RawRecordReader, error) {
  38         ext := path.Ext(warcPath)
  39         switch ext {
  40         case ".warc":
  41                 return NewUncompressedReader(warcPath, offset)
  42         case ".gz":
  43                 return NewGZIPReader(warcPath, offsets, offset)
  44         case ".zst":
  45                 return NewCompressedReader(warcPath, UnZSTDPath, offsets, offset)
  46         }
  47         return nil, fmt.Errorf("unknown extension: %s", ext)
  48 }