reader.go

   1 package torrent
   2
   3 import (
   4         "context"
   5         "errors"
   6         "fmt"
   7         "io"
   8         "sync"
   9
  10         "github.com/anacrolix/log"
  11         "github.com/anacrolix/missinggo/v2"
  12 )
  13
  14 // Accesses Torrent data via a Client. Reads block until the data is available. Seeks and readahead
  15 // also drive Client behaviour.
  16 type Reader interface {
  17         io.Reader
  18         io.Seeker
  19         io.Closer
  20         missinggo.ReadContexter
  21         // Configure the number of bytes ahead of a read that should also be prioritized in preparation
  22         // for further reads.
  23         SetReadahead(int64)
  24         // Don't wait for pieces to complete and be verified. Read calls return as soon as they can when
  25         // the underlying chunks become available.
  26         SetResponsive()
  27 }
  28
  29 // Piece range by piece index, [begin, end).
  30 type pieceRange struct {
  31         begin, end pieceIndex
  32 }
  33
  34 type reader struct {
  35         t          *Torrent
  36         responsive bool
  37         // Adjust the read/seek window to handle Readers locked to File extents and the like.
  38         offset, length int64
  39         // Ensure operations that change the position are exclusive, like Read() and Seek().
  40         opMu sync.Mutex
  41
  42         // Required when modifying pos and readahead, or reading them without opMu.
  43         mu        sync.Locker
  44         pos       int64
  45         readahead int64
  46         // Function to dynamically calculate readahead. If nil, readahead is static.
  47         readaheadFunc func() int64
  48         // Position that reads have continued contiguously from.
  49         contiguousReadStartPos int64
  50         // The cached piece range this reader wants downloaded. The zero value corresponds to nothing.
  51         // We cache this so that changes can be detected, and bubbled up to the Torrent only as
  52         // required.
  53         pieces pieceRange
  54 }
  55
  56 var _ io.ReadCloser = (*reader)(nil)
  57
  58 func (r *reader) SetResponsive() {
  59         r.responsive = true
  60         r.t.cl.event.Broadcast()
  61 }
  62
  63 // Disable responsive mode. TODO: Remove?
  64 func (r *reader) SetNonResponsive() {
  65         r.responsive = false
  66         r.t.cl.event.Broadcast()
  67 }
  68
  69 func (r *reader) SetReadahead(readahead int64) {
  70         r.mu.Lock()
  71         r.readahead = readahead
  72         r.readaheadFunc = nil
  73         r.mu.Unlock()
  74         r.t.cl.lock()
  75         defer r.t.cl.unlock()
  76         r.posChanged()
  77 }
  78
  79 // How many bytes are available to read. Max is the most we could require.
  80 func (r *reader) available(off, max int64) (ret int64) {
  81         off += r.offset
  82         for max > 0 {
  83                 req, ok := r.t.offsetRequest(off)
  84                 if !ok {
  85                         break
  86                 }
  87                 if !r.responsive && !r.t.pieceComplete(pieceIndex(req.Index)) {
  88                         break
  89                 }
  90                 if !r.t.haveChunk(req) {
  91                         break
  92                 }
  93                 len1 := int64(req.Length) - (off - r.t.requestOffset(req))
  94                 max -= len1
  95                 ret += len1
  96                 off += len1
  97         }
  98         // Ensure that ret hasn't exceeded our original max.
  99         if max < 0 {
 100                 ret += max
 101         }
 102         return
 103 }
 104
 105 // Calculates the pieces this reader wants downloaded, ignoring the cached value at r.pieces.
 106 func (r *reader) piecesUncached() (ret pieceRange) {
 107         ra := r.readahead
 108         if r.readaheadFunc != nil {
 109                 ra = r.readaheadFunc()
 110         }
 111         if ra < 1 {
 112                 // Needs to be at least 1, because [x, x) means we don't want
 113                 // anything.
 114                 ra = 1
 115         }
 116         if ra > r.length-r.pos {
 117                 ra = r.length - r.pos
 118         }
 119         ret.begin, ret.end = r.t.byteRegionPieces(r.torrentOffset(r.pos), ra)
 120         return
 121 }
 122
 123 func (r *reader) Read(b []byte) (n int, err error) {
 124         return r.ReadContext(context.Background(), b)
 125 }
 126
 127 func (r *reader) ReadContext(ctx context.Context, b []byte) (n int, err error) {
 128         // Hmmm, if a Read gets stuck, this means you can't change position for other purposes. That
 129         // seems reasonable, but unusual.
 130         r.opMu.Lock()
 131         defer r.opMu.Unlock()
 132         n, err = r.readOnceAt(ctx, b, r.pos)
 133         if n == 0 {
 134                 if err == nil && len(b) > 0 {
 135                         panic("expected error")
 136                 } else {
 137                         return
 138                 }
 139         }
 140
 141         r.mu.Lock()
 142         r.pos += int64(n)
 143         r.posChanged()
 144         r.mu.Unlock()
 145         if r.pos >= r.length {
 146                 err = io.EOF
 147         } else if err == io.EOF {
 148                 err = io.ErrUnexpectedEOF
 149         }
 150         return
 151 }
 152
 153 var closedChan = make(chan struct{})
 154
 155 func init() {
 156         close(closedChan)
 157 }
 158
 159 // Wait until some data should be available to read. Tickles the client if it isn't. Returns how
 160 // much should be readable without blocking.
 161 func (r *reader) waitAvailable(ctx context.Context, pos, wanted int64, wait bool) (avail int64, err error) {
 162         t := r.t
 163         for {
 164                 r.t.cl.rLock()
 165                 avail = r.available(pos, wanted)
 166                 readerCond := t.piece(int((r.offset + pos) / t.info.PieceLength)).readerCond.Signaled()
 167                 r.t.cl.rUnlock()
 168                 if avail != 0 {
 169                         return
 170                 }
 171                 var dontWait <-chan struct{}
 172                 if !wait || wanted == 0 {
 173                         dontWait = closedChan
 174                 }
 175                 select {
 176                 case <-r.t.closed.Done():
 177                         err = errors.New("torrent closed")
 178                         return
 179                 case <-ctx.Done():
 180                         err = ctx.Err()
 181                         return
 182                 case <-r.t.dataDownloadDisallowed.On():
 183                         err = errors.New("torrent data downloading disabled")
 184                 case <-r.t.networkingEnabled.Off():
 185                         err = errors.New("torrent networking disabled")
 186                         return
 187                 case <-dontWait:
 188                         return
 189                 case <-readerCond:
 190                 }
 191         }
 192 }
 193
 194 // Adds the reader's torrent offset to the reader object offset (for example the reader might be
 195 // constrainted to a particular file within the torrent).
 196 func (r *reader) torrentOffset(readerPos int64) int64 {
 197         return r.offset + readerPos
 198 }
 199
 200 // Performs at most one successful read to torrent storage.
 201 func (r *reader) readOnceAt(ctx context.Context, b []byte, pos int64) (n int, err error) {
 202         if pos >= r.length {
 203                 err = io.EOF
 204                 return
 205         }
 206         for {
 207                 var avail int64
 208                 avail, err = r.waitAvailable(ctx, pos, int64(len(b)), n == 0)
 209                 if avail == 0 {
 210                         return
 211                 }
 212                 firstPieceIndex := pieceIndex(r.torrentOffset(pos) / r.t.info.PieceLength)
 213                 firstPieceOffset := r.torrentOffset(pos) % r.t.info.PieceLength
 214                 b1 := missinggo.LimitLen(b, avail)
 215                 n, err = r.t.readAt(b1, r.torrentOffset(pos))
 216                 if n != 0 {
 217                         err = nil
 218                         return
 219                 }
 220                 r.t.cl.lock()
 221                 // TODO: Just reset pieces in the readahead window. This might help
 222                 // prevent thrashing with small caches and file and piece priorities.
 223                 r.log(log.Fstr("error reading torrent %s piece %d offset %d, %d bytes: %v",
 224                         r.t.infoHash.HexString(), firstPieceIndex, firstPieceOffset, len(b1), err))
 225                 if !r.t.updatePieceCompletion(firstPieceIndex) {
 226                         r.log(log.Fstr("piece %d completion unchanged", firstPieceIndex))
 227                 }
 228                 // Update the rest of the piece completions in the readahead window, without alerting to
 229                 // changes (since only the first piece, the one above, could have generated the read error
 230                 // we're currently handling).
 231                 if r.pieces.begin != firstPieceIndex {
 232                         panic(fmt.Sprint(r.pieces.begin, firstPieceIndex))
 233                 }
 234                 for index := r.pieces.begin + 1; index < r.pieces.end; index++ {
 235                         r.t.updatePieceCompletion(index)
 236                 }
 237                 r.t.cl.unlock()
 238         }
 239 }
 240
 241 // Hodor
 242 func (r *reader) Close() error {
 243         r.t.cl.lock()
 244         defer r.t.cl.unlock()
 245         r.t.deleteReader(r)
 246         return nil
 247 }
 248
 249 func (r *reader) posChanged() {
 250         to := r.piecesUncached()
 251         from := r.pieces
 252         if to == from {
 253                 return
 254         }
 255         r.pieces = to
 256         // log.Printf("reader pos changed %v->%v", from, to)
 257         r.t.readerPosChanged(from, to)
 258 }
 259
 260 func (r *reader) Seek(off int64, whence int) (newPos int64, err error) {
 261         r.opMu.Lock()
 262         defer r.opMu.Unlock()
 263         r.mu.Lock()
 264         defer r.mu.Unlock()
 265         newPos, err = func() (int64, error) {
 266                 switch whence {
 267                 case io.SeekStart:
 268                         return off, err
 269                 case io.SeekCurrent:
 270                         return r.pos + off, nil
 271                 case io.SeekEnd:
 272                         return r.length + off, nil
 273                 default:
 274                         return r.pos, errors.New("bad whence")
 275                 }
 276         }()
 277         if err != nil {
 278                 return
 279         }
 280         if newPos == r.pos {
 281                 return
 282         }
 283         r.pos = newPos
 284         r.contiguousReadStartPos = newPos
 285
 286         r.posChanged()
 287         return
 288 }
 289
 290 func (r *reader) log(m log.Msg) {
 291         r.t.logger.Log(m.Skip(1))
 292 }
 293
 294 // Implementation inspired by https://news.ycombinator.com/item?id=27019613.
 295 func (r *reader) defaultReadaheadFunc() int64 {
 296         return r.pos - r.contiguousReadStartPos
 297 }