Skip holes with mmapFileIo

Remove possum storage replace

Fixes #1020.

Sync to tagged deps

Add TODO on SEEK_DATA

Merge branch 'erigon'

Set default webseed host request concurrency to 25

Set default file IO implementation to mmap

Small improvements to cmd/torrent2 metainfo pprint

Block Torrent.Complete on hashing

Update webseed requests if queue is completely drained

Rebuke webseed peers for a minute on bad responses

Add webseed.ReadRequestPartError

Skip unnecessary peer iteration when there's no peers to ban

Remove pprof labels for webseed request read routine

Don't close webseed peers for bad data

Don't issue webseed requests that clobber pending cancels

Track activeWebseedRequests in Client too

Maybe partial file for existing webseed requests that are finished would panic

Fix out of bounds in mmap WriteTo

Log source fetch fail when not retrying

Use msync flushing in mmap file io

Merge aprioriWebseedRequestKey and webseedUniqueRequestKey

Fix some tests that didn't hold lock while deferring actions

gorond

Fix some lints

Rework existing webseed requests for unique slice indexes

Try harder to pass useful error on webseed read chunks cancellation

Wait 1-2 mins between failed metainfo fetches

Use ignorePieceForRequests instead of shady pending pieces

Add mmap alternative IO system for file storage

Allow args to just test

Don't assign DisallowData* being assigned in Torrent.MergeSpec

This was masking an ancient bug in SetInfoBytes, and AllowDataDownload!

Fix AllowDataDownload not triggering piece request state

Add checks that defers only occur on write locks

Add MetainfoSourcesMerger

Break out file IO abstraction

Don't panic on non-zero chunk sizes in Client.AddTorrentSpec

Fix build on Windows

Move assertion back to proper place

Improve webseed part request log message for identifying cache boundaries

TODO on stat atomics being out of sync

Convert cmd/torrent2 to bargle/v2

Lower webseed read chunks log level when peer is closed

Fix proposed and existing cancelled webseed requests colliding in priority heap

Clear pprof labels in spawned webseed requests

Probably fix a nasty buffer size performance issue with rate limited readers

Skip download rate limited reader wrapping if DownloadRateLimiter is nil

Fix new warning in piece hashing due to new file piece WriteTo

Fix Torrent.close race in test

Support setting the Type-Of-Service field to 'throughput' for sockets (#1017)

Fix chansync dep

Try to show context cancellation cause after io.ReadFull

Sort webseed request heap deterministically

Code comments

Remove debug log showing up in profiling

Pedantic optimization of Torrent.AllowDataDownload and AllowDataUpload

Set cached piece completion directly on piece hashed

Fix premature return from GetRequestablePieces iterator

Was missed in earlier refactor

Simplify part file promotion and demotion

Replace nasty SI file size prefix

Propagate better webseed cancellation errors and cancel requests on peer context

Fix pointless double open on unhandled open for write errors

Expose TORRENT_WEBSEED_REQUEST_CHUNK_SIZE

Fix very rare double Torrent close panic

Extract webseed end request calculation and avoid bug for now

Make webseedUrlKey more ergonomic to use

Ensure Torrent.pieceCompletionChanged always runs on piece init

Ignore pieces with unknown completion for requests

Set deferred unique actions map to nil rather than clear

Add TORRENT_MAX_ACTIVE_PIECE_HASHERS

Extra pedantry in chunkIndexSpec

Add request-strategy.Btree.Contains

We'll need it later when we use piece request order instead of Torrent._pendingPieces.

Convert GetRequestablePieces to an iterator

Fix panic in piece request order length status

Use unique.Handle for webseedUrlKey

Should greatly improve apriori map lookup performance.

Include webseed update reason and some extra debug stuff

Include CF-Cache-Status in webseed debug

Tons of webseed optimizations

Avoid extra allocation in firstDirtyChunk
Allow multiple requests per file (now called slices or webseed chunks)
Reduce many allocations and extra work in webseed heap ordering
Add webseed request update pprof labels
Use a larger buffer for copying webseed response parts

Switch segments to use iterators

Trying to reduce allocations

Switch to segments.Index.LocateIter everywhere

Avoid Iterator allocation

Use unique.Handle for piece order infohashes

Make Client.Close more responsive

Stop updating webseed requests ASAP.
Set the Client closed event outside of the Client lock.
Make Client initialization more consistent for Close.

gorond

Update missinggo/v2 to fix stm test errors

Truncate webseed requests to response body cache boundaries

Rejigger the webseed debug logging

Prevent webseed requests when torrent data download disallowed

Tidy

Drop torrents on Client.Close not just close them

Add separate MetainfoSourcesClient

Expose TORRENT_WEBSEED_HOST_REQUEST_CONCURRENCY

Aggregate connection stats by peer implementation

Fix panicif.Nil not working correctly

Set piece incomplete if part file size incorrect

Make peer conns minimize request overlap with webseeds

Update code comments

Webseeds favour requesting partial files

file storage: Rename anyway if both files exist

Skip holes in file piece WriteTo

Overkill optimization, saves about 10% reading from disk in test. Probably not worth it.