Fix closing of webseed peers

Buff issue 465 test command

Add minimal reproducing code for issue 465

From https://github.com/anacrolix/torrent/issues/465#issuecomment-774869977.

Fix panic in benchmark

Use locks on piece per resource pieces to prevent races in reading incomplete data

Expose mmap_size in sqlite storage, and change default to 8 MiB

Fix some go vet warnings

Fix Close race in sqlite storage when batch writes disabled

Revert "Fix stalls for responsive transfer tests"

This reverts commit d48c6ae6dc69b7ce23a109cc9ba401e6ab44d831.

Add batch writes cases to sqlite storage benchmarks

Update deps

Fix for go<1.16

Fix sqlite storage for numconns 1

Fix stalls for responsive transfer tests

Looks like there's a timing issue between marking things complete, and already having decided to read the data from incomplete chunks.

Switch to reading consecutive incomplete chunks

This fixes a race where a sqlite conn isn't reserved for the read part of a MarkComplete operation after the write has already begun.

Add tests for numconns 2

Use go1.16 release branch in CI

fixed code quality issues using DeepSource

* Added .deepsource.toml

* Removed empty default in select

* Removed unnecessary use of slice

* Fixed check for empty string

Use iotest.TestReader

Some deps got tagged

Update crawshaw.io/sqlite

Now includes the fix for the pool race. I've removed the replace, the only thing left in the getlantern fork is the linking fix, and I forget when it's an issue.

We're not expecting chunks if we have no outstanding requests

Set not interested when we have no pending requests

Rework webseed peers to use a pool of requesters

This fixes the limitation that the max outstanding requests for a webseed peer must match the request concurrency. It should mean less recalculation, and more pipelining.

Pass callbacks to webseed peers

Remove requests as soon as chunk data is received

Note that this breaks the backpressure on webseed responses again, and should be fixed shortly.

Add peer upload order analysis

Don't cancel request on current peer when receiving chunk

Update deps

Expose more callbacks and Request and ChunkSpec

PORT message belongs to BEP 5

Escape URI path

Update deps

Remove cast(data as blob) workaround

Upstream merged the fix. Good performance boost.

Create index on blob(last_used)

Add sqlite-storage-cli

Remove obsolete reference to piece storage opts

Fix race in writes to closed provider

Fix transfer tests involving sqlite memory storage

Rejig some storage options

Fix unused opts param

Include context.Context and pprof label in withConn

Move storage piece benchmarks to storage/test and add a lot more dials

Improve configurability and add PutSized to sqlite storage

Add MarkComplete benchmark for sqlite

Expose Peer.Network to replace Peer.RemoteAddr.Network

Don't expose Peer network through RemoteAddr

Generate a RemoteAddr for webseed Peers

Add ReceivedUsefulData Callback

Export Peer

Implement encoding.TextMarshaler to match unmarshaler for metainfo.Hash

Fixes https://github.com/anacrolix/torrent/issues/463

Fix unreferenced variable

Fix call to wrong postCancel?

Looks like this would forget to also cancel the request on the peer, and only send the message.

Fix duplicate import under different aliases

Update DHT

Fix boundary conditions trimming sqlite3 storage cache

Fix panic on Ping/WriteMessage for webtorrent

Introduced in anacrolix/torrent #455

Add link for @anacrolix

connection drop log debug level

Ping websocket to ensure connect remains online.

OpenWebTorrent disconnects clients after two minutes of inactivity. In a scenario where an
announce occurs and no other activity occurs for the (default) 120-second idle timer, the
websocket will be torn down by OpenWebTorrent. This in turn causes the tracker client to wait one
minute, reconnect, and reannounce its peers.

This patch sends a websocket.PingMessage every 60 seconds to maintain the connection.

Add the DropMutuallyCompletePeers ClientConfig field

Align webtorrent tracker to BEP-3

Adding "omitempty" to json marshalling, bringing the webtorrent tracker AnnounceRequest in line
with BEP-3, which states omitting the the "event" field is acceptable.

Reannounce webtorrent webrtc offers on reconnect

On socket reconnect, reannounce any webrtc offers that might have been half-open before the
socket reconnected. This implementation closes any existing half-open offers and republishes them,
but does nothing to existing webrtc connections which are still running (these are cleaned up
elsewhere and are not owned by this code)

Some peerImpl observations

Reinstate cmd/announce announce subcommand

mse: Optimize allocations receiving handshakes

Add benchmark for receiving handshakes with large skey counts

Add mse.ReceiveHandshakeEx

Upgrade github.com/frankban/quicktest

Fix "none" event for WebTorrent announces

Document ClientConfig.DisableAcceptRateLimiting

Merge branch 'v1.19'

* v1.19:
  Further fixes to webseed path encoding
  Update README.md
  Move request strategy doc comments onto their public functions
  Add deprecated ParseMagnetURI

Further fixes to webseed path encoding

Update README.md

Add Console 32 mention

(cherry picked from commit f3d3fd37244fabd2642214023f636a778a284864)

Move request strategy doc comments onto their public functions

(cherry picked from commit 8c059ae1583f48e295fd69001aae9eee4b721ba6)

Add deprecated ParseMagnetURI

Update README.md

Add Console 32 mention

Generalize internal/string-limiter Key type

Pass trackerScraper context to announces

This will cancel announces for Closed Torrents and let them move more quickly to announcing the stopped event. Spotted by @hwh33.

Move request strategy doc comments onto their public functions

Factor out internal/string_limiter

Rework active announce limiter to reduce contention

Don't send keepalives if a connection isn't useful to us

This might help break the situation where anacrolix/torrent Clients that are connected to each other never release a connection until there's new connections that look more promising.

Update metainfo.go

delete "yoloham" so that is no longer the default comment string on torrents made without a comment specified. Should resolve https://github.com/anacrolix/torrent/issues/342

Strictly adher to tracker announce response intervals if a torrent is private

cmd/torrent: Add spew-bencoding command

cmd/torrent: Fix download command default flags

Log announce return

cmd/torrent: Add file pick flag

Update github.com/anacrolix/dht/v2

cmd/torrent: Use alexflint/go-arg for argument parsing

Also add list-files command to test it out.

Update required go version

I believe 1.15 is required for testing.T.TempDir.

piece resource storage: Delete incomplete chunks concurrently after writing complete piece

Use ConsecutiveChunkWriter in MarkComplete for piece resource storage if available

Track piece marking state separately

sqlite storage: Ensure that chunks are consecutive

Readme: downstream projects info.

sqlite storage: Remove num batched write queries log message

Update to race fixes in filecache and sqlite

sqlite storage: Buffer write requests