Merge patches into v1.25

Update deps

Fix dht Server Ping call

Don't bench with -race

Include webseed urls in MetaInfo.Magnet output

Fixes #469.

Improve metainfo.MetaInfo.Magnet interface and add tests

PEX: impede full-meching in tracker-less swarms by adding a cooldown minute

Add missing closeMu use in ReadConsecutiveChunks

Only write update bolt piece completion if the existing value differs

Replace internal/tmproot with Testing.TB.TempDir

Merge Sean-Der's webrtc/v3 update

Comment and log change on torrentfs behaviour change

Merge branch 'fuse-email-issue'

go mod tidy

Pull dht peer store interface

Upgrade to pion/webrtc@v3

Add PeerStorer interface

Add ClientConfig.ConfigureAnacrolixDhtServer

Close all peer types when Torrent closed

Code comment

Create codeql-analysis.yml

Include webseed URLs in output of Torrent.Metainfo

Treat 404 responses from webseed peers as fatal

Fixes #464.

Add test case for #464

Install godo

Run torrentfs without race

Add new debian torrent testdata file

Use io.ReadFull in fs reads

fs/test.sh: Use godo for out of tree go run

Rework fs/test.sh

Updates to use newer debian file, and operate in working directory. Temporary directory management should be done by the caller (such as in CI maybe).

Limit conns per host across webseed clients

Fix closing of webseed peers

Buff issue 465 test command

Add minimal reproducing code for issue 465

From https://github.com/anacrolix/torrent/issues/465#issuecomment-774869977.

Fix panic in benchmark

Use locks on piece per resource pieces to prevent races in reading incomplete data

Expose mmap_size in sqlite storage, and change default to 8 MiB

Fix some go vet warnings

Fix Close race in sqlite storage when batch writes disabled

Revert "Fix stalls for responsive transfer tests"

This reverts commit d48c6ae6dc69b7ce23a109cc9ba401e6ab44d831.

Add batch writes cases to sqlite storage benchmarks

Update deps

Fix for go<1.16

Fix sqlite storage for numconns 1

Fix stalls for responsive transfer tests

Looks like there's a timing issue between marking things complete, and already having decided to read the data from incomplete chunks.

Switch to reading consecutive incomplete chunks

This fixes a race where a sqlite conn isn't reserved for the read part of a MarkComplete operation after the write has already begun.

Add tests for numconns 2

Use go1.16 release branch in CI

fixed code quality issues using DeepSource

* Added .deepsource.toml

* Removed empty default in select

* Removed unnecessary use of slice

* Fixed check for empty string

Use iotest.TestReader

Some deps got tagged

Update crawshaw.io/sqlite

Now includes the fix for the pool race. I've removed the replace, the only thing left in the getlantern fork is the linking fix, and I forget when it's an issue.

We're not expecting chunks if we have no outstanding requests

Set not interested when we have no pending requests

Rework webseed peers to use a pool of requesters

This fixes the limitation that the max outstanding requests for a webseed peer must match the request concurrency. It should mean less recalculation, and more pipelining.

Pass callbacks to webseed peers

Remove requests as soon as chunk data is received

Note that this breaks the backpressure on webseed responses again, and should be fixed shortly.

Add peer upload order analysis

Don't cancel request on current peer when receiving chunk

Update deps

Expose more callbacks and Request and ChunkSpec

PORT message belongs to BEP 5

Escape URI path

Update deps

Remove cast(data as blob) workaround

Upstream merged the fix. Good performance boost.

Create index on blob(last_used)

Add sqlite-storage-cli

Remove obsolete reference to piece storage opts

Fix race in writes to closed provider

Fix transfer tests involving sqlite memory storage

Rejig some storage options

Fix unused opts param

Include context.Context and pprof label in withConn

Move storage piece benchmarks to storage/test and add a lot more dials

Improve configurability and add PutSized to sqlite storage

Add MarkComplete benchmark for sqlite

Expose Peer.Network to replace Peer.RemoteAddr.Network

Don't expose Peer network through RemoteAddr

Generate a RemoteAddr for webseed Peers

Add ReceivedUsefulData Callback

Export Peer

Implement encoding.TextMarshaler to match unmarshaler for metainfo.Hash

Fixes https://github.com/anacrolix/torrent/issues/463

Fix unreferenced variable

Fix call to wrong postCancel?

Looks like this would forget to also cancel the request on the peer, and only send the message.

Fix duplicate import under different aliases

Update DHT

Fix boundary conditions trimming sqlite3 storage cache

Fix panic on Ping/WriteMessage for webtorrent

Introduced in anacrolix/torrent #455

Add link for @anacrolix

connection drop log debug level

Ping websocket to ensure connect remains online.

OpenWebTorrent disconnects clients after two minutes of inactivity. In a scenario where an
announce occurs and no other activity occurs for the (default) 120-second idle timer, the
websocket will be torn down by OpenWebTorrent. This in turn causes the tracker client to wait one
minute, reconnect, and reannounce its peers.

This patch sends a websocket.PingMessage every 60 seconds to maintain the connection.

Add the DropMutuallyCompletePeers ClientConfig field

Align webtorrent tracker to BEP-3

Adding "omitempty" to json marshalling, bringing the webtorrent tracker AnnounceRequest in line
with BEP-3, which states omitting the the "event" field is acceptable.

Reannounce webtorrent webrtc offers on reconnect

On socket reconnect, reannounce any webrtc offers that might have been half-open before the
socket reconnected. This implementation closes any existing half-open offers and republishes them,
but does nothing to existing webrtc connections which are still running (these are cleaned up
elsewhere and are not owned by this code)

Some peerImpl observations

Reinstate cmd/announce announce subcommand

mse: Optimize allocations receiving handshakes

Add benchmark for receiving handshakes with large skey counts

Add mse.ReceiveHandshakeEx

Upgrade github.com/frankban/quicktest