Update crawshaw.io/sqlite

Now includes the fix for the pool race. I've removed the replace, the only thing left in the getlantern fork is the linking fix, and I forget when it's an issue.

We're not expecting chunks if we have no outstanding requests

Set not interested when we have no pending requests

Rework webseed peers to use a pool of requesters

This fixes the limitation that the max outstanding requests for a webseed peer must match the request concurrency. It should mean less recalculation, and more pipelining.

Pass callbacks to webseed peers

Remove requests as soon as chunk data is received

Note that this breaks the backpressure on webseed responses again, and should be fixed shortly.

Add peer upload order analysis

Don't cancel request on current peer when receiving chunk

Update deps

Expose more callbacks and Request and ChunkSpec

PORT message belongs to BEP 5

Escape URI path

Update deps

Remove cast(data as blob) workaround

Upstream merged the fix. Good performance boost.

Create index on blob(last_used)

Add sqlite-storage-cli

Remove obsolete reference to piece storage opts

Fix race in writes to closed provider

Fix transfer tests involving sqlite memory storage

Rejig some storage options

Fix unused opts param

Include context.Context and pprof label in withConn

Move storage piece benchmarks to storage/test and add a lot more dials

Improve configurability and add PutSized to sqlite storage

Add MarkComplete benchmark for sqlite

Expose Peer.Network to replace Peer.RemoteAddr.Network

Don't expose Peer network through RemoteAddr

Generate a RemoteAddr for webseed Peers

Add ReceivedUsefulData Callback

Export Peer

Implement encoding.TextMarshaler to match unmarshaler for metainfo.Hash

Fixes https://github.com/anacrolix/torrent/issues/463

Fix unreferenced variable

Fix call to wrong postCancel?

Looks like this would forget to also cancel the request on the peer, and only send the message.

Fix duplicate import under different aliases

Update DHT

Fix boundary conditions trimming sqlite3 storage cache

Fix panic on Ping/WriteMessage for webtorrent

Introduced in anacrolix/torrent #455

Add link for @anacrolix

connection drop log debug level

Ping websocket to ensure connect remains online.

OpenWebTorrent disconnects clients after two minutes of inactivity. In a scenario where an
announce occurs and no other activity occurs for the (default) 120-second idle timer, the
websocket will be torn down by OpenWebTorrent. This in turn causes the tracker client to wait one
minute, reconnect, and reannounce its peers.

This patch sends a websocket.PingMessage every 60 seconds to maintain the connection.

Add the DropMutuallyCompletePeers ClientConfig field

Align webtorrent tracker to BEP-3

Adding "omitempty" to json marshalling, bringing the webtorrent tracker AnnounceRequest in line
with BEP-3, which states omitting the the "event" field is acceptable.

Reannounce webtorrent webrtc offers on reconnect

On socket reconnect, reannounce any webrtc offers that might have been half-open before the
socket reconnected. This implementation closes any existing half-open offers and republishes them,
but does nothing to existing webrtc connections which are still running (these are cleaned up
elsewhere and are not owned by this code)

Some peerImpl observations

Reinstate cmd/announce announce subcommand

mse: Optimize allocations receiving handshakes

Add benchmark for receiving handshakes with large skey counts

Add mse.ReceiveHandshakeEx

Upgrade github.com/frankban/quicktest

Fix "none" event for WebTorrent announces

Document ClientConfig.DisableAcceptRateLimiting

Merge branch 'v1.19'

* v1.19:
  Further fixes to webseed path encoding
  Update README.md
  Move request strategy doc comments onto their public functions
  Add deprecated ParseMagnetURI

Further fixes to webseed path encoding

Update README.md

Add Console 32 mention

(cherry picked from commit f3d3fd37244fabd2642214023f636a778a284864)

Move request strategy doc comments onto their public functions

(cherry picked from commit 8c059ae1583f48e295fd69001aae9eee4b721ba6)

Add deprecated ParseMagnetURI

Update README.md

Add Console 32 mention

Generalize internal/string-limiter Key type

Pass trackerScraper context to announces

This will cancel announces for Closed Torrents and let them move more quickly to announcing the stopped event. Spotted by @hwh33.

Move request strategy doc comments onto their public functions

Factor out internal/string_limiter

Rework active announce limiter to reduce contention

Don't send keepalives if a connection isn't useful to us

This might help break the situation where anacrolix/torrent Clients that are connected to each other never release a connection until there's new connections that look more promising.

Update metainfo.go

delete "yoloham" so that is no longer the default comment string on torrents made without a comment specified. Should resolve https://github.com/anacrolix/torrent/issues/342

Strictly adher to tracker announce response intervals if a torrent is private

cmd/torrent: Add spew-bencoding command

cmd/torrent: Fix download command default flags

Log announce return

cmd/torrent: Add file pick flag

Update github.com/anacrolix/dht/v2

cmd/torrent: Use alexflint/go-arg for argument parsing

Also add list-files command to test it out.

Update required go version

I believe 1.15 is required for testing.T.TempDir.

piece resource storage: Delete incomplete chunks concurrently after writing complete piece

Use ConsecutiveChunkWriter in MarkComplete for piece resource storage if available

Track piece marking state separately

sqlite storage: Ensure that chunks are consecutive

Readme: downstream projects info.

sqlite storage: Remove num batched write queries log message

Update to race fixes in filecache and sqlite

sqlite storage: Buffer write requests

sqlite storage: Add some expvars

sqlite storage: Add error return from withConn

Fix panic in when bbolt storage has Closed

Mark piece complete without Client lock

Read peer request data without Client lock

Add support for the x.pe magnet link parameter

optimise PEX by avoiding intermediate storage while preparing PEX messages

optimise generation of the initial PEX

simplify pexMsgFactory

add test covering a recently fixed regression in initial PEX

Fix excessive logging from mmap-backed storage (anacrolix/torrent#436)

Implement fmt.Formatter for metainfo.Hash

It's so easy to make mistakes by specifying %x when printing these.

Improve cmd/tracker-announce

Add -tracker flag, support specifying infohashes directly, spew announce responses so they're more readable.

Tidy up doc, file names, naming

Update README.md

Fix initial pex message regression

As pointed out by @yarikk https://github.com/anacrolix/torrent/commit/c1d189ed31af99cbf6f10d9ffdc2cc4e19a73b91#r43920706

Replace storage.IncompletePieceToWriter with io.Writer

It was incorrect to assume piece hashing only operates on incomplete chunk data. This actually uncovered a bug where duplicate hash checks occurred, and the redundant checks would fail due to not reading the completed data.

Fix PkgGoDev reference in README

Fix piece getting queued for hash multiple times

Pieces could get queued for hash multiple times when we receive chunks if the piece starts getting hashed before we're done writing all the chunks out. This was only found because piece hashing currently only checks the incomplete data, which is missing after the first piece hash passes, the data is marked complete, then the subsequently queued hash has nothing to read.

Add the ReceiveEncryptedHandshakeSkeys callback