PEX: use new NodeAddr search methods in krpc

PEX: fluid event log

Fix wasm build

This was broken in the move to zombiezen sqlite, which still doesn't work on WASM/JS.

Don't fail-fast on go versions

Handle 503 returns from webseed peer endpoints

Record an observation about why webseed peers are doing most of the work in recent testing

Do webseed request parts sequentially

This means we can treat the number of bytes in the result with enough accuracy to decide if we should count it as a wasted chunk. Also I'm not sure why it was a good idea to do parts of a request in parallel anyway, it could just lead to spikes in outstanding requests to the webseed, rather than sticking to the predictable maxRequests limit.

Handle cancelled webseed peer requests if they're not active

Check if Torrent is closed before receiving webseed chunks

Fix minimum peer extensions error message

Reduce idle request updates due to choke and unchoke messages

Merge branch 'udp-tracker-no-dial' into te

Remove unused peer stuff in request strategy

Optimize the use of worstConnSlice again

Optimize Torrent.haveAnyPieces

Announce to DHT if we want conns, not just peers

Wanting peers is a subset of wanting conns

Don't want conns for seeding unless we have a piece

Peers with all pieces have wanted pieces only if we want any piece

Abstract worseConn comparisons and add tests

Rename worst_conns.go

Merge branch 'bsi-pending-requests' into te

Use modernc.org/sqlite version that fixes temp dir race

Comment out pending requests tests and asserts

These need to be updated. BSI for pending requests removes an enormous amount of memory use for very large torrents.

Revert "Use a flat slice for pending request counts"

This reverts commit dfc421824ce6c146ff9d9062ad25748c0f8c9990.

tracker/udp: Panic on read errors if ConnClient not closed

There's nothing exposed to handle this error currently, and if it occurs, it's better not to fail in silence. I'm currently debugging a situation where ConnClients stop working, this would be a condition we'd want to know about.

Improve logging of UDP tracker packet dispatch error

Wrap UDP tracker response error

Don't dial in UDP tracking

This could fix an issue where tracker addresses change, but we're already bound to a particular address and so fail to receive any more responses.
It should also make it easier to share UDP sockets between UDP tracker clients, although that's not currently implemented.

Doc comments

Remove CGO build flags for pure-Go squirrel branch

Use zombiezen branch of squirrel

gofumpt

Use zombiezen sqlite for piece completion

Quote peer extension names to expvar

Pull synchronous firewall callback performance improvement

Reduces CPU overhead when receiving lot of UDP traffic.

Optimize PeerConn.peerHasAllPieces

Avoid calling net.Conn methods with the Client mutex locked

The utp firewall callback might want to use it. I can't think of a better way to determine with an incoming connection request should be blocked.

Use tagged version of github.com/anacrolix/fuse

Switch to github.com/anacrolix/fuse

Remove dependency on and exclude of github.com/willf/bitset

Provide context to readahead func

Add Reader.SetReadaheadFunc

Fixes https://github.com/anacrolix/torrent/issues/687.

Add a comment about not discarding in webseed OK response bodies

Don't log legitimate non-range requests

Should fix failing go1.16 CI build

Improve error handling for bad webseeds

DNS "no such host" errors didn't interrupt the stream of outbound requests.

Pass HTTP Proxy config into webseeding HTTP client

Remove unused Client.updateRequests

Boost webseed max requests

Increment webseed peer piece availability

Allow non-partial webseed part responses for small files

webseed: Close unused part responses after error

Also don't bother to read their response bodies.

Don't use non-directory webseed URLs for multi-file torrents

Make TorrentSpecFromMetaInfoErr still usable on info error

Comment that BEP 19 is WebSeeds

cmd/torrentfs: Add missing envpprof.Stop

Pull uninitialized DHT store fix from anacrolix/dht

Fixes https://github.com/anacrolix/torrent/issues/686.

gofumpt

Improve dht bootstrap stats logging

cmd/torrent: Add serve subcommand

bencode: Fix marshalling of unaddressable array of bytes

Export addTorrentOpts

Now I see what the lint was complaining about.

Move download subcmd code into separate file

cmd/torrent: Add bencode {json,spew} commands

bencode.Bytes: Tests and stricter checks

Run Go GitHub action with Go 1.16 as well as 1.17

1.16 is still used by some downstream projects, and it might ensure support for pkg.go.dev (via old build constraint tags).

Run Go GitHub action on all branches

Remove some unused parameter names

https://deepsource.io/gh/anacrolix/torrent/run/cfd6fa3d-c65b-4bf7-83f7-3bee87c21a4b/go/RVV-B0012

Alter some directory permissioning in storage

Remove unused Torrent.numActivePeers

Remove unused conn piece inclinations

fixup! [trackerscraper] Add custom DNS lookup function

[fuzz] Put +build tags to support go1.16 as well

Revert "Remove old-style build tags"

This reverts commit 11ae25660ad3048ee5736694793fead3305f5c5b.

[trackerscraper] Add custom DNS lookup function

Link to godocs.io for documentation

Fix unnecessary modification of Torrent.CancelPieces API

https://github.com/anacrolix/torrent/issues/681

bencode: Encode arrays of bytes as strings

This looks appropriate with the use of byte arrays in DHT for BEP44.

Run all tests and benchmarks twice

This helps detect bad cleanup in tests, which is very common.

Remove unnecessary intermediate steps in Go workflow

Check if torrent is closed before handling peer request data read failures

Should fix panics using storage after its been closed, like in https://github.com/anacrolix/torrent/runs/4017475163.

Fix panic in benchmark

Merge branch 'peer-requesting'

Retain the desired request ordering

This means we don't have to randomize the request order when we finally apply it to avoid favouring lower indices. The difference is very subtle but should be impactful with smaller connection counts and rarer torrents.

Add Peer.mustRequest

Only assert pending requests when check is enabled

Uses too much CPU for production from its current callsites.

Add disabled code for limiting wasted chunks

Quote webrtc offer ID as ASCII-only

Fix iter pending chunk request offsets

Support minimum peer extensions

Always count unhandled requests as pending

Fixes https://github.com/anacrolix/torrent/issues/679.

Record webseed request result bytes against client stats

Should fix the issue where webseeds cause >100% useful data readings.

Add more comprehensive pending requests assertions

Fix panic in update requests timer func on closed conn

Fix race running and closing webtorrent tracker clients

Fix panic when sustaining unrejected requests after being choked

Fixes https://github.com/anacrolix/torrent/issues/680.

Demote Torrent.runHandshookConnLoggingErr level to debug

Add low requests check

This is an optimization for webseeds, which have 10 synchronous request routines, and if the request count dips below 10, some sit idle. There is probably something similar to be done with PeerConns, which won't update until there are zero requests, but there there is a timer to refresh updates, and the queues are very long (typically 512-2048).

Update webseeds for peer requesting