Announce to DHT if we want conns, not just peers

Wanting peers is a subset of wanting conns

Don't want conns for seeding unless we have a piece

Peers with all pieces have wanted pieces only if we want any piece

Abstract worseConn comparisons and add tests

Rename worst_conns.go

Merge branch 'bsi-pending-requests' into te

Use modernc.org/sqlite version that fixes temp dir race

Comment out pending requests tests and asserts

These need to be updated. BSI for pending requests removes an enormous amount of memory use for very large torrents.

Revert "Use a flat slice for pending request counts"

This reverts commit dfc421824ce6c146ff9d9062ad25748c0f8c9990.

Remove CGO build flags for pure-Go squirrel branch

Use zombiezen branch of squirrel

gofumpt

Use zombiezen sqlite for piece completion

Quote peer extension names to expvar

Pull synchronous firewall callback performance improvement

Reduces CPU overhead when receiving lot of UDP traffic.

Optimize PeerConn.peerHasAllPieces

Avoid calling net.Conn methods with the Client mutex locked

The utp firewall callback might want to use it. I can't think of a better way to determine with an incoming connection request should be blocked.

Use tagged version of github.com/anacrolix/fuse

Switch to github.com/anacrolix/fuse

Remove dependency on and exclude of github.com/willf/bitset

Provide context to readahead func

Add Reader.SetReadaheadFunc

Fixes https://github.com/anacrolix/torrent/issues/687.

Add a comment about not discarding in webseed OK response bodies

Don't log legitimate non-range requests

Should fix failing go1.16 CI build

Improve error handling for bad webseeds

DNS "no such host" errors didn't interrupt the stream of outbound requests.

Pass HTTP Proxy config into webseeding HTTP client

Remove unused Client.updateRequests

Boost webseed max requests

Increment webseed peer piece availability

Allow non-partial webseed part responses for small files

webseed: Close unused part responses after error

Also don't bother to read their response bodies.

Don't use non-directory webseed URLs for multi-file torrents

Make TorrentSpecFromMetaInfoErr still usable on info error

Comment that BEP 19 is WebSeeds

cmd/torrentfs: Add missing envpprof.Stop

Pull uninitialized DHT store fix from anacrolix/dht

Fixes https://github.com/anacrolix/torrent/issues/686.

gofumpt

Improve dht bootstrap stats logging

cmd/torrent: Add serve subcommand

bencode: Fix marshalling of unaddressable array of bytes

Export addTorrentOpts

Now I see what the lint was complaining about.

Move download subcmd code into separate file

cmd/torrent: Add bencode {json,spew} commands

bencode.Bytes: Tests and stricter checks

Run Go GitHub action with Go 1.16 as well as 1.17

1.16 is still used by some downstream projects, and it might ensure support for pkg.go.dev (via old build constraint tags).

Run Go GitHub action on all branches

Remove some unused parameter names

https://deepsource.io/gh/anacrolix/torrent/run/cfd6fa3d-c65b-4bf7-83f7-3bee87c21a4b/go/RVV-B0012

Alter some directory permissioning in storage

Remove unused Torrent.numActivePeers

Remove unused conn piece inclinations

fixup! [trackerscraper] Add custom DNS lookup function

[fuzz] Put +build tags to support go1.16 as well

Revert "Remove old-style build tags"

This reverts commit 11ae25660ad3048ee5736694793fead3305f5c5b.

[trackerscraper] Add custom DNS lookup function

Link to godocs.io for documentation

Fix unnecessary modification of Torrent.CancelPieces API

https://github.com/anacrolix/torrent/issues/681

bencode: Encode arrays of bytes as strings

This looks appropriate with the use of byte arrays in DHT for BEP44.

Run all tests and benchmarks twice

This helps detect bad cleanup in tests, which is very common.

Remove unnecessary intermediate steps in Go workflow

Check if torrent is closed before handling peer request data read failures

Should fix panics using storage after its been closed, like in https://github.com/anacrolix/torrent/runs/4017475163.

Fix panic in benchmark

Merge branch 'peer-requesting'

Retain the desired request ordering

This means we don't have to randomize the request order when we finally apply it to avoid favouring lower indices. The difference is very subtle but should be impactful with smaller connection counts and rarer torrents.

Add Peer.mustRequest

Only assert pending requests when check is enabled

Uses too much CPU for production from its current callsites.

Add disabled code for limiting wasted chunks

Quote webrtc offer ID as ASCII-only

Fix iter pending chunk request offsets

Support minimum peer extensions

Always count unhandled requests as pending

Fixes https://github.com/anacrolix/torrent/issues/679.

Record webseed request result bytes against client stats

Should fix the issue where webseeds cause >100% useful data readings.

Add more comprehensive pending requests assertions

Fix panic in update requests timer func on closed conn

Fix race running and closing webtorrent tracker clients

Fix panic when sustaining unrejected requests after being choked

Fixes https://github.com/anacrolix/torrent/issues/680.

Demote Torrent.runHandshookConnLoggingErr level to debug

Add low requests check

This is an optimization for webseeds, which have 10 synchronous request routines, and if the request count dips below 10, some sit idle. There is probably something similar to be done with PeerConns, which won't update until there are zero requests, but there there is a timer to refresh updates, and the queues are very long (typically 512-2048).

Update webseeds for peer requesting

cmd/torrent: Use updated args module

Remove unused peerImpl methods

go mod tidy

Demote some recent logs to debug

Improve protocol behaviour logging

go fmt

Don't error receiving unchoke while already unchoked

Refresh updates after 3s instead of 1s

Randomize request order

Include pending cancel count in peer status

Don't panic on request refresh if there are no existing requests

Improvements to request refreshing

Refresh requests after a second of no updates

go mod tidy

glr resolve anacrolix/args

Use roaring.Bitmap.IsEmpty where appropriate

Make useful data stat more readable

Print average download rate

Add expvar for successful peer wire protocol handshake peer reserved bytes

Fix log message argument