Don't use non-directory webseed URLs for multi-file torrents

Make TorrentSpecFromMetaInfoErr still usable on info error

Comment that BEP 19 is WebSeeds

cmd/torrentfs: Add missing envpprof.Stop

Pull uninitialized DHT store fix from anacrolix/dht

Fixes https://github.com/anacrolix/torrent/issues/686.

gofumpt

Improve dht bootstrap stats logging

cmd/torrent: Add serve subcommand

bencode: Fix marshalling of unaddressable array of bytes

Export addTorrentOpts

Now I see what the lint was complaining about.

Move download subcmd code into separate file

cmd/torrent: Add bencode {json,spew} commands

bencode.Bytes: Tests and stricter checks

Run Go GitHub action with Go 1.16 as well as 1.17

1.16 is still used by some downstream projects, and it might ensure support for pkg.go.dev (via old build constraint tags).

Run Go GitHub action on all branches

Remove some unused parameter names

https://deepsource.io/gh/anacrolix/torrent/run/cfd6fa3d-c65b-4bf7-83f7-3bee87c21a4b/go/RVV-B0012

Alter some directory permissioning in storage

Remove unused Torrent.numActivePeers

Remove unused conn piece inclinations

fixup! [trackerscraper] Add custom DNS lookup function

[fuzz] Put +build tags to support go1.16 as well

Revert "Remove old-style build tags"

This reverts commit 11ae25660ad3048ee5736694793fead3305f5c5b.

[trackerscraper] Add custom DNS lookup function

Link to godocs.io for documentation

Fix unnecessary modification of Torrent.CancelPieces API

https://github.com/anacrolix/torrent/issues/681

bencode: Encode arrays of bytes as strings

This looks appropriate with the use of byte arrays in DHT for BEP44.

Run all tests and benchmarks twice

This helps detect bad cleanup in tests, which is very common.

Remove unnecessary intermediate steps in Go workflow

Check if torrent is closed before handling peer request data read failures

Should fix panics using storage after its been closed, like in https://github.com/anacrolix/torrent/runs/4017475163.

Fix panic in benchmark

Merge branch 'peer-requesting'

Retain the desired request ordering

This means we don't have to randomize the request order when we finally apply it to avoid favouring lower indices. The difference is very subtle but should be impactful with smaller connection counts and rarer torrents.

Add Peer.mustRequest

Only assert pending requests when check is enabled

Uses too much CPU for production from its current callsites.

Add disabled code for limiting wasted chunks

Quote webrtc offer ID as ASCII-only

Fix iter pending chunk request offsets

Support minimum peer extensions

Always count unhandled requests as pending

Fixes https://github.com/anacrolix/torrent/issues/679.

Record webseed request result bytes against client stats

Should fix the issue where webseeds cause >100% useful data readings.

Add more comprehensive pending requests assertions

Fix panic in update requests timer func on closed conn

Fix race running and closing webtorrent tracker clients

Fix panic when sustaining unrejected requests after being choked

Fixes https://github.com/anacrolix/torrent/issues/680.

Demote Torrent.runHandshookConnLoggingErr level to debug

Add low requests check

This is an optimization for webseeds, which have 10 synchronous request routines, and if the request count dips below 10, some sit idle. There is probably something similar to be done with PeerConns, which won't update until there are zero requests, but there there is a timer to refresh updates, and the queues are very long (typically 512-2048).

Update webseeds for peer requesting

cmd/torrent: Use updated args module

Remove unused peerImpl methods

go mod tidy

Demote some recent logs to debug

Improve protocol behaviour logging

go fmt

Don't error receiving unchoke while already unchoked

Refresh updates after 3s instead of 1s

Randomize request order

Include pending cancel count in peer status

Don't panic on request refresh if there are no existing requests

Improvements to request refreshing

Refresh requests after a second of no updates

go mod tidy

glr resolve anacrolix/args

Use roaring.Bitmap.IsEmpty where appropriate

Make useful data stat more readable

Print average download rate

Add expvar for successful peer wire protocol handshake peer reserved bytes

Fix log message argument

Avoid allocation putting undirtiedChunksIter into interface

Use roaring bitmap for pending pieces

Also makes a significant optimization for peerHasWantedPieces possible.

Wait for cancelled requests to be rejected per the spec

Panic if pending request count goes negative in requesting

Use pointer receiver for peerRequests.{Less,Len}

Track requests that are preserved across chokings

Simplify request ordering for reversed conditions

Some fixes to pending request accounting

Handle allowed fast while choked when requests already exist in the same piece

Add missing request updates on cancels, rejects

Don't automatically delete requests if we're choked with fast extension

Don't put requests we can't make into the request heap

In particular this should save a lot of overhead if we're choked.

Optimize Peer.peerHasWantedPieces

Optimize request updates due to conn and reader state changes

Extend nominal max requests upper bound to 2048

Use a flat slice for pending request counts

Under heavy load, seems to be 2-3x faster.

Optimize chunk calculations in request strategy

Ignore request strategy run gobs and envrcs

Implement pending requests using BSI

Extract pendingRequests

Add reasons for updateRequests to be triggered

Add pprof labels for request updates and remove Client-wide requester

Remove peer piece inclination and piece request order

These are vestigial data structures used with old request strategy implementations.

Change peer requesting to spread requests out evenly

Log handshook conn run errors with level warning

(cherry picked from commit 7ca7890e9f30307a1f4942e6d987791a142c3cb3)

Ending a conn because we don't like its ID is not an error

(cherry picked from commit 2a5ba846cef9b4e035b3b88698f3e7f7d9d79251)

Fix incomplete Integer.Read

Possibly on read buffer boundaries, this would have caused errant io.ErrUnexpectedEOF.

(cherry picked from commit 22569449dad48e1c5cdeac171625585f8ca976c9)

Only allow chunk size to be set for new Torrents

(cherry picked from commit 09e73e9fce139cd78da48c442e8610501b6fd26b)

Update piece priority after processing piece hash result

Seems to avoid some silly performance issues in triggering request updates due to a piece still pending while being marked.

Pieces being marked should have priority none

Also reorder the checks a bit to favour the cheaper ones.

Add DisableInitialPieceCheck option (#677)

Update requests on unchoke

cmd/torrent: Ensure envpprof.Stop runs before exit