Merge branch 'peer-requesting'

Retain the desired request ordering

This means we don't have to randomize the request order when we finally apply it to avoid favouring lower indices. The difference is very subtle but should be impactful with smaller connection counts and rarer torrents.

Add Peer.mustRequest

Only assert pending requests when check is enabled

Uses too much CPU for production from its current callsites.

Add disabled code for limiting wasted chunks

Quote webrtc offer ID as ASCII-only

Fix iter pending chunk request offsets

Support minimum peer extensions

Always count unhandled requests as pending

Fixes https://github.com/anacrolix/torrent/issues/679.

Record webseed request result bytes against client stats

Should fix the issue where webseeds cause >100% useful data readings.

Add more comprehensive pending requests assertions

Fix panic in update requests timer func on closed conn

Fix race running and closing webtorrent tracker clients

Fix panic when sustaining unrejected requests after being choked

Fixes https://github.com/anacrolix/torrent/issues/680.

Demote Torrent.runHandshookConnLoggingErr level to debug

Add low requests check

This is an optimization for webseeds, which have 10 synchronous request routines, and if the request count dips below 10, some sit idle. There is probably something similar to be done with PeerConns, which won't update until there are zero requests, but there there is a timer to refresh updates, and the queues are very long (typically 512-2048).

Update webseeds for peer requesting

cmd/torrent: Use updated args module

Remove unused peerImpl methods

go mod tidy

Demote some recent logs to debug

Improve protocol behaviour logging

go fmt

Don't error receiving unchoke while already unchoked

Refresh updates after 3s instead of 1s

Randomize request order

Include pending cancel count in peer status

Don't panic on request refresh if there are no existing requests

Improvements to request refreshing

Refresh requests after a second of no updates

go mod tidy

glr resolve anacrolix/args

Use roaring.Bitmap.IsEmpty where appropriate

Make useful data stat more readable

Print average download rate

Add expvar for successful peer wire protocol handshake peer reserved bytes

Fix log message argument

Avoid allocation putting undirtiedChunksIter into interface

Use roaring bitmap for pending pieces

Also makes a significant optimization for peerHasWantedPieces possible.

Wait for cancelled requests to be rejected per the spec

Panic if pending request count goes negative in requesting

Use pointer receiver for peerRequests.{Less,Len}

Track requests that are preserved across chokings

Simplify request ordering for reversed conditions

Some fixes to pending request accounting

Handle allowed fast while choked when requests already exist in the same piece

Add missing request updates on cancels, rejects

Don't automatically delete requests if we're choked with fast extension

Don't put requests we can't make into the request heap

In particular this should save a lot of overhead if we're choked.

Optimize Peer.peerHasWantedPieces

Optimize request updates due to conn and reader state changes

Extend nominal max requests upper bound to 2048

Use a flat slice for pending request counts

Under heavy load, seems to be 2-3x faster.

Optimize chunk calculations in request strategy

Ignore request strategy run gobs and envrcs

Implement pending requests using BSI

Extract pendingRequests

Add reasons for updateRequests to be triggered

Add pprof labels for request updates and remove Client-wide requester

Remove peer piece inclination and piece request order

These are vestigial data structures used with old request strategy implementations.

Change peer requesting to spread requests out evenly

Log handshook conn run errors with level warning

(cherry picked from commit 7ca7890e9f30307a1f4942e6d987791a142c3cb3)

Ending a conn because we don't like its ID is not an error

(cherry picked from commit 2a5ba846cef9b4e035b3b88698f3e7f7d9d79251)

Fix incomplete Integer.Read

Possibly on read buffer boundaries, this would have caused errant io.ErrUnexpectedEOF.

(cherry picked from commit 22569449dad48e1c5cdeac171625585f8ca976c9)

Only allow chunk size to be set for new Torrents

(cherry picked from commit 09e73e9fce139cd78da48c442e8610501b6fd26b)

Update piece priority after processing piece hash result

Seems to avoid some silly performance issues in triggering request updates due to a piece still pending while being marked.

Pieces being marked should have priority none

Also reorder the checks a bit to favour the cheaper ones.

Add DisableInitialPieceCheck option (#677)

Update requests on unchoke

cmd/torrent: Ensure envpprof.Stop runs before exit

go mod tidy

Fixes broken go doc: https://github.com/golang/go/issues/36811#issuecomment-937401816

Add TorrentStats.PiecesComplete

Fixes https://github.com/anacrolix/torrent/issues/352.

Add to tests for Torrent.Complete

Return errors from Client.Close

Fix comment that seems to mess with GoLand's package structure

Add a flag for Complete

Upgrade Torrent.GotInfo

Update chansync

Apply some lints from GoLand

Remove old-style build tags

Switch Peer.PieceAllowedFast and several request strategy inputs to raw roaring.Bitmaps

This is in preparation to support encoding request strategy run inputs for benchmarking.

go fmt ./...

Change Peer._peerPieces to use raw roaring Bitmap type

The wrapper type was from when roaring didn't support zero-alloc initialization.

Wrap error with %w in mainReadLoop

Fix mainReadLoop benchmark

Fix scheduling overhead in decoding benchmark

Combine peer protocol fuzz targets into one file

More optimizations in peer protocol message decoding

peer_protocol: Use faster form for Integer.{UnmarshalBinary,Read}

Remove an allocation reading message length

Try to avoid allocating buffer

Improvements to decoder fuzzing

Add some fuzzing in peer_protocol

Limit decoded bencode string lengths to 32 bits

Found in fuzzing

Add some fuzzing seeds

Fix parsing of strings that don't fit in memory

Fix fuzz comparison of big.Int

Update fuzz to use new standard library support

Simplify bencode.Decoder.parseStringInterface

bencode: optimize `(*Decoder).parseStringInterface()` (#659)