Fix up some crashes around piece availability

Don't always force piece reallocation

The balancing for unforced pieces may not be exactly what we want yet.

Use rejiggered missinggo bitmap

Determine peer max requests based on receive speed

Merge maxRequests into localClientReqq

Fix in decPieceAvailability when we don't have torrent info

Happens when we close a Peer before getting Torrent info.

Fix sqlite piece completion

Add client-level max unverified bytes

Get max unverified bytes working

Prepare to implement max unverified bytes

Do checks for preallocated requests too

Otherwise we reserve requests with the assumption that they can be assigned later, and they actually might not be.

Fix non-deterministic test

Get request rebalancing working optimally!

Move piece allocation to its own func

New tests and fixes for them

Not complete. There's still a request-stealing balancing issue, but it's functional for now.

Don't log each applied request

Add a working request strategy test

Extract request strategy stuff into a separate module

Improve num requests per piece status output

Improve piece availability status output

Fixes to reassigning chunks in requests

Rework to improve work stealing and try to thread peers through all request pieces

Forgot to remove initial have all state for webseeds

Later when the webseed was closed, it was assumed that it had contributed to the piece availability count.

Do requests every 100ms

Don't need stable sort

Improve naming on storage key

Reuse pieceRequestOrder slice

Missed piece availability code

Comments

Ignore pieces for request after accounting for storage

Track peer availability at the Torrent-level

Remove unused pieceRequestOrder in Client

go mod tidy

Use multiless with Float64

PeerConn.post becomes PeerConn.write

Fix download rate, status output

Rework storage.TorrentImpl to support shared capacity key

Tidy up request and cancel

Remove empty file

Limit outstanding requests

Pass tests with new full-client request strategy implementation

Log failure to complete metadata

Count peers added from DHT for logging

Add TODOs around setting info bytes

Create go.yml (#497)

* Create go.yml

* Go version 1.16

* Add benchmarks

* Match CircleCI test coverage

* Add 15 minute timeout

* Don't log to file

* Download modules in separate step, minimize test runs

* Install godo before running torrentfs end-to-end test

* More fixes

* More fixes for GitHub Actions CI

Added build tags to disable few packages if necessary (#499)

Progress testing without cgo a bit

Make wal the default for sqlite resource pieces

Fixes broken test as a result.

Make synchronous=off the default

Set smarter defaults

Set page size before initializing connections

Setting page_size seems to be ignored if done after setting journal_mode, specifically to WAL I think. There's huge performance benefits to getting it right.

Default to sqlite piece completion for dir if cgo enabled

Fix sqlite piece completion

Move envpprof.Stop to main

Possible fix for GitHub code scanning warning

Add CustomDirect BenchmarkMarkComplete sub-test

Fix race in webtorrent dial stats

cmd/torrent: Track download rate

Remove github.com/pkg/errors use in peerconn.go

Was contributing to unexpected CPU use, and it's way out of date.

Track chunks received in nexted expvar.Map

Expose SetSynchronous as an option

Fix race in MarkNotComplete

Don't create blobs when reading

Track peers supporting extension in a nested expvar.Map

Tidy up sqlite direct piece receiver name

Remove unused method

Rename Torrent.{add,delete}Connection

Remove separate postedKeepalives expvar

Improve some lock handling under panics

Merge branch 'sqlite-direct'

Create SECURITY.md

Allows one to use Custom PieceCompletion (#486)

* Change ClientImpl to ClientImplCloser

We cannot close underlying Boltdb PieceCompletion if it is not closable

* Update file.go

Change ClientImpl to ClientImplCloser

We cannot close underlying Boltdb PieceCompletion if it is not closable

Reduce allocations in iterBitmapsDistinct

Don't set the page size by default

Expose a variety of blob cleanup styles

Benchmark different mmap sizes and journal modes

Rework lots of option handling

Rename new.go

Use bench timer more effectively, and use Piece.WriteTo

Use bytes.Reader instead of bytes.Buffer in a few places

Use sync.Map in map piece completion

Big rename of files and types in storage

Handle expired blobs as they occur

Rework to use a pool of blobs

Get benchmarks working

Implement sqlite directly without using piece resources

cmd/torrent: Ensure progress is emitted at consistent intervals

cmd/torrent: Restore parsing of units for upload and download rates

https://github.com/anacrolix/torrent/issues/447

Big logging cleanup to improve experience from README

piece resource storage: Do sized puts for WriteAts if possible

Use BenchmarkMarkComplete for non-sqlite storages too

go get -u

Remove GoDoc badge

It now redirects to pkg.go.dev anyway.

Update cmd examples

Remove references to godo which isn't really helpful anymore. Update the output from some of the commands.

Redirect Gitter to Discussions

Fix DeepSource anti-pattern

Make tracker order in Metainfo.Magnet deterministic

Should fix test failures in CI.

Update deps

Fix dht Server Ping call