Fix downloading of unwanted chunks, and write out downloaded chunks using the connection loop goroutine

Doing the writes with the connection loop goroutine prevents memory use blowing out when chunks aren't written out quickly enough.

Add pending write helpers

Readers changing wasn't triggering waitAccept

Caused occasional stall in TestSeedAfterDownloading.

Use pendingPieces in needData

Move fillRequests and replenishConnRequests into connection.go

Delete finished pieces from pending

require->assert in test

Fix the download/prioritize piece functions

This involves adding a pendingPieces field to torrent.

dht: Start timer under transaction lock

Satisfies race detector

Fixes for torrent.Reader not having ReadAt

Remove internal/pieceordering

It's working and the tests are usually passing

I still need to handle "prefetch"-style downloading, and some functions haven't been committed to force this issue.

Resurrect some comments on Torrent methods

Reexport Torrent.MetaInfo

Finally make Torrent.torrent private

A lot of code was using unintentionally exported stuff from the embedded *torrent in Torrent.

Make Config.DHTConfig not a pointer

Track dirty chunks, instead of pending chunk specs

This is the first step toward having purely Reader-based priorities. If a chunk is pending, that currently implies that we want to download it. I want to move that kind of state out to the readers.

Revert "Merge pull request #54 from zhulik/master"

This reverts commit 5cf75b869c469196a8473c4962b99a450daaeeec, reversing
changes made to 09050ff2c5607f3991e6ec6422ed57ba0dee0bad.

dataBackend/http: Replace connection pooling code with forced HTTP2

Merge pull request #54 from zhulik/master

Mocking  improvements

Refactorings

Merge branch 'master' of https://github.com/anacrolix/torrent

Some missing hunks that fix build

Failure to announce on one tracker isn't very interesting

Add Have and Bitfield connection methods

Switch to int from peer_protocol.Integer for piece index in a lot of places

peersKey is a public type now

Download.Peers() func added

cmd utils fixed

Torrent structs replaced with Download interface in exported Client methods

Check piece completion state as soon as a handle to torrent data is obtained from a piece store

This helps flex the new concurrency implementation in the piece store http backend

Limit parallelism at the piece store http backend connection level instead of at the request level

This is in preparation for improvements that HTTP2 should provide.

data/pieceStore/{blob->data}.go: More appropriate file name

Switch from launchpad.net/gommap to github.com/edsrzf/mmap-go for Windows support

Fixes #45.

Suppress log message regarding bad tracker URLs

Fix #47

Forgot to remove a non-deferred sync.Mutex.Unlock

dht: announce_peer should not occur to insecure nodes

Additionally, we now announce even if a token wasn't provided. Why not.

dht: Except local network addresses from security checks

dht: Move security tests into separate file

dht: Move security functions into new file

Add OnQuery hook, thanks to Cathal Garvey

Test improvements

Add NodeIdHex config option

Add NoDefaultBootstrap and use it and testify in a few tests

Use testify for some tests

Standardize Torrent method receivers

Expose Torrent.SetDisplayName

Docs

data/pieceStore: Improve error message when pieces fail to write

Don't consider a peer to have touched a piece if a chunk isn't written successfully

This prevents peers being banned when there are issues with the data service locally.

CopyURL moved to httptoo

Rewrite cmd/dht-ping

Fix package-docstring for dht package

Fix name ambiguity for dht-ping, too many things are called pingResponses

sortimports

Actually fix #41 properly; and several big changes

bencode:
 * Handle omitempty on non-trivial types.
cmd/dht-ping:
 * Handle timeouts in ping transactions.
dht:
 * Propagate failed transaction responses properly.
 * Msg related tests are moved into their own file.
 * In some places, IPs in binary form are shorted to 4 bytes if IPv4.

Fix #41

Merge pull request #42 from dborzov/dht

Nicer godoc strings for dht package, and breaking source up into different files

Move dht.Server defs to a separate file

Move Transaction & nodeInfo defs to dedicated files

Fix godoc strings for dht package

cmd/torrent-infohash: Switch to tagflag

Use uiprogress to display a progress bar per torrent

Expose torrent.Seeding

torrent.DisplayName should not be exported

Test announcing to third party servers shouldn't fail if none respond

Add coverage badge to README

data/pieceStore/dataBackend: ErrNotFound now aliases os.ErrNotExist

dht: Don't log KRPC unmarshal errors, there's a expvar for this

Blocking IPv6 addresses is not so interesting

Add method File.Torrent

TODO

internal/cmd/bloom-false-positives: Switch to tagflag

Was looking at using github.com/tylertreat/BoomFilters instead of github.com/willf/bloom

Add comment doc for File.PrioritizeRegion

Make torrent.Reader reads fail when the torrent is closed instead of stalling

Remove sync.Cond from piece

It's not trivial to ensure that anyone waiting on the piece Cond will wake on events like the torrent being dropped from the client.

Ditch go-flags for tagflag

Fixes #37

bencode: Improve unknown value type error

httpfile.Open can now return an error

metainfo: Add alternative "builder" API

The existing builder API is gross and heavy-handed. I won't rip it out just yet.

dht: Handle bad responses to get_peers

Avoid copying mutex in piece

Fix #35

Add test for issue 35

Some missing io.EOFs

data/pieceStore: Expose flags in Open method

Tidy

cmd/torrent: Expose --mmap

dht: Make Msg a struct with bencode tags

Merge branch 'master' of github.com:anacrolix/torrent

bencode: Can't get zero type of a nil interface

bencode: Rethrow non-errors during encoding

bencode: Encoding nil interfaces are an error except at data root

Fix #33.

Make Piece a concrete type

There was a lot of allocations occuring because it was an interface.

bencode: Don't skip encoding nil pointers and interfaces

This caused an annoying bug for complex types where dictionary values went missing.

bencode: Use default field name if it isn't given (but options are)

bencode: Tidy up

Missed in last commit

Avoid allocation in iplist.Ranger.Lookup

It was very expensive for DHT packets.