Remove sync.Cond from piece

It's not trivial to ensure that anyone waiting on the piece Cond will wake on events like the torrent being dropped from the client.

Ditch go-flags for tagflag

Fixes #37

bencode: Improve unknown value type error

httpfile.Open can now return an error

metainfo: Add alternative "builder" API

The existing builder API is gross and heavy-handed. I won't rip it out just yet.

dht: Handle bad responses to get_peers

Avoid copying mutex in piece

Fix #35

Add test for issue 35

Some missing io.EOFs

data/pieceStore: Expose flags in Open method

Tidy

cmd/torrent: Expose --mmap

dht: Make Msg a struct with bencode tags

Merge branch 'master' of github.com:anacrolix/torrent

bencode: Can't get zero type of a nil interface

bencode: Rethrow non-errors during encoding

bencode: Encoding nil interfaces are an error except at data root

Fix #33.

Make Piece a concrete type

There was a lot of allocations occuring because it was an interface.

bencode: Don't skip encoding nil pointers and interfaces

This caused an annoying bug for complex types where dictionary values went missing.

bencode: Use default field name if it isn't given (but options are)

bencode: Tidy up

Missed in last commit

Avoid allocation in iplist.Ranger.Lookup

It was very expensive for DHT packets.

Update TODO

Store pieces inplace in torrent.Pieces

This should save some allocation overhead, especially for torrents that have 20k+ pieces.

Update README

Merge pull request #31 from kupsef/master

fix: added announce to torrent spec

fix: added announce to torrent spec

Some slow tracker tests can be Parallel

Create a pieceStore interface, and merge in my httpfile backend, and replace data/blob

data/blob was aging, and had severe performance problems. It's now possible to use missinggo/filecache as a data backend to pieceStore which is better tested and performs excellently.

utp package merged PacketConn with Socket

fs test: Missed package specifier

Fix import cycle

bencode: When decoding a dict, if the final key is missing its value, don't treat that as an error.

I think I'm swayed here by the robustness principle/Postel's Law.

Simplify the torrent Data interface

None of the methods are optional anymore. Removed the nasty wrappers for some data implementations. Moved data.Data back into the main torrent package. Should make it much easier to understand for people implementing their own Data implementations.

Match the names used in other blob implementations

Reduce UDP tracker response buffer size from 64KiB to 2KiB

Track peer sources with a dict, and don't exceed high water mark

Initialize connection piece priorities lazily, and using a pool

Include num pieces in torrent status

Add packed IP list

This saves a lot of memory by allowing the IP blocklist to be mmap()ed in. In production with the latest level1 blocklist it's 35MB per process.

Derp

Don't warn about zero port peers from trackers

bencode: Decode very large integers as big.Int if they overflow int64

Avoid frequent allocation of piece request order iterator

Merge pull request #30 from therewillbecode/patch-1

Improved Word Flow

Improved Word Flow

Tidy

Add a test for dropping a torrent before it gets the Info

Really just to check the behaviour doesn't change, it was mentioned before but wasn't the actual cause of any problem.

Count failed chunk sends against a connection

Tweak logging

Reduce noise about zero port peers

Some code missed in the last commit ಠ_ಠ

Allow subscribing to torrent piece state changes

Some doc comments

fs: Update for changes in bazil.org/fuse

bencode: Remove trailing bytes checks, this broke the peer protocol and should be a new API

Revert "bencode: Trailing bytes on Unmarshal is an error"

This reverts commit ad73a0ea8958ed6cb15513798762be65e5c29568.

bencode: Simplify parse_int

bencode: Trailing bytes on Unmarshal is an error

bencode: Don't allow extraneous trailing 'e's

bencode: Add tests for Unmarshalling trailing bytes, and extraneous 'e'

bencode: Fuzz

Add Debug flag to Config

I'll use this to squash the noisy logging for people who don't care.

Add tests inspired by issue #27

Code comment

Needlessly convoluted

dht: Use new Msg.Args helper method

dht: Remove redundant code which caused rare crash

dht: Use passive from server config

dht: Improve on on Msg methods

dht: BEP43

dht: Revive the UnmarshalGetPeersResponse test

Redo the compact peer types

Upload after a piece completes

Add TestSeedAfterDownloading

Several bad KRPC message are crying wolf

dht: Support IPv6 compact peers

dht: Short circuit non-DHT traffic

Log zero ports from trackers

Back off on the kicked connections log

Log who's giving us zero ports over PEX

In the long run this will help determine why this happens.

utp.NewSocket now takes network parameter

Clear piece touch flag from connection after a piece is hashed

Add an option to disable IPv6

Replacing pendingWrites WaitGroup with Mutex/Cond/int

Apparently I've been using WaitGroups wrong all along.

Invalid test

The function is never exposed publicly or called without holding the client lock.

cmd/dht-secure-id

dht: Expose SecureNodeId and NodeIdSecure

Improve log message

Drop peers for sending too many unwanted pieces

So the algorithm is now, drop the worst half if they get too old, and drop any connection if it's ratio is poor.

Log errant unwanted piece rather than panic

Eventually I'll work out what causes this, but for now it's incredibly rare.

dht: Count announce errors, don't log them

Filter out DHT peers with port 0

Probably not necessary now we ban the nodes that send them, but it's appropriate to check here too.

Fix crash if peer sends out of bounds HAVE message

Tighten up some potential leaks

Based on some observations of lingering goroutines in unit tests.

Drop connections that contributed to pieces that failed to hash

There are peers out there that seem to intentionally spam bad data, and the same pieces will often fail continuously. This really puts a bee in their bonnet.

Add IPBlocklist option to Config, and test it's inherited by DHT