fs test: Missed package specifier

Fix import cycle

bencode: When decoding a dict, if the final key is missing its value, don't treat that as an error.

I think I'm swayed here by the robustness principle/Postel's Law.

Simplify the torrent Data interface

None of the methods are optional anymore. Removed the nasty wrappers for some data implementations. Moved data.Data back into the main torrent package. Should make it much easier to understand for people implementing their own Data implementations.

Match the names used in other blob implementations

Reduce UDP tracker response buffer size from 64KiB to 2KiB

Track peer sources with a dict, and don't exceed high water mark

Initialize connection piece priorities lazily, and using a pool

Include num pieces in torrent status

Add packed IP list

This saves a lot of memory by allowing the IP blocklist to be mmap()ed in. In production with the latest level1 blocklist it's 35MB per process.

Derp

Don't warn about zero port peers from trackers

bencode: Decode very large integers as big.Int if they overflow int64

Avoid frequent allocation of piece request order iterator

Merge pull request #30 from therewillbecode/patch-1

Improved Word Flow

Improved Word Flow

Tidy

Add a test for dropping a torrent before it gets the Info

Really just to check the behaviour doesn't change, it was mentioned before but wasn't the actual cause of any problem.

Count failed chunk sends against a connection

Tweak logging

Reduce noise about zero port peers

Some code missed in the last commit ಠ_ಠ

Allow subscribing to torrent piece state changes

Some doc comments

fs: Update for changes in bazil.org/fuse

bencode: Remove trailing bytes checks, this broke the peer protocol and should be a new API

Revert "bencode: Trailing bytes on Unmarshal is an error"

This reverts commit ad73a0ea8958ed6cb15513798762be65e5c29568.

bencode: Simplify parse_int

bencode: Trailing bytes on Unmarshal is an error

bencode: Don't allow extraneous trailing 'e's

bencode: Add tests for Unmarshalling trailing bytes, and extraneous 'e'

bencode: Fuzz

Add Debug flag to Config

I'll use this to squash the noisy logging for people who don't care.

Add tests inspired by issue #27

Code comment

Needlessly convoluted

dht: Use new Msg.Args helper method

dht: Remove redundant code which caused rare crash

dht: Use passive from server config

dht: Improve on on Msg methods

dht: BEP43

dht: Revive the UnmarshalGetPeersResponse test

Redo the compact peer types

Upload after a piece completes

Add TestSeedAfterDownloading

Several bad KRPC message are crying wolf

dht: Support IPv6 compact peers

dht: Short circuit non-DHT traffic

Log zero ports from trackers

Back off on the kicked connections log

Log who's giving us zero ports over PEX

In the long run this will help determine why this happens.

utp.NewSocket now takes network parameter

Clear piece touch flag from connection after a piece is hashed

Add an option to disable IPv6

Replacing pendingWrites WaitGroup with Mutex/Cond/int

Apparently I've been using WaitGroups wrong all along.

Invalid test

The function is never exposed publicly or called without holding the client lock.

cmd/dht-secure-id

dht: Expose SecureNodeId and NodeIdSecure

Improve log message

Drop peers for sending too many unwanted pieces

So the algorithm is now, drop the worst half if they get too old, and drop any connection if it's ratio is poor.

Log errant unwanted piece rather than panic

Eventually I'll work out what causes this, but for now it's incredibly rare.

dht: Count announce errors, don't log them

Filter out DHT peers with port 0

Probably not necessary now we ban the nodes that send them, but it's appropriate to check here too.

Fix crash if peer sends out of bounds HAVE message

Tighten up some potential leaks

Based on some observations of lingering goroutines in unit tests.

Drop connections that contributed to pieces that failed to hash

There are peers out there that seem to intentionally spam bad data, and the same pieces will often fail continuously. This really puts a bee in their bonnet.

Add IPBlocklist option to Config, and test it's inherited by DHT

Fix utp.Socket leak in test

Add File.DisplayPath

It's used in many places, I just never formalized it. This will help prevent bugs and misuse of File.Path

If a DHTConfig was provided without a blocklist, the DHT wouldn't inherit the Client's blocklist

dht: Add PublicIP to config to secure node ID

dht: Block bad nodes, start by banning those that send port=0

Some utils moved to missinggo

Replace go-check with testify

It's muuuuch better.

Fix locking in data/blob

Trivial missed changes

Remove clunky sentence from README

connection.writer wasn't working efficiently

Because of the pseudo-random selection of a communication in a select statement, flushing was occuring prematurely. Also the buffer was needlessly large. For large messages, like outgoing pieces, it's probably better they just go straight to the wire anyway.

This change will make it easier to implement sending of pieces that doesn't block control messages in the future. Any time that the buffer is empty, we'll be able to signal that it's an optimal time to send a piece.

tracker_test: Check for the error string instead of the type

The type changes from Go 1.4->1.5, and it's not worth tearing it apart.

Track connection writes and flushes

Helps determine efficiency of the routine.

Track the connection flags for completed handshakes

Tidy up outbound connection code

Preparing to allow alternate dialing logic.

Suppress a lot of noisy logging

Explicitly import Torrent.InfoHash

Comments

fs: Remove errant logging

cmd/torrent: Remove some dead code

Torrent.BytesCompleted was racy

Don't probe pieces when setting torrent storage

It blocks the caller, for potentially quite some time. I've tested without this for some time now.

Hashing was blocking prioritization of pieces

Move CI to drone.io

Codeship keeps breaking, and is too painful to use.

Update README

client.go: Missing perf import

Several speedups in logic

Downloading a chunk may mean the piece isn't wanted anymore

Hopefully this fixes a very rare logic error in replenishing connection requests for a piece that isn't wanted, yet is still in the connection piece request order.

Hold client lock as little as possible in Reader.readAt

Avoid holding client lock while scanning pieces in File.State

Some torrent data backends are expensive to query.

Store chunk data without holding client lock

Add fixes triggered by TestResponsive

Add TestResponsive