Survive panics while writing chunks

Also improve the comment on that code

When queuing a piece for hashing after receiving a chunk, clear all the dirty chunks

This should fix a bug triggered by storage inconsistencies.

Improve a log message

Merge pull request #219 from elgatito/http_user_agent

adding http user-agent setters and usage

adding http user-agent setters and usage

added disable_libutp build flag usage (#215)

Log dropping of bad peers in debug mode only

missinggo.LimitLen changed

Code comments

Test that mmap size doesn't exceed system memory address width

Should fix http://paste.ubuntu.com/26074620/

Fix panic in Torrent.addrActive if there are closed connections

Fixes #214

Fix the Stats panic in #214

Synchronize access to storage

Remove racy part of test

Improve issue #211 test name

sortimports

Add test for #211

Torrent.bytesLeft was taking a copy instead of pointer to Piece

Publish piece state changes after verifying piece

bencode.scanner.ReadByte returned errors when it shouldn't have

bencode: Handle encoding big.Ints

bencode: Tidy import block

Merge commit '6ab65a49a8a72dea1a28968b2ab42a85fd4566ec'

# Conflicts:
# config.go

metainfo: Omit empty Metainfo.InfoBytes

Torrent.Metainfo: Don't return incomplete metadata bytes

Fixes #208

cmd/torrent-metainfo-pprint: Just take a single metainfo to stdin

Move processing into its own function too.

Add a test for behaviour after getting metadata_size and before GotInfo

#208

The "m" field in the extended handshake is not mandatory

Config.Debug isn't just for logging

Make Client.PeerID return [20]byte

Generalise use of peerExtensionBytes

Move some code around

feat(config): Allows the torrent client to customise the client identity and connection config

Fix #205

More megacheck

Apply megacheck to torrent package

Fix a lot of noisy logging and test warnings

Unbiased request ordering was requesting chunks the peer doesn't have

Ignore expected error

Add a link to Trickl

Comment on bencode.Decoder.Offset

Expose bencode.Decoder.Offset

Remove noisy log message

bencode: Implement unbuffered scanner used by NewDecoder

Minimizes unused reads into the input Reader stream

Kick connections requesting pieces we don't have

This was removed at some point, and made the requests received for missing pieces expvar unused.

Add some TODOs

Aggressive Upload (#203)

* Aggressive Upload Config

* Aggressive Upload

* Flip config option.

* Flip Aggressive Upload Config Option

Add missing whitespace

mse: Move sliceIter into test file

Improve comment on Config.UploadRateLimiter

Improve upload rate limit burst size panic message

Should help with #202.

Fix copypasta PR ಠ_ಠ

Merge pull request #201 from dz0ny/fix/http_client

Provide trackers specific http client

Provide trackers specific http client

Mainly follows https://medium.com/@nate510/don-t-use-go-s-default-http-client-4804cb19f779
but also disables HTTPS certificate verification.

Add a test for bdecoding consecutive dicts

Merge pull request #198 from BruceWangNo1/patch-1

Update "Other public projects using torrent" section on README.md

Update "Other public projects using torrent" section on README.md

I having been using your project for downloading torrent on my server for a couple of weeks now and it works very well. Thanks for your contribution! I used to use a simple HTTP file server to retrieve the downloaded files to my computer. As I used this cumbersome approach heavily on a daily basis, I began to implement a tool to download torrent efficiently just by running a local command with the magnet link which sends torrent download request to the server. You may find my current working prototype sloppy but please check out my project.

cmd/torrent-metainfo-pprint: Include metainfo's url-list in output

Helps with testing #197.

Remove debug log message

Fix fs test link now that Debian 9.2 came out

If closing a connection Conn fails we can't do anything, and there's nothing to say

Add apt-get update to CI

Track completion known to implementation state

Addresses #193

Avoid race condition in test

Performance optimizations to calculating bytes left in Torrent

Was generating significant overhead in cmd/torrent

storage: Remove incorrect comment

Changes to Bitmap referencing

Implement new request strategy

The new strategy, 2, has the fastest connection download by priority in order, and all other pieces stick to a randomized ordering that's stable per connection.

fs: Some test tidying

It looks like Torrent.worstBadConn was returning an arbitrary bad connection, it wasn't the worst

heap.Init got lost somewhere along the way? Need a unit test for this.

Reduce system call overhead reading from connections

fs/test.sh: umount requires sudo

Also post cancels

Should mean that we don't have to wait for the peer requests low water mark before we process chunks to cancel.

Abstract out making a cancel message

storage: Don't add empty mmaps to the mmap span

Only run connection.Close once

Avoids unnecessary error messages for net.Conn.Close

Improve mmap storage error messages

Trying to map unusual Info's gave unhelpful messages.

test.sh: Unmount and wait for torrentfs to return after completion

Log errors closing connection net.Conn's

Rename fs/unwedge-tests so it gets synced to test servers

Use badStorage for TestPeerInvalidHave

Remove test temporary directories when finished

They're all grouped together in a parent directory that gets removed. Testing with mmap storage can generate very large files on bad filesystems.

Move uploading to the connection writer

Comment and formatting

Fix build error

Merge pull request #188 from boramalper/KnownSwarm

added the initial version of the (t *Torrent) KnownSwarm() function

added support for half-open peers in KnownSwarm() function

Make type piece public

fs: Fix tests now that data verification isn't automatic

Don't verify data at startup, add Torrent.Piece.VerifyData and Torrent.VerifyData for this purpose

This has the side effect of deflaking a lot of tests that race to verify data when a torrent is added.

Include peer data with half open connections

Herp

Add some expvars to track uTP/TCP and PHE fallbacks for outgoing connections

mse: Make plaintext mode the default when protocol header encryption is in use

Fix panic when error occurs binding uTP socket

Fixes #187.

Support plaintext crypto method for protocol header encryption

mse: Support plaintext crypto mode

mse: Error if initial payload exceeds maximum size

mse: Reuse writer write buffer

mse: Add a read/write benchmark