cmd/btrtrc client

Lower log level for peer upload read errors when Torrent is closed

Fixes #980.

Refactor Reader.readOnceAt

Looks like there was some errors that could be dropped.
We also handle a few corner cases and ReadAt returning 0 being handled non-canonically.

Update requests when piece order changes if there's a storage cap

Storage cap wasn't passed to piece resource implementation

This breaks the tests, because it was actually masking bad behaviour.

Expose PieceRequestOrder.Iter and PieceRequestOrderItem for debugging

Switch to github.com/anacrolix/fuse@v0.4.0

I'm sick of osxfuse asking about kext on macOS

Add Reader.SetContext to deprecated ReadContext

Comments and tidies

Use iters in a few places around segments and v2 file trees and ensure mmap storage has v2 compatible segment index

Return errors in mmap storage piece completion

gorond

Add a few TODOs and fixes to trackerScraper

Set rate limiter bursts automatically if limit is not Inf

Include torrent info hash as logger context text

Add Request.String

Make WebSeed max requests configurable

Change ClientConfig.MaxAllocPeerRequestDataPerConn to be an int

Include incomplete torrent count in client status

Fix dumpStats to reuse spew config

Strongly type client piece request order keys

Add new metrics and PeerStats

Add BytesHashed count and refactor for other Torrent-level counts

cmd/torrent: Add verify and flag for large chunk uploads

Fix nil deref if flag isn't provided

Add Torrent.VerifyDataContext

Add infohash to torrent logger

cmd/torrent: Switch to a status output more suited for lots of torrents

Fix races in client tracker status event callback tests

Add Piece.VerifyDataContext and improve piece VerifyData concurrency

gorond

Switch client_test.go to go-quicktest/qt and add errTorrentClosed

cmd/torrent: Remove redundant signal notification

Pull possum fix for Go 1.24

cmd/torrent: Some log, ctx and error handling cleanup

Expose torrent Peer status updates (#987)

* handle connection to torrent peer status update messages

* basic observer framework
* connects to a valid tracker
* added observer channel for announce status
* set up Peer Connection status Observers
* add PeerConn test: connection established
* added Observers factory method
* Added Event to AnnounceStatus, with embedded TrackerStatus
* state updates must be non-blocking
* add unit tests on PeerConn Observer status reading
* add test and debug log on dropped connection
* add PeerID check to test

---------

Co-authored-by: Parker Whittle <pwhittle@medicom.us>
* do not support webtorrent/transport_test on wasm

* make AnnounceStatus InfoHash into a HexString

* replace MakeMapIfNilAndSet

* add StatusUpdated to callbacks

* replace Observers on Peer Conn status with callbacks

* replace tracker status updates with callbacks

* replace tracker announce status updates with callbacks

* remove references to observers

* test callbacks in client-peerconn_test

* add check that all callbacks were called in peer connection test

* test callbacks in client-tracker_test

---------

Co-authored-by: Parker Whittle <pwhittle@medicom.us>

updates to actions/cache v3 (#1000)

Co-authored-by: Phil Cummins <philip.cummins@bsc.es>

Fix building go-libutp with C17

Fixes #995

WebSeed seems supported (#993)

Ignore /.env

I use this to set up CGO_LDFLAGS for possum

Add just check

Only apply WebRTC data channel write limit to webtorrent peer conns

upgrade pion/webrtc to v4 (#985)

Update dep to remove govulncheck finding

Expose WebRTC peerconn stats (#983)

* add WebRTC peer connection transport stats

* save all peer connections in tracker-client and make stats available when seeding

* make offer ID keys into readable strings

* handle unsupported Peer Conn stats on WASM

Used aider and claude to refactor storage tests to go-quicktest/qt

https://github.com/anacrolix/torrent/issues/959

Set ConnectionIdMismatchNul error default log level to debug

Use stdlib replacements of golang.org/x/exp and newer multiless

Fixes #957.

gorond

Rework handshake parsing

Remove use of missinggo perf

Fix panic using web RTC RemoteAddr directly from conn

Fixes #972.

tracker/udp: Reset connection ID on error response

tracker/udp: Improve context handling

Basic support for responding to HashRequest

Also Piece.hasPieceLayer seems to be faulty so I tried fixing it

Support encoding Hashes & HashReject messages

Add webseed name to webseed peer logger

Fix webseed stall on request errors

Fix errors in webseed causing very long stalls in requesting

Reuse the "too fast" error handling for all errors when requesting from webseeds. This prevents long stalls due to common errors.

Fix webseeds not requesting after priorities are already set

https://github.com/anacrolix/torrent/issues/964#issuecomment-2295308596

Add test showing add webseed doesn't request after priorities are already set

Fix empty Info marshalling test

Basic support for serializing v2 torrent file (#968)

* Support marshalling FileTree

* Omit Pieces in torrent info if empty

Otherwise some BitTorrent client (e.g. libttorrent) will not be able to
parse v2 torrent file.

Tidy up cmd/torrent cleanup and websocket trackers logging

Add contexted ReadWriter to handshakes

Add context to mse handshakes

Fix spello

Change some metainfo.MetaInfo methods to take pointer receivers

It's kind of unnecessary to take them by value here, and, slower. Use Rust instead!!

Be more pedantic about trailing data in metainfo.Load and bencode.Unmarshal

Fixes https://github.com/anacrolix/torrent/issues/963.

Tidy up use of quicktest

Remove confusing symlink

Related to issue #961

Fix bad recursive reads in piece resource chunks ReadAt

It would always read from the first chunk, and scan across io.EOF until it hit the right chunk.

Fix shadowed error in webseed response handling

Use mmap storage in test for performance

Resolve log and chansync from workspace

gorond

Add peer bootstrapping integration test

Make Torrent.Complete a method and make it return a read-only interface

Fix sqlite piece completion error when dirs are missing

Add a Context param to ClientImpl.OpenTorrent for logging

This is very likely going to be a breaking change, but the alternative is a nightmare of backwards compatibility.

bencode: Support unmarshalling into maps with non-string key types

Fixes #952

Rearrange the workspaces in tests

Improve some pointer stuff around worseConnInput

Correctly hash hybrid torrents with trailing v1 padding file

Fixes #949.

Update possum dep

possum: Use MovePrefix for completed chunks

clone func used since go 1.21 (#947)

add Torrent.ModifyTrackers() func (#945)

* add ClearTrackers() func

* add stop channel for each announcer

* add stop once avoid multi close

* use waitgroup to stop ann

fix: upnp clear loop trap (#946)

--- (#941)

updated-dependencies:
- dependency-name: golang.org/x/net
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

fix: clear UPNP port mappings when client close (#942)

* fix: clear UPNP port mappings when client close

* fix: go mod sum

Add type updateRequestReason and comments

Added comments and variables instead of raw reason strings

Add Toru to downstream projects

steal stability

file.Flush() (#937)

Merge pull request #936 from anacrolix/ci_up

CI: upgrade `actions/checkout`

Merge pull request #935 from anacrolix/dependabot/go_modules/tests/issue-930/golang.org/x/net-0.23.0

Bump golang.org/x/net from 0.10.0 to 0.23.0 in /tests/issue-930

save

Optimize memory usage by avoiding intermediate buffer in message serialization (#928)

* Optimize memory usage by avoiding intermediate buffer in message serialization

This commit replaces the use of an intermediate buffer in the message serialization process with a direct write-to-buffer approach. The original implementation used MustMarshalBinary() which involved an extra memory copy to an intermediate buffer before writing to the final writeBuffer, leading to high memory consumption for large messages. The new WriteTo function writes message data directly to the writeBuffer, significantly reducing memory overhead and CPU time spent on garbage collection.

* add benchmark for write

* benchmark for 1M/4M/8M

* Tidy up new benchmarks

* Maintain older payload write implementation

---------

Co-authored-by: luozhengjie.lzj <luozhengjie.lzj@alibaba-inc.com>
Co-authored-by: Matt Joiner <anacrolix@gmail.com>

Pull zig cross compile fixes for go-llsqlite/crawshaw