Optimize memory usage by avoiding intermediate buffer in message serialization (#928)

* Optimize memory usage by avoiding intermediate buffer in message serialization

This commit replaces the use of an intermediate buffer in the message serialization process with a direct write-to-buffer approach. The original implementation used MustMarshalBinary() which involved an extra memory copy to an intermediate buffer before writing to the final writeBuffer, leading to high memory consumption for large messages. The new WriteTo function writes message data directly to the writeBuffer, significantly reducing memory overhead and CPU time spent on garbage collection.

* add benchmark for write

* benchmark for 1M/4M/8M

* Tidy up new benchmarks

* Maintain older payload write implementation

---------

Co-authored-by: luozhengjie.lzj <luozhengjie.lzj@alibaba-inc.com>
Co-authored-by: Matt Joiner <anacrolix@gmail.com>

Pull zig cross compile fixes for go-llsqlite/crawshaw

Add envpprof to issue-930 test

Add issue-930 demo

Merge pull request #933 from erigontech/body_close_simplify

Webseed Client - Close body in same go routine as request

close body in same go routine as request

Remove unused pendingRequests

Includes a large global allocation that we don't need.

https://github.com/anacrolix/torrent/issues/930#issuecomment-2066055987

Add Mangayomi to downstream projects

https://github.com/anacrolix/torrent/issues/929#issuecomment-2067389032

Bump golang.org/x/net from 0.10.0 to 0.23.0 (#931)

Bumps [golang.org/x/net](https://github.com/golang/net) from 0.10.0 to 0.23.0.
- [Commits](https://github.com/golang/net/compare/v0.10.0...v0.23.0)

---
updated-dependencies:
- dependency-name: golang.org/x/net
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>
Co-authored-by: dependabot[bot] <49699333+dependabot[bot]@users.noreply.github.com>

remove code repetition (#926)

Some fixes to tests/issue-798 main

Don't starve unverified bytes limit on unrequestable pieces

Solves issue described at https://github.com/anacrolix/torrent/discussions/916#discussioncomment-8970828.

Don't starve unverified bytes limit on unrequestable pieces

updates test

Add TestWebseedPartialSeed

Use Option with request piece states cache

Tidy up GetRequestablePieces variables

Support ICE servers auth (#920)

* change ICEServers type in config to Pion-defined type
This allows specifying credentials for access to servers,
in particular TURN servers.

* add legacy support for ICEServers as []string

Fix data race setting v2 piece hash

Support v2 hashes on files that don't have piece layers

cmd/torrent2: Add merkle subcommand

cmd/torrent metainfo magnet: Support v2 torrents

Pad v1 piece hashes for v2 files

Add Jipok/torrent-webdav to README

Fixes https://github.com/anacrolix/torrent/issues/917.

Torrent.AddPieceLayers: Fix data race

Fix deadlocking panic when checking for v2 upgrade when receiving handshake

Some logging improvements

Separate some long lines

Document use of the ExtensionBitV2Upgrade reserved bit

Update PiecePriority

Improve some internal piece priority naming

Export PiecePriority

It's used in some public methods already anyway, so it was a mistake.

Fix downloading occurring without piece priority

Update piece completion after setting v2 hash

Verify piece layers while adding

Include piece layers in dynamically generated metainfo

Improve handling of v2 hashes

Fix up some logging

Track v2 state in peer conn

Send v2 upgrade bit

Document preference for metainfo.FileInfo.PathUtf8

fix: can not download invalid utf8 name with BestName and BestPath (#915)

Don't reinit gotMetainfoC when invalidating metadata

Fixes a data race.

Upgrade anacrolix/squirrel away from bad version

Fix benchmark failures

Add PrefixDeleter support to ResourcePieces storage

Note about speeding possum storage up

Some tweaks for v1 and v2 short infohash handling

Tidy up

Storages that use piece hashes would panic with pure v2 torrents

Don't close connection if they send unhandled BitTorrent v2 message

Handle v2 Torrents added by short infohash only

Merge branch 'bittorrent-v2'

Add seeder and files for issue #908

Use UpvertedFiles instead of raw Info.Files in a few places

Add a timeout to fs tests in CI

Improve segment handling for discontiguous extents

Fix file storage segments for v2 torrents

Misc improvements

Implement reading piece hashes from peers

Implement decoding hash request, reject and hashes

Send hash requests for missing v2 hashes

Announce to both v1 and v2 swarms

Fix metainfo.Piece.Length for v2 torrents

Warn on unhandled v2 protocol messages

v2 torrent piece hashing

Get infohash selection working when adding v2 torrents

Merkle hashing and v2 file handling

Add BEP 47 extended file attributes fields

Add MagnetV2 and infohash_v2

CI: Just build on 386

cmd/torrent download: Handle interrupt when linear discarding

cmd/torrent download: Propagate write errors

cmd/torrent: Remove stutter in error message

Remove unused Torrent.fileIndex

Cache sqlite storage capacity for a short while

Add timeout to Go CI test

gorond

Filter out possum without making it a separate module

Bump google.golang.org/grpc from 1.46.2 to 1.56.3

Bumps [google.golang.org/grpc](https://github.com/grpc/grpc-go) from 1.46.2 to 1.56.3.
- [Release notes](https://github.com/grpc/grpc-go/releases)
- [Commits](https://github.com/grpc/grpc-go/compare/v1.46.2...v1.56.3)

---
updated-dependencies:
- dependency-name: google.golang.org/grpc
  dependency-type: indirect
...

Signed-off-by: dependabot[bot] <support@github.com>

Use Go 1.22 in CI

CI adjustments

CI: Ensure godo v1 and run mount after FS test

Remove mutex in MSE cipher reader

It has a very noticeable overhead when the race detector is running. It probably has some unattributed performance impact otherwise.

Add BitTorrent v2 fields, consts and reference torrents

Lower use source and webseeding log levels

Build possum inside test Dockerfile

Add test case from issue #906

Add possum storage

Add low level support for BEP 10 user protocols

Support operating when IPv6 isn't available

shellcheck

Merge branch 'issue-905': Smart ban hash performance improvements

Fixes #905.

Try to do smart ban block hashing without client lock

Write whole piece in BenchmarkConnectionMainReadLoop

This should reduce the scheduling overhead

Disable writeChunk perf timer

Switch to xxHash for smartban cache

Include smart ban block recording in BenchmarkConnectionMainReadLoop

Add smart ban hash benchmarks and reduce allocations

Optimize request strategy for torrent storage with unlimited capacity