bencode/decode.go

   1 package bencode
   2
   3 import (
   4         "bytes"
   5         "errors"
   6         "fmt"
   7         "io"
   8         "math/big"
   9         "reflect"
  10         "runtime"
  11         "strconv"
  12         "sync"
  13 )
  14
  15 // The default bencode string length limit. This is a poor attempt to prevent excessive memory
  16 // allocation when parsing, but also leaves the window open to implement a better solution.
  17 const DefaultDecodeMaxStrLen = 1<<27 - 1 // ~128MiB
  18
  19 type MaxStrLen = int64
  20
  21 type Decoder struct {
  22         // Maximum parsed bencode string length. Defaults to DefaultMaxStrLen if zero.
  23         MaxStrLen MaxStrLen
  24
  25         r interface {
  26                 io.ByteScanner
  27                 io.Reader
  28         }
  29         // Sum of bytes used to Decode values.
  30         Offset int64
  31         buf    bytes.Buffer
  32 }
  33
  34 func (d *Decoder) Decode(v interface{}) (err error) {
  35         defer func() {
  36                 if err != nil {
  37                         return
  38                 }
  39                 r := recover()
  40                 if r == nil {
  41                         return
  42                 }
  43                 _, ok := r.(runtime.Error)
  44                 if ok {
  45                         panic(r)
  46                 }
  47                 if err, ok = r.(error); !ok {
  48                         panic(r)
  49                 }
  50                 // Errors thrown from deeper in parsing are unexpected. At value boundaries, errors should
  51                 // be returned directly (at least until all the panic nonsense is removed entirely).
  52                 if err == io.EOF {
  53                         err = io.ErrUnexpectedEOF
  54                 }
  55         }()
  56
  57         pv := reflect.ValueOf(v)
  58         if pv.Kind() != reflect.Ptr || pv.IsNil() {
  59                 return &UnmarshalInvalidArgError{reflect.TypeOf(v)}
  60         }
  61
  62         ok, err := d.parseValue(pv.Elem())
  63         if err != nil {
  64                 return
  65         }
  66         if !ok {
  67                 d.throwSyntaxError(d.Offset-1, errors.New("unexpected 'e'"))
  68         }
  69         return
  70 }
  71
  72 func checkForUnexpectedEOF(err error, offset int64) {
  73         if err == io.EOF {
  74                 panic(&SyntaxError{
  75                         Offset: offset,
  76                         What:   io.ErrUnexpectedEOF,
  77                 })
  78         }
  79 }
  80
  81 func (d *Decoder) readByte() byte {
  82         b, err := d.r.ReadByte()
  83         if err != nil {
  84                 checkForUnexpectedEOF(err, d.Offset)
  85                 panic(err)
  86         }
  87
  88         d.Offset++
  89         return b
  90 }
  91
  92 // reads data writing it to 'd.buf' until 'sep' byte is encountered, 'sep' byte
  93 // is consumed, but not included into the 'd.buf'
  94 func (d *Decoder) readUntil(sep byte) {
  95         for {
  96                 b := d.readByte()
  97                 if b == sep {
  98                         return
  99                 }
 100                 d.buf.WriteByte(b)
 101         }
 102 }
 103
 104 func checkForIntParseError(err error, offset int64) {
 105         if err != nil {
 106                 panic(&SyntaxError{
 107                         Offset: offset,
 108                         What:   err,
 109                 })
 110         }
 111 }
 112
 113 func (d *Decoder) throwSyntaxError(offset int64, err error) {
 114         panic(&SyntaxError{
 115                 Offset: offset,
 116                 What:   err,
 117         })
 118 }
 119
 120 // Assume the 'i' is already consumed. Read and validate the rest of an int into the buffer.
 121 func (d *Decoder) readInt() error {
 122         // start := d.Offset - 1
 123         d.readUntil('e')
 124         if err := d.checkBufferedInt(); err != nil {
 125                 return err
 126         }
 127         // if d.buf.Len() == 0 {
 128         //      panic(&SyntaxError{
 129         //              Offset: start,
 130         //              What:   errors.New("empty integer value"),
 131         //      })
 132         // }
 133         return nil
 134 }
 135
 136 // called when 'i' was consumed, for the integer type in v.
 137 func (d *Decoder) parseInt(v reflect.Value) error {
 138         start := d.Offset - 1
 139
 140         if err := d.readInt(); err != nil {
 141                 return err
 142         }
 143         s := bytesAsString(d.buf.Bytes())
 144
 145         switch v.Kind() {
 146         case reflect.Int, reflect.Int8, reflect.Int16, reflect.Int32, reflect.Int64:
 147                 n, err := strconv.ParseInt(s, 10, 64)
 148                 checkForIntParseError(err, start)
 149
 150                 if v.OverflowInt(n) {
 151                         return &UnmarshalTypeError{
 152                                 BencodeTypeName:     "int",
 153                                 UnmarshalTargetType: v.Type(),
 154                         }
 155                 }
 156                 v.SetInt(n)
 157         case reflect.Uint, reflect.Uint8, reflect.Uint16, reflect.Uint32, reflect.Uint64:
 158                 n, err := strconv.ParseUint(s, 10, 64)
 159                 checkForIntParseError(err, start)
 160
 161                 if v.OverflowUint(n) {
 162                         return &UnmarshalTypeError{
 163                                 BencodeTypeName:     "int",
 164                                 UnmarshalTargetType: v.Type(),
 165                         }
 166                 }
 167                 v.SetUint(n)
 168         case reflect.Bool:
 169                 v.SetBool(s != "0")
 170         default:
 171                 return &UnmarshalTypeError{
 172                         BencodeTypeName:     "int",
 173                         UnmarshalTargetType: v.Type(),
 174                 }
 175         }
 176         d.buf.Reset()
 177         return nil
 178 }
 179
 180 func (d *Decoder) checkBufferedInt() error {
 181         b := d.buf.Bytes()
 182         if len(b) <= 1 {
 183                 return nil
 184         }
 185         if b[0] == '-' {
 186                 b = b[1:]
 187         }
 188         if b[0] < '1' || b[0] > '9' {
 189                 return errors.New("invalid leading digit")
 190         }
 191         return nil
 192 }
 193
 194 func (d *Decoder) parseStringLength() (uint64, error) {
 195         // We should have already consumed the first byte of the length into the Decoder buf.
 196         start := d.Offset - 1
 197         d.readUntil(':')
 198         if err := d.checkBufferedInt(); err != nil {
 199                 return 0, err
 200         }
 201         // Really the limit should be the uint size for the platform. But we can't pass in an allocator,
 202         // or limit total memory use in Go, the best we might hope to do is limit the size of a single
 203         // decoded value (by reading it in in-place and then operating on a view).
 204         length, err := strconv.ParseUint(bytesAsString(d.buf.Bytes()), 10, 0)
 205         checkForIntParseError(err, start)
 206         if int64(length) > d.getMaxStrLen() {
 207                 err = fmt.Errorf("parsed string length %v exceeds limit (%v)", length, DefaultDecodeMaxStrLen)
 208         }
 209         d.buf.Reset()
 210         return length, err
 211 }
 212
 213 func (d *Decoder) parseString(v reflect.Value) error {
 214         length, err := d.parseStringLength()
 215         if err != nil {
 216                 return err
 217         }
 218         defer d.buf.Reset()
 219         read := func(b []byte) {
 220                 n, err := io.ReadFull(d.r, b)
 221                 d.Offset += int64(n)
 222                 if err != nil {
 223                         checkForUnexpectedEOF(err, d.Offset)
 224                         panic(&SyntaxError{
 225                                 Offset: d.Offset,
 226                                 What:   errors.New("unexpected I/O error: " + err.Error()),
 227                         })
 228                 }
 229         }
 230
 231         switch v.Kind() {
 232         case reflect.String:
 233                 b := make([]byte, length)
 234                 read(b)
 235                 v.SetString(bytesAsString(b))
 236                 return nil
 237         case reflect.Slice:
 238                 if v.Type().Elem().Kind() != reflect.Uint8 {
 239                         break
 240                 }
 241                 b := make([]byte, length)
 242                 read(b)
 243                 v.SetBytes(b)
 244                 return nil
 245         case reflect.Array:
 246                 if v.Type().Elem().Kind() != reflect.Uint8 {
 247                         break
 248                 }
 249                 d.buf.Grow(int(length))
 250                 b := d.buf.Bytes()[:length]
 251                 read(b)
 252                 reflect.Copy(v, reflect.ValueOf(b))
 253                 return nil
 254         }
 255         d.buf.Grow(int(length))
 256         read(d.buf.Bytes()[:length])
 257         // I believe we return here to support "ignore_unmarshal_type_error".
 258         return &UnmarshalTypeError{
 259                 BencodeTypeName:     "string",
 260                 UnmarshalTargetType: v.Type(),
 261         }
 262 }
 263
 264 // Info for parsing a dict value.
 265 type dictField struct {
 266         Type reflect.Type
 267         Get  func(value reflect.Value) func(reflect.Value)
 268         Tags tag
 269 }
 270
 271 // Returns specifics for parsing a dict field value.
 272 func getDictField(dict reflect.Type, key string) (_ dictField, err error) {
 273         // get valuev as a map value or as a struct field
 274         switch k := dict.Kind(); k {
 275         case reflect.Map:
 276                 return dictField{
 277                         Type: dict.Elem(),
 278                         Get: func(mapValue reflect.Value) func(reflect.Value) {
 279                                 return func(value reflect.Value) {
 280                                         if mapValue.IsNil() {
 281                                                 mapValue.Set(reflect.MakeMap(dict))
 282                                         }
 283                                         // Assigns the value into the map.
 284                                         // log.Printf("map type: %v", mapValue.Type())
 285                                         mapValue.SetMapIndex(reflect.ValueOf(key).Convert(dict.Key()), value)
 286                                 }
 287                         },
 288                 }, nil
 289         case reflect.Struct:
 290                 return getStructFieldForKey(dict, key), nil
 291                 // if sf.r.PkgPath != "" {
 292                 //      panic(&UnmarshalFieldError{
 293                 //              Key:   key,
 294                 //              Type:  dict.Type(),
 295                 //              Field: sf.r,
 296                 //      })
 297                 // }
 298         default:
 299                 err = fmt.Errorf("can't assign bencode dict items into a %v", k)
 300                 return
 301         }
 302 }
 303
 304 var (
 305         structFieldsMu sync.Mutex
 306         structFields   = map[reflect.Type]map[string]dictField{}
 307 )
 308
 309 func parseStructFields(struct_ reflect.Type, each func(key string, df dictField)) {
 310         for _i, n := 0, struct_.NumField(); _i < n; _i++ {
 311                 i := _i
 312                 f := struct_.Field(i)
 313                 if f.Anonymous {
 314                         t := f.Type
 315                         if t.Kind() == reflect.Ptr {
 316                                 t = t.Elem()
 317                         }
 318                         parseStructFields(t, func(key string, df dictField) {
 319                                 innerGet := df.Get
 320                                 df.Get = func(value reflect.Value) func(reflect.Value) {
 321                                         anonPtr := value.Field(i)
 322                                         if anonPtr.Kind() == reflect.Ptr && anonPtr.IsNil() {
 323                                                 anonPtr.Set(reflect.New(f.Type.Elem()))
 324                                                 anonPtr = anonPtr.Elem()
 325                                         }
 326                                         return innerGet(anonPtr)
 327                                 }
 328                                 each(key, df)
 329                         })
 330                         continue
 331                 }
 332                 tagStr := f.Tag.Get("bencode")
 333                 if tagStr == "-" {
 334                         continue
 335                 }
 336                 tag := parseTag(tagStr)
 337                 key := tag.Key()
 338                 if key == "" {
 339                         key = f.Name
 340                 }
 341                 each(key, dictField{f.Type, func(value reflect.Value) func(reflect.Value) {
 342                         return value.Field(i).Set
 343                 }, tag})
 344         }
 345 }
 346
 347 func saveStructFields(struct_ reflect.Type) {
 348         m := make(map[string]dictField)
 349         parseStructFields(struct_, func(key string, sf dictField) {
 350                 m[key] = sf
 351         })
 352         structFields[struct_] = m
 353 }
 354
 355 func getStructFieldForKey(struct_ reflect.Type, key string) (f dictField) {
 356         structFieldsMu.Lock()
 357         if _, ok := structFields[struct_]; !ok {
 358                 saveStructFields(struct_)
 359         }
 360         f, ok := structFields[struct_][key]
 361         structFieldsMu.Unlock()
 362         if !ok {
 363                 var discard interface{}
 364                 return dictField{
 365                         Type: reflect.TypeOf(discard),
 366                         Get:  func(reflect.Value) func(reflect.Value) { return func(reflect.Value) {} },
 367                         Tags: nil,
 368                 }
 369         }
 370         return
 371 }
 372
 373 func (d *Decoder) parseDict(v reflect.Value) error {
 374         // At this point 'd' byte was consumed, now read key/value pairs
 375         for {
 376                 var keyStr string
 377                 keyValue := reflect.ValueOf(&keyStr).Elem()
 378                 ok, err := d.parseValue(keyValue)
 379                 if err != nil {
 380                         return fmt.Errorf("error parsing dict key: %w", err)
 381                 }
 382                 if !ok {
 383                         return nil
 384                 }
 385
 386                 df, err := getDictField(v.Type(), keyStr)
 387                 if err != nil {
 388                         return fmt.Errorf("parsing bencode dict into %v: %w", v.Type(), err)
 389                 }
 390
 391                 // now we need to actually parse it
 392                 if df.Type == nil {
 393                         // Discard the value, there's nowhere to put it.
 394                         var if_ interface{}
 395                         if_, ok = d.parseValueInterface()
 396                         if if_ == nil {
 397                                 return fmt.Errorf("error parsing value for key %q", keyStr)
 398                         }
 399                         if !ok {
 400                                 return fmt.Errorf("missing value for key %q", keyStr)
 401                         }
 402                         continue
 403                 }
 404                 setValue := reflect.New(df.Type).Elem()
 405                 // log.Printf("parsing into %v", setValue.Type())
 406                 ok, err = d.parseValue(setValue)
 407                 if err != nil {
 408                         var target *UnmarshalTypeError
 409                         if !(errors.As(err, &target) && df.Tags.IgnoreUnmarshalTypeError()) {
 410                                 return fmt.Errorf("parsing value for key %q: %w", keyStr, err)
 411                         }
 412                 }
 413                 if !ok {
 414                         return fmt.Errorf("missing value for key %q", keyStr)
 415                 }
 416                 df.Get(v)(setValue)
 417         }
 418 }
 419
 420 func (d *Decoder) parseList(v reflect.Value) error {
 421         switch v.Kind() {
 422         default:
 423                 // If the list is a singleton of the expected type, use that value. See
 424                 // https://github.com/anacrolix/torrent/issues/297.
 425                 l := reflect.New(reflect.SliceOf(v.Type()))
 426                 if err := d.parseList(l.Elem()); err != nil {
 427                         return err
 428                 }
 429                 if l.Elem().Len() != 1 {
 430                         return &UnmarshalTypeError{
 431                                 BencodeTypeName:     "list",
 432                                 UnmarshalTargetType: v.Type(),
 433                         }
 434                 }
 435                 v.Set(l.Elem().Index(0))
 436                 return nil
 437         case reflect.Array, reflect.Slice:
 438                 // We can work with this. Normal case, fallthrough.
 439         }
 440
 441         i := 0
 442         for ; ; i++ {
 443                 if v.Kind() == reflect.Slice && i >= v.Len() {
 444                         v.Set(reflect.Append(v, reflect.Zero(v.Type().Elem())))
 445                 }
 446
 447                 if i < v.Len() {
 448                         ok, err := d.parseValue(v.Index(i))
 449                         if err != nil {
 450                                 return err
 451                         }
 452                         if !ok {
 453                                 break
 454                         }
 455                 } else {
 456                         _, ok := d.parseValueInterface()
 457                         if !ok {
 458                                 break
 459                         }
 460                 }
 461         }
 462
 463         if i < v.Len() {
 464                 if v.Kind() == reflect.Array {
 465                         z := reflect.Zero(v.Type().Elem())
 466                         for n := v.Len(); i < n; i++ {
 467                                 v.Index(i).Set(z)
 468                         }
 469                 } else {
 470                         v.SetLen(i)
 471                 }
 472         }
 473
 474         if i == 0 && v.Kind() == reflect.Slice {
 475                 v.Set(reflect.MakeSlice(v.Type(), 0, 0))
 476         }
 477         return nil
 478 }
 479
 480 func (d *Decoder) readOneValue() bool {
 481         b, err := d.r.ReadByte()
 482         if err != nil {
 483                 panic(err)
 484         }
 485         if b == 'e' {
 486                 d.r.UnreadByte()
 487                 return false
 488         } else {
 489                 d.Offset++
 490                 d.buf.WriteByte(b)
 491         }
 492
 493         switch b {
 494         case 'd', 'l':
 495                 // read until there is nothing to read
 496                 for d.readOneValue() {
 497                 }
 498                 // consume 'e' as well
 499                 b = d.readByte()
 500                 d.buf.WriteByte(b)
 501         case 'i':
 502                 d.readUntil('e')
 503                 d.buf.WriteString("e")
 504         default:
 505                 if b >= '0' && b <= '9' {
 506                         start := d.buf.Len() - 1
 507                         d.readUntil(':')
 508                         length, err := strconv.ParseInt(bytesAsString(d.buf.Bytes()[start:]), 10, 64)
 509                         checkForIntParseError(err, d.Offset-1)
 510
 511                         d.buf.WriteString(":")
 512                         n, err := io.CopyN(&d.buf, d.r, length)
 513                         d.Offset += n
 514                         if err != nil {
 515                                 checkForUnexpectedEOF(err, d.Offset)
 516                                 panic(&SyntaxError{
 517                                         Offset: d.Offset,
 518                                         What:   errors.New("unexpected I/O error: " + err.Error()),
 519                                 })
 520                         }
 521                         break
 522                 }
 523
 524                 d.raiseUnknownValueType(b, d.Offset-1)
 525         }
 526
 527         return true
 528 }
 529
 530 func (d *Decoder) parseUnmarshaler(v reflect.Value) bool {
 531         if !v.Type().Implements(unmarshalerType) {
 532                 if v.Addr().Type().Implements(unmarshalerType) {
 533                         v = v.Addr()
 534                 } else {
 535                         return false
 536                 }
 537         }
 538         d.buf.Reset()
 539         if !d.readOneValue() {
 540                 return false
 541         }
 542         m := v.Interface().(Unmarshaler)
 543         err := m.UnmarshalBencode(d.buf.Bytes())
 544         if err != nil {
 545                 panic(&UnmarshalerError{v.Type(), err})
 546         }
 547         return true
 548 }
 549
 550 // Returns true if there was a value and it's now stored in 'v', otherwise
 551 // there was an end symbol ("e") and no value was stored.
 552 func (d *Decoder) parseValue(v reflect.Value) (bool, error) {
 553         // we support one level of indirection at the moment
 554         if v.Kind() == reflect.Ptr {
 555                 // if the pointer is nil, allocate a new element of the type it
 556                 // points to
 557                 if v.IsNil() {
 558                         v.Set(reflect.New(v.Type().Elem()))
 559                 }
 560                 v = v.Elem()
 561         }
 562
 563         if d.parseUnmarshaler(v) {
 564                 return true, nil
 565         }
 566
 567         // common case: interface{}
 568         if v.Kind() == reflect.Interface && v.NumMethod() == 0 {
 569                 iface, _ := d.parseValueInterface()
 570                 v.Set(reflect.ValueOf(iface))
 571                 return true, nil
 572         }
 573
 574         b, err := d.r.ReadByte()
 575         if err != nil {
 576                 return false, err
 577         }
 578         d.Offset++
 579
 580         switch b {
 581         case 'e':
 582                 return false, nil
 583         case 'd':
 584                 return true, d.parseDict(v)
 585         case 'l':
 586                 return true, d.parseList(v)
 587         case 'i':
 588                 return true, d.parseInt(v)
 589         default:
 590                 if b >= '0' && b <= '9' {
 591                         // It's a string.
 592                         d.buf.Reset()
 593                         // Write the first digit of the length to the buffer.
 594                         d.buf.WriteByte(b)
 595                         return true, d.parseString(v)
 596                 }
 597
 598                 d.raiseUnknownValueType(b, d.Offset-1)
 599         }
 600         panic("unreachable")
 601 }
 602
 603 // An unknown bencode type character was encountered.
 604 func (d *Decoder) raiseUnknownValueType(b byte, offset int64) {
 605         panic(&SyntaxError{
 606                 Offset: offset,
 607                 What:   fmt.Errorf("unknown value type %+q", b),
 608         })
 609 }
 610
 611 func (d *Decoder) parseValueInterface() (interface{}, bool) {
 612         b, err := d.r.ReadByte()
 613         if err != nil {
 614                 panic(err)
 615         }
 616         d.Offset++
 617
 618         switch b {
 619         case 'e':
 620                 return nil, false
 621         case 'd':
 622                 return d.parseDictInterface(), true
 623         case 'l':
 624                 return d.parseListInterface(), true
 625         case 'i':
 626                 return d.parseIntInterface(), true
 627         default:
 628                 if b >= '0' && b <= '9' {
 629                         // string
 630                         // append first digit of the length to the buffer
 631                         d.buf.WriteByte(b)
 632                         return d.parseStringInterface(), true
 633                 }
 634
 635                 d.raiseUnknownValueType(b, d.Offset-1)
 636                 panic("unreachable")
 637         }
 638 }
 639
 640 // Called after 'i', for an arbitrary integer size.
 641 func (d *Decoder) parseIntInterface() (ret interface{}) {
 642         start := d.Offset - 1
 643
 644         if err := d.readInt(); err != nil {
 645                 panic(err)
 646         }
 647         n, err := strconv.ParseInt(d.buf.String(), 10, 64)
 648         if ne, ok := err.(*strconv.NumError); ok && ne.Err == strconv.ErrRange {
 649                 i := new(big.Int)
 650                 _, ok := i.SetString(d.buf.String(), 10)
 651                 if !ok {
 652                         panic(&SyntaxError{
 653                                 Offset: start,
 654                                 What:   errors.New("failed to parse integer"),
 655                         })
 656                 }
 657                 ret = i
 658         } else {
 659                 checkForIntParseError(err, start)
 660                 ret = n
 661         }
 662
 663         d.buf.Reset()
 664         return
 665 }
 666
 667 func (d *Decoder) readBytes(length int) []byte {
 668         b, err := io.ReadAll(io.LimitReader(d.r, int64(length)))
 669         if err != nil {
 670                 panic(err)
 671         }
 672         if len(b) != length {
 673                 panic(fmt.Errorf("read %v bytes expected %v", len(b), length))
 674         }
 675         return b
 676 }
 677
 678 func (d *Decoder) parseStringInterface() string {
 679         length, err := d.parseStringLength()
 680         if err != nil {
 681                 panic(err)
 682         }
 683         b := d.readBytes(int(length))
 684         d.Offset += int64(len(b))
 685         if err != nil {
 686                 panic(&SyntaxError{Offset: d.Offset, What: err})
 687         }
 688         return bytesAsString(b)
 689 }
 690
 691 func (d *Decoder) parseDictInterface() interface{} {
 692         dict := make(map[string]interface{})
 693         var lastKey string
 694         lastKeyOk := false
 695         for {
 696                 start := d.Offset
 697                 keyi, ok := d.parseValueInterface()
 698                 if !ok {
 699                         break
 700                 }
 701
 702                 key, ok := keyi.(string)
 703                 if !ok {
 704                         panic(&SyntaxError{
 705                                 Offset: d.Offset,
 706                                 What:   errors.New("non-string key in a dict"),
 707                         })
 708                 }
 709                 if lastKeyOk && key <= lastKey {
 710                         d.throwSyntaxError(start, fmt.Errorf("dict keys unsorted: %q <= %q", key, lastKey))
 711                 }
 712                 start = d.Offset
 713                 valuei, ok := d.parseValueInterface()
 714                 if !ok {
 715                         d.throwSyntaxError(start, fmt.Errorf("dict elem missing value [key=%v]", key))
 716                 }
 717
 718                 lastKey = key
 719                 lastKeyOk = true
 720                 dict[key] = valuei
 721         }
 722         return dict
 723 }
 724
 725 func (d *Decoder) parseListInterface() (list []interface{}) {
 726         list = []interface{}{}
 727         valuei, ok := d.parseValueInterface()
 728         for ok {
 729                 list = append(list, valuei)
 730                 valuei, ok = d.parseValueInterface()
 731         }
 732         return
 733 }
 734
 735 func (d *Decoder) getMaxStrLen() int64 {
 736         if d.MaxStrLen == 0 {
 737                 return DefaultDecodeMaxStrLen
 738         }
 739         return d.MaxStrLen
 740 }