stream.go 10 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553
  1. package decoder
  2. import (
  3. "bytes"
  4. "encoding/json"
  5. "io"
  6. "strconv"
  7. "unsafe"
  8. "github.com/goccy/go-json/internal/errors"
  9. )
  10. const (
  11. initBufSize = 512
  12. )
  13. type Stream struct {
  14. buf []byte
  15. bufSize int64
  16. length int64
  17. r io.Reader
  18. offset int64
  19. cursor int64
  20. filledBuffer bool
  21. allRead bool
  22. UseNumber bool
  23. DisallowUnknownFields bool
  24. Option *Option
  25. }
  26. func NewStream(r io.Reader) *Stream {
  27. return &Stream{
  28. r: r,
  29. bufSize: initBufSize,
  30. buf: make([]byte, initBufSize),
  31. Option: &Option{},
  32. }
  33. }
  34. func (s *Stream) TotalOffset() int64 {
  35. return s.totalOffset()
  36. }
  37. func (s *Stream) Buffered() io.Reader {
  38. buflen := int64(len(s.buf))
  39. for i := s.cursor; i < buflen; i++ {
  40. if s.buf[i] == nul {
  41. return bytes.NewReader(s.buf[s.cursor:i])
  42. }
  43. }
  44. return bytes.NewReader(s.buf[s.cursor:])
  45. }
  46. func (s *Stream) PrepareForDecode() error {
  47. for {
  48. switch s.char() {
  49. case ' ', '\t', '\r', '\n':
  50. s.cursor++
  51. continue
  52. case ',', ':':
  53. s.cursor++
  54. return nil
  55. case nul:
  56. if s.read() {
  57. continue
  58. }
  59. return io.EOF
  60. }
  61. break
  62. }
  63. return nil
  64. }
  65. func (s *Stream) totalOffset() int64 {
  66. return s.offset + s.cursor
  67. }
  68. func (s *Stream) char() byte {
  69. return s.buf[s.cursor]
  70. }
  71. func (s *Stream) equalChar(c byte) bool {
  72. cur := s.buf[s.cursor]
  73. if cur == nul {
  74. s.read()
  75. cur = s.buf[s.cursor]
  76. }
  77. return cur == c
  78. }
  79. func (s *Stream) stat() ([]byte, int64, unsafe.Pointer) {
  80. return s.buf, s.cursor, (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  81. }
  82. func (s *Stream) bufptr() unsafe.Pointer {
  83. return (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  84. }
  85. func (s *Stream) statForRetry() ([]byte, int64, unsafe.Pointer) {
  86. s.cursor-- // for retry ( because caller progress cursor position in each loop )
  87. return s.buf, s.cursor, (*sliceHeader)(unsafe.Pointer(&s.buf)).data
  88. }
  89. func (s *Stream) Reset() {
  90. s.reset()
  91. s.bufSize = int64(len(s.buf))
  92. }
  93. func (s *Stream) More() bool {
  94. for {
  95. switch s.char() {
  96. case ' ', '\n', '\r', '\t':
  97. s.cursor++
  98. continue
  99. case '}', ']':
  100. return false
  101. case nul:
  102. if s.read() {
  103. continue
  104. }
  105. return false
  106. }
  107. break
  108. }
  109. return true
  110. }
  111. func (s *Stream) Token() (interface{}, error) {
  112. for {
  113. c := s.char()
  114. switch c {
  115. case ' ', '\n', '\r', '\t':
  116. s.cursor++
  117. case '{', '[', ']', '}':
  118. s.cursor++
  119. return json.Delim(c), nil
  120. case ',', ':':
  121. s.cursor++
  122. case '-', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9':
  123. bytes := floatBytes(s)
  124. s := *(*string)(unsafe.Pointer(&bytes))
  125. f64, err := strconv.ParseFloat(s, 64)
  126. if err != nil {
  127. return nil, err
  128. }
  129. return f64, nil
  130. case '"':
  131. bytes, err := stringBytes(s)
  132. if err != nil {
  133. return nil, err
  134. }
  135. return string(bytes), nil
  136. case 't':
  137. if err := trueBytes(s); err != nil {
  138. return nil, err
  139. }
  140. return true, nil
  141. case 'f':
  142. if err := falseBytes(s); err != nil {
  143. return nil, err
  144. }
  145. return false, nil
  146. case 'n':
  147. if err := nullBytes(s); err != nil {
  148. return nil, err
  149. }
  150. return nil, nil
  151. case nul:
  152. if s.read() {
  153. continue
  154. }
  155. goto END
  156. default:
  157. return nil, errors.ErrInvalidCharacter(s.char(), "token", s.totalOffset())
  158. }
  159. }
  160. END:
  161. return nil, io.EOF
  162. }
  163. func (s *Stream) reset() {
  164. s.offset += s.cursor
  165. s.buf = s.buf[s.cursor:]
  166. s.length -= s.cursor
  167. s.cursor = 0
  168. }
  169. func (s *Stream) readBuf() []byte {
  170. if s.filledBuffer {
  171. s.bufSize *= 2
  172. remainBuf := s.buf
  173. s.buf = make([]byte, s.bufSize)
  174. copy(s.buf, remainBuf)
  175. }
  176. remainLen := s.length - s.cursor
  177. remainNotNulCharNum := int64(0)
  178. for i := int64(0); i < remainLen; i++ {
  179. if s.buf[s.cursor+i] == nul {
  180. break
  181. }
  182. remainNotNulCharNum++
  183. }
  184. s.length = s.cursor + remainNotNulCharNum
  185. return s.buf[s.cursor+remainNotNulCharNum:]
  186. }
  187. func (s *Stream) read() bool {
  188. if s.allRead {
  189. return false
  190. }
  191. buf := s.readBuf()
  192. last := len(buf) - 1
  193. buf[last] = nul
  194. n, err := s.r.Read(buf[:last])
  195. s.length += int64(n)
  196. if n == last {
  197. s.filledBuffer = true
  198. } else {
  199. s.filledBuffer = false
  200. }
  201. if err == io.EOF {
  202. s.allRead = true
  203. } else if err != nil {
  204. return false
  205. }
  206. return true
  207. }
  208. func (s *Stream) skipWhiteSpace() byte {
  209. p := s.bufptr()
  210. LOOP:
  211. c := char(p, s.cursor)
  212. switch c {
  213. case ' ', '\n', '\t', '\r':
  214. s.cursor++
  215. goto LOOP
  216. case nul:
  217. if s.read() {
  218. p = s.bufptr()
  219. goto LOOP
  220. }
  221. }
  222. return c
  223. }
  224. func (s *Stream) skipObject(depth int64) error {
  225. braceCount := 1
  226. _, cursor, p := s.stat()
  227. for {
  228. switch char(p, cursor) {
  229. case '{':
  230. braceCount++
  231. depth++
  232. if depth > maxDecodeNestingDepth {
  233. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  234. }
  235. case '}':
  236. braceCount--
  237. depth--
  238. if braceCount == 0 {
  239. s.cursor = cursor + 1
  240. return nil
  241. }
  242. case '[':
  243. depth++
  244. if depth > maxDecodeNestingDepth {
  245. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  246. }
  247. case ']':
  248. depth--
  249. case '"':
  250. for {
  251. cursor++
  252. switch char(p, cursor) {
  253. case '\\':
  254. cursor++
  255. if char(p, cursor) == nul {
  256. s.cursor = cursor
  257. if s.read() {
  258. _, cursor, p = s.statForRetry()
  259. continue
  260. }
  261. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  262. }
  263. case '"':
  264. goto SWITCH_OUT
  265. case nul:
  266. s.cursor = cursor
  267. if s.read() {
  268. _, cursor, p = s.statForRetry()
  269. continue
  270. }
  271. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  272. }
  273. }
  274. case nul:
  275. s.cursor = cursor
  276. if s.read() {
  277. _, cursor, p = s.stat()
  278. continue
  279. }
  280. return errors.ErrUnexpectedEndOfJSON("object of object", cursor)
  281. }
  282. SWITCH_OUT:
  283. cursor++
  284. }
  285. }
  286. func (s *Stream) skipArray(depth int64) error {
  287. bracketCount := 1
  288. _, cursor, p := s.stat()
  289. for {
  290. switch char(p, cursor) {
  291. case '[':
  292. bracketCount++
  293. depth++
  294. if depth > maxDecodeNestingDepth {
  295. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  296. }
  297. case ']':
  298. bracketCount--
  299. depth--
  300. if bracketCount == 0 {
  301. s.cursor = cursor + 1
  302. return nil
  303. }
  304. case '{':
  305. depth++
  306. if depth > maxDecodeNestingDepth {
  307. return errors.ErrExceededMaxDepth(s.char(), s.cursor)
  308. }
  309. case '}':
  310. depth--
  311. case '"':
  312. for {
  313. cursor++
  314. switch char(p, cursor) {
  315. case '\\':
  316. cursor++
  317. if char(p, cursor) == nul {
  318. s.cursor = cursor
  319. if s.read() {
  320. _, cursor, p = s.statForRetry()
  321. continue
  322. }
  323. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  324. }
  325. case '"':
  326. goto SWITCH_OUT
  327. case nul:
  328. s.cursor = cursor
  329. if s.read() {
  330. _, cursor, p = s.statForRetry()
  331. continue
  332. }
  333. return errors.ErrUnexpectedEndOfJSON("string of object", cursor)
  334. }
  335. }
  336. case nul:
  337. s.cursor = cursor
  338. if s.read() {
  339. _, cursor, p = s.stat()
  340. continue
  341. }
  342. return errors.ErrUnexpectedEndOfJSON("array of object", cursor)
  343. }
  344. SWITCH_OUT:
  345. cursor++
  346. }
  347. }
  348. func (s *Stream) skipValue(depth int64) error {
  349. _, cursor, p := s.stat()
  350. for {
  351. switch char(p, cursor) {
  352. case ' ', '\n', '\t', '\r':
  353. cursor++
  354. continue
  355. case nul:
  356. s.cursor = cursor
  357. if s.read() {
  358. _, cursor, p = s.stat()
  359. continue
  360. }
  361. return errors.ErrUnexpectedEndOfJSON("value of object", s.totalOffset())
  362. case '{':
  363. s.cursor = cursor + 1
  364. return s.skipObject(depth + 1)
  365. case '[':
  366. s.cursor = cursor + 1
  367. return s.skipArray(depth + 1)
  368. case '"':
  369. for {
  370. cursor++
  371. switch char(p, cursor) {
  372. case '\\':
  373. cursor++
  374. if char(p, cursor) == nul {
  375. s.cursor = cursor
  376. if s.read() {
  377. _, cursor, p = s.statForRetry()
  378. continue
  379. }
  380. return errors.ErrUnexpectedEndOfJSON("value of string", s.totalOffset())
  381. }
  382. case '"':
  383. s.cursor = cursor + 1
  384. return nil
  385. case nul:
  386. s.cursor = cursor
  387. if s.read() {
  388. _, cursor, p = s.statForRetry()
  389. continue
  390. }
  391. return errors.ErrUnexpectedEndOfJSON("value of string", s.totalOffset())
  392. }
  393. }
  394. case '-', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9':
  395. for {
  396. cursor++
  397. c := char(p, cursor)
  398. if floatTable[c] {
  399. continue
  400. } else if c == nul {
  401. if s.read() {
  402. _, cursor, p = s.stat()
  403. continue
  404. }
  405. }
  406. s.cursor = cursor
  407. return nil
  408. }
  409. case 't':
  410. s.cursor = cursor
  411. if err := trueBytes(s); err != nil {
  412. return err
  413. }
  414. return nil
  415. case 'f':
  416. s.cursor = cursor
  417. if err := falseBytes(s); err != nil {
  418. return err
  419. }
  420. return nil
  421. case 'n':
  422. s.cursor = cursor
  423. if err := nullBytes(s); err != nil {
  424. return err
  425. }
  426. return nil
  427. }
  428. cursor++
  429. }
  430. }
  431. func nullBytes(s *Stream) error {
  432. // current cursor's character is 'n'
  433. s.cursor++
  434. if s.char() != 'u' {
  435. if err := retryReadNull(s); err != nil {
  436. return err
  437. }
  438. }
  439. s.cursor++
  440. if s.char() != 'l' {
  441. if err := retryReadNull(s); err != nil {
  442. return err
  443. }
  444. }
  445. s.cursor++
  446. if s.char() != 'l' {
  447. if err := retryReadNull(s); err != nil {
  448. return err
  449. }
  450. }
  451. s.cursor++
  452. return nil
  453. }
  454. func retryReadNull(s *Stream) error {
  455. if s.char() == nul && s.read() {
  456. return nil
  457. }
  458. return errors.ErrInvalidCharacter(s.char(), "null", s.totalOffset())
  459. }
  460. func trueBytes(s *Stream) error {
  461. // current cursor's character is 't'
  462. s.cursor++
  463. if s.char() != 'r' {
  464. if err := retryReadTrue(s); err != nil {
  465. return err
  466. }
  467. }
  468. s.cursor++
  469. if s.char() != 'u' {
  470. if err := retryReadTrue(s); err != nil {
  471. return err
  472. }
  473. }
  474. s.cursor++
  475. if s.char() != 'e' {
  476. if err := retryReadTrue(s); err != nil {
  477. return err
  478. }
  479. }
  480. s.cursor++
  481. return nil
  482. }
  483. func retryReadTrue(s *Stream) error {
  484. if s.char() == nul && s.read() {
  485. return nil
  486. }
  487. return errors.ErrInvalidCharacter(s.char(), "bool(true)", s.totalOffset())
  488. }
  489. func falseBytes(s *Stream) error {
  490. // current cursor's character is 'f'
  491. s.cursor++
  492. if s.char() != 'a' {
  493. if err := retryReadFalse(s); err != nil {
  494. return err
  495. }
  496. }
  497. s.cursor++
  498. if s.char() != 'l' {
  499. if err := retryReadFalse(s); err != nil {
  500. return err
  501. }
  502. }
  503. s.cursor++
  504. if s.char() != 's' {
  505. if err := retryReadFalse(s); err != nil {
  506. return err
  507. }
  508. }
  509. s.cursor++
  510. if s.char() != 'e' {
  511. if err := retryReadFalse(s); err != nil {
  512. return err
  513. }
  514. }
  515. s.cursor++
  516. return nil
  517. }
  518. func retryReadFalse(s *Stream) error {
  519. if s.char() == nul && s.read() {
  520. return nil
  521. }
  522. return errors.ErrInvalidCharacter(s.char(), "bool(false)", s.totalOffset())
  523. }