JSON을 그대로 LLM에 넣지 마라 — 데이터 포맷 9종 토큰 비용 실측
같은 50개 레코드를 JSON·YAML·CSV·TSV 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 compact JSON으로 결론이 뒤집힌다. 포맷 하나가 토큰 비용을 가른다.
태그
tokenization
1개 글
태그
1개 글
같은 50개 레코드를 JSON·YAML·CSV·TSV 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 compact JSON으로 결론이 뒤집힌다. 포맷 하나가 토큰 비용을 가른다.