JSON을 그대로 LLM에 넣지 마라 — 데이터 포맷 9종 토큰 비용 실측
같은 50개 레코드를 JSON·YAML·CSV·TSV 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 compact JSON으로 결론이 뒤집힌다. 포맷 하나가 토큰 비용을 가른다.
태그
2개 글
같은 50개 레코드를 JSON·YAML·CSV·TSV 등 9가지 포맷으로 직렬화해 tiktoken으로 토큰을 측정했다. 평탄한 데이터는 TSV가 pretty JSON 대비 62% 저렴했고, 중첩 데이터는 compact JSON으로 결론이 뒤집힌다. 포맷 하나가 토큰 비용을 가른다.
프롬프트 엔지니어링을 넘어, 컨텍스트 엔지니어링이 왜 2026년 프로덕션 AI 에이전트 개발의 핵심 역량이 됐는지를 4가지 실패 패턴과 5가지 핵심 기법을 통해 Engineering Manager 관점에서 정리한다.