#tokenization

JSONをそのままLLMに渡すな — データ形式9種のトークンコストを実測した

同じ50件のレコードをJSON・YAML・CSV・TSV・XMLなど9形式に直列化し、tiktokenでトークンを実測した。平坦なデータはTSVがpretty JSONより62%安く、ネストすると結論が逆転する。