#tokenization

别把原始JSON直接喂给LLM — 我实测了9种数据格式的token成本

把同样的50条记录序列化成JSON、YAML、CSV、TSV、XML等9种格式，用tiktoken实测token。平坦数据下TSV比pretty JSON便宜62%，而数据一旦嵌套，结论就反转。