宝玉谈 PDF 转 AI 输入的 token 取舍:开源项目 MinerU 可省 80%

围绕"给 AI 喂 PDF 到底该不该先转成 Markdown 省 token"，博主宝玉给出了一个务实的取舍框架：直接扔 PDF 虽然视觉处理会多花几倍 token，但能保住排版和表格信息；开源工具 MinerU 则提供了另一条路，能把 PDF 转成 Markdown 省下大部分 token，两种做法各有适用场景。

• 核心矛盾是：直接上传 PDF 给多模态模型会因为视觉处理开销导致 token 消耗大幅增加（约 4 倍），但优点是模型能"看懂"版面、图表、表格这些结构化信息，回答质量更有保障
• 宝玉的主张是"没必要刻意省这点 token"——一是当前 Agent 场景下真正的 token 消耗大头是 skills 加载和工具调用本身，PDF 处理占比有限；二是 Prompt Caching 机制已经大幅降低了重复输入 token 的实际成本
• 对于图文混排、带图表的文档，他认为直接上传 PDF 反而是最省事的方式，强行转换成 Markdown 可能导致图片、排版这类关键信息在转换过程中丢失，得不偿失
• 开源项目 MinerU（在 Hugging Face 已获 7.5 万星标）提供了另一种取舍：能将 PDF 等文档转换为 Markdown，同时保留关键图像和排版结构，实测可省下约 80% 的 token，且支持网页端免费在线使用
• 看点：这场讨论触及了当下 AI 工程实践中一个常见的伪命题——盲目追求"省 token"有时反而牺牲了信息完整度，真正该权衡的是任务对结构化信息的依赖程度，而非无差别地压缩输入。

本内容由 AI 生成，仅供参考，请注意甄别