AI

TTFT / TPS

你可能会说

为什么有的 AI 半天才出第一个字，有的秒回？

TTFT 和 TPS 分别表示 AI 出现第一段回答前的等待时间，以及之后每秒生成多少内容。TTFT 是从发送问题到看到第一个字的等待时间，TPS 是开始回答后每秒出现多少文字片段。第一段出现得快，不代表整段回答一定很快，回答长度也会影响总时长。
也常被叫作TTFT 与 TPSTTFT & TPS首 Token 延迟每秒 Token 数
延伸阅读 · 权威出处
延迟优化指南OpenAI ↗