Profile 模型思考

今天想聊什么？

连接你的 OpenAI-compatible API。会话默认保存在此浏览器。

模型输出可能有误，请核对重要信息。

TTFT—请求 → 首个输出

Prefill—服务器 prompt tok/s

Decode—服务器优先 / 浏览器回退

Cache Hit—复用 prompt token 比例

Context—当前窗口占用

总耗时—请求到流结束

完成 Tokens—后端 usage

Reasoning Tokens—模型思考长度

Context Window

Cache / 新 Prefill / 生成 / 剩余

—

Cached — Prefill — Generated — Remaining —

截断—

TTFT / Prompt Prefill

第一 token 前的缓存复用与 Prompt 处理进度

—

Queue / Net ≈ — Prompt — First decode ≈ —

等待请求 —

Cached — Processed — Total —

Prompt 阶段优先使用 llama.cpp 流式 prompt_progress；完成后使用服务器 timings。Queue / Net 与 First decode 是分解估计，不冒充服务器精确排队时间。

会话 Token 接力

全流程 · 四泳道 · 横轴 = 会话累计 token 位置

等待会话

SYS USER COT ANS

SYSSystem

0 tok

USERAll turns

0 tok

COTAll turns

0 tok

ANSAll turns

0 tok

每条消息只在会话时间线上计一次：SYS → USER₁ → COT₁ → ANS₁ → USER₂ → COT₂ → ANS₂…；同类字段落在同一泳道。历史已校准字段使用模型 tokenizer 的精确值，缺少历史计数时才显示估算。

实时 Decode

浏览器流式估算，用来观察生成过程中是否掉速

等待请求

Current—

Average—

Peak—

Reasoning

COT Tokens—

Answer Tokens—

COT 占输出—

开始思考—

Think → Answer—

答案首 Token—

Speculative / MTP

—

Draft Tokens—

Accepted—

Acceptance—

Verification Steps—

Server

自动探测

Slots—

Processing—

Queued / Deferred—

Busy slots / decode—

Context high-water—

/slots 默认可用；/metrics 需要 llama-server 启动参数 --metrics。不可用时显示 —。

Model Forensics

模型家族 / 厂商指纹 · 本地优先 · 不向第三方发送 Key

Detected family — 等待扫描

— UNKNOWN

Fingerprint ID—

Probe mode—

Reference bank0

关键证据

点击“扫描”生成模型指纹

优先使用 llama.cpp 的 /tokenize、/apply-template、/props；若不可用，会降级为短 OpenAI-compatible token-count probes。结果是归因证据，不是厂商签名证明。

累计

成功请求0

失败请求0

平均 TTFT—

平均 TPS—

累计 Prompt Tokens0

累计 Completion Tokens0

累计输出字符0