Qwen3.5-0.8B WebGPU

检测 WebGPU… 🤔 深度思考：开 🐞 调试/Debug：开 ON ⚙ 推理参数 ⬇ 导出记录

本地大模型，从你的 GPU 开始

模型运行在你的浏览器中，数据不出本机。首次加载约需下载 740MB（之后由浏览器缓存，免流量）。
加载完成后即可对话，支持图像理解；思考过程与正文分离显示，可在右上角查看全部推理参数。

正在检测默认模型…

推理参数

当前生效的完整配置（wllama / llama.cpp）

运行时状态

backend-

webgpu_adapter-

n_threads-

n_ctx（上下文）-

n_layer（层数）-

模型加载参数

n_gpu_layers-

flash_attn-

cache_type_k / v-

n_batch / n_ubatch-

jinja chat templatetrue（GGUF 内置 Qwen3.5 模板）

采样参数（每轮请求）

temperature-

top_p / top_k-

max_tokens-

chat_template_kwargs-

KV Cache 状态

说明：KV Cache 存在于推理进程内存（WebGPU 显存 / WASM 堆）中，同一会话内的多轮对话自动复用，无需手动开启。页面刷新后随进程释放——wllama 未暴露 state dump 接口，KV Cache 无法持久化到磁盘。本配置已开启 cache_type_k/v = q8_0 量化 + FlashAttention，KV 显存占用约为 f16 的一半。 wllama 层有 prompt cache：新对话共享相同系统前缀时命中缓存，TTFT 显著降低。点击「新对话」即逻辑清空上下文（旧的 KV 槽位被自动回收复用）。