石墨色电路板上的图形处理器与显存芯片,硬件概念图
查看最新 Engine

MoE4All.

释放卡之潜力。

让游戏显卡跑起超显存大模型。
从本地推理到有记忆的 Agent,让更多设备用上 AI。

认识这些项目
本地推理 · Vulkan · 不止一种显卡
01 / 04LOCAL INTELLIGENCE
从你手上的硬件出发
AMD↗NVIDIAintel®
VULKAN POWERED
01 / ENGINE发行版本

显存有限。
模型,不必。

MoE4All 协调 VRAM、RAM 与 SSD,让活跃专家靠近 GPU。用分层存储与按需加载,运行远超显存容量的 MoE 模型。

  • 自动规划资源,少一点手动折腾
  • OpenAI 兼容 API,接入你已有的客户端
  • 并发会话、长上下文与可选 MTP 加速
THE MEMORY HIERARCHY
本轮 4 个专家4 VRAM HITS
GPU运算单元0 / 4
模拟 token
VRAM → GPU命中先计算,miss 等补齐
VRAM热 → 冷 / 逻辑队列
热 24 / 48左热 · 右冷
VRAM → GPU
RAM → VRAM上传 · 替换冷槽位
按需上行 ↑
RAM热 → 冷 / 主机缓存
热 24 / 96调用后前移,复用热专家
SSD → RAMmiss 时按需读取
按需上行 ↑
SSD完整只读权重
热 24 / 192热 → 冷 / 仅调整展示顺序
正在使用热冷待补齐

逻辑冷热队列与模拟 token,非实时推理或模型真实分词。缓存回收不将权重写回 SSD。

实测吞吐量

性能,拿结果说话。

并发总 Decode 平均 / tok/s
RX 7900 XTX预算:24 GiB VRAM · 48 GiB RAMWindows · MTP OFF · Q8 KV
×1
120.98 tok/s
×2
164.64 tok/s
×3
201.28 tok/s
PREFILL3604.71tok/s单路冷请求

×N 为并发会话数;Decode 预热后三轮平均,Prefill 为无缓存冷请求。

02 / AGENT发行版本

记得你的昨天,
陪你安排明天。

找回上周的约定,安排下一步,换到手机接着聊。把本地模型、记忆与日常工具放进自己的工作台,让每段对话都有下文。

试用 Agent 整合包

一句话,从头接上。

“上周说的那个会,到底是哪天?”从留下的记忆里找回约定,不必翻遍聊天记录。

说件事,安排个时间。

“每周一早上,提醒我准备读书会邮件。”把日常安排变成工作台里的定时任务。

换个屏幕,接着聊。

配对手机,在外面也能接着聊。模型仍在自己的电脑上,记忆和话题不用重来。

有些话,留在自己电脑里就好。

选择本地模型,AI、对话和记忆都留在本机。自己的计划、工作材料和私人想法,可以在自己的电脑里整理。云端模型与联网工具,由你决定是否连接。

更多日常可能
04 / IN THE LAB研发中

让声音,
留下线索。

面向长录音的本地分析:中英转写、说话人活动、跨录音声纹关联,以及可恢复的增量上传。

后端仍在开发,尚无正式 release,整体质量待验收。Android 录音端目前处于设计阶段。

了解长音频项目
LONG AUDIO / LOCAL ANALYSIS
00:0001:0002:0003:00
说话人 A
说话人 B
录音转写关联
流程示意 · 非真实识别结果
YOUR HARDWARE. YOUR INTELLIGENCE.

让 AI,运行在你这边。

从已有的硬件出发,做下一件有意思的事。

GET STARTED

选一个起点。

整合工作环境、独立引擎,或者你已有的 DSH。

MoE4All Agent 发行版本

Windows 整合包 · 内含引擎、Harness 与插件 · 模型另行下载

MoE4All Engine 发行版本

独立推理引擎 · 终端对话或为已有客户端提供 API

Engine Preview 发行版本

试用最新引擎候选版本,参与验证。

MoE4All Provider DSH

已有 DeepSeek Harness?安装插件,接入本地推理。

自动匹配系统下载安装包;暂无对应文件时打开发行页。

BENCHMARK

结果,和它的前提。

Decode 为并发总平均吞吐量,单位 tok/s。×1/×2/×3 为同时活跃的会话数。

模型 / 上下文×1×2×3Prefill

RX 7900 XTX · Windows · 24 GiB VRAM/48 GiB RAM 预算 · Q8 K/V · temperature 0 · thinking 关闭 · MTP 关闭 · ubatch 4096 · GPU resident 16 层。

Decode:每会话生成 512 tokens,预热一轮、实测三轮;每轮总输出 tokens 除以最慢会话 Decode 时间,再取平均。Prefill:每条件一次冷请求,cached tokens = 0。