tokens/s 小米发布MiMo-V2.5-Pro-UltraSpeed：生成速度提升10倍！突破1000

　　小米联合TileRT推出MiMo-V2.5-Pro-UltraSpeed，基于万亿参数大模型，在单台标准8卡GPU节点上首次将文本生成速度提升至1000+ tokens/s，峰值可达1200 tokens/s，无需定制专用

　　快科技6月9日消息，小米联合TileRT正式推出MiMo-V2.5-Pro-UltrASPeed，实现行业里程碑式突破：基于万亿参数大模型，在单台标准8卡通用GPU节点上，首次aiOJNEAEkk将文本生成速度提升至1000 tokens/s。

　　甚至峰值可达1200 tokens/s，全程无需定制专用芯片，大幅降低了极速AI推理的落地门槛。

　　该版本同步上线限时API服务，定价为javascript原版MiMo-V2.5-Pro的3倍，但生成速度提升约10倍，性价比优势突出。

　　受高速推理资源限制，服务采用申请制限时开放，试用周期为北京时间6月9日轻语至6月23日23:59，平台优先审核有android实际业务需求的企业与专业开发者，普通用户可通过专属网页免费体验对话功能。

　　单账号每日排队上限10次，单会话最长30分钟，闲置5分钟将自动断开，保障资源公平分配。

　　此次性能飞跃依托模型与系统深度协同设计，核心包含三大技术创新：

　　其一为FP4量化技术，针对模型MoE架构特点，仅对占绝大多数参数的专家层执行无损FP4量化，其余模块保留原始精度，在缩减内存占用、缓解带宽压力的同时，保证模型综合能力基本不变。

　　其二是DFlash区块并行推测解码，摒弃传统串行解码模式，单次可预测一整段文本区块，在代码、数理推理等场景平均单轮可确认6-7个t轻语oken，大幅提升解码效率。

　　其三依靠TileRT推理系统，重构GPU执行架构，采用持久化内核与异构流水线，消除算子切换带来的延迟，让硬件算力持续满负荷运转。

　　极速推理能力也重塑了AI应用场景，超高速度支持模型并行推演、自主纠错，提升逻辑推理质量；大幅缓解代码生成的等待卡顿，释放编程智能体生产力；同时让万亿参数大模型落地高频量化交易、实时反欺诈、医疗影像分析等毫秒级实时决策场景。

本文标题: 小米发布MiMo-V2.5-Pro-UltraSpeed：生成速度提升10倍！突破1000 tokens/s本文地址: http://www.eraseerrata.com/news/roll/743243.html