清华大学KTransformers助力低成本显卡实现全能DeepSeek-R1

April 12, 2025

编辑：李逸风

近日，清华大学所属团队KVCache.AI与合作伙伴联合宣布了开源项目KTransformers的重大更新。这项突破性技术让用户能够利用配备24GB显存的RTX 4090D显卡，在本地运行全功能DeepSeek-R1及其升级版DeepSeek-V3（671B版本）。这一更新不仅显著提升了预处理与推理速度，还为人工智能模型的部署带来了革命性的成本优化。

根据媒体报道，KTransformers的最新技术使人工智能大模型摆脱了对昂贵云服务器的依赖，为业界提供了可负担且高效的解决方案。在使用指定配置硬件后，该系统的预处理速度可达每秒286个Token，推理生成速度最高每秒14个Token，与传统依赖高端服务器的解决方案相比具备明显优势。

自2025年1月发布以来，DeepSeek-R1迅速引发了全球关注。它标志着人工智能行业进入了一个新阶段——开源模型的发展蓬勃且成本效率逐渐成为技术布局的核心因素。然而，由于该模型对硬件资源的要求较高，用户通常需要选择通过云服务访问或在本地运行“精简版”，但这往往以牺牲90%的参数为代价。

目前，运行全功能版DeepSeek-R1对普通用户来说仍是挑战。传统的NVIDIA A100或H100服务器费用高达200万元人民币，让许多开发者望而却步。而KTransformers项目则提供了一种经济实惠的本地解决方案，据分析，仅需不到7万元人民币即可完成部署，比高端服务器方案减少了95%的成本，彻底解决了资源限制问题。

KTransformers框架通过异构计算、先进量化技术和稀疏注意力机制等创新手段优化计算效率，同时支持长上下文序列处理。这项技术在本地环境下发挥了重要优势，但相较于高端服务器，其推理速度仍有差距。此外，本地部署仅支持单用户运行，而云服务器通常能够满足多用户需求。

目前，该方案仍依赖于英特尔AMX指令集，这意味着非英特尔品牌CPU暂无法支持。此外，KTransformers主要针对DeepSeek的MOE模型优化，应用于其他主流模型时性能可能难以达到最佳状态。

根据报道，部署KTransformers的硬件需求包括：一台英特尔至强金牌6454S CPU（具备1TB DRAM），一张RTX 4090D GPU（24GB显存），1TB DDR5-4800服务器内存，以及CUDA 12.1或更高版本。这一配置确保了项目的运行稳定性与效率，并使用户能够以显著降低的成本体验先进的人工智能功能。

清华大学的这一创新进一步推动了人工智能技术的普及化，使全球开发者能够以更低的门槛参与大模型的应用与扩展。DeepSeek-R1的定价策略也凸显了开源模型的经济优势：输入Token的成本最低仅为每百万人民币1元，输出Token成本约为OpenAI GPT-4的1/130。这不仅为全球AI生态系统注入了新的竞争力，也加速了技术开放的进程。

随着KTransformers的发布，人工智能行业正在迅速迈入一个既注重技术性能又追求成本效率的新时代。未来，该项目的进展或将带动更多领域的技术创新，并为开源AI的长远发展奠定重要基础。