美团技巧团队克日发布，对DeepSeek R1模子停止了INT8精器量化，使得该模子可能在老型号GPU如A100长进行安排。原生的DeepSeek R1模子权重采取FP8数据格局，这限度了其只能在英伟达的新型GPU上安排，而其余型号的GPU则无奈直接支撑。为懂得决这个成绩，美团搜寻跟推举平台部分实验了对DeepSeek R1pg麻将胡了2模子停止INT8精器量化。成果表现，量化后的模子精度基础坚持稳定。经由过程INT8量化，DeepSeek R1冲破了芯片限度，当初能够安排在A100等GPU上。别的，与BF16比拟，INT8量化还实365bet登录现了50%的吞吐量晋升，从而下降了推理本钱。当初，INT8量化代码曾经宣布在开源LLM推理框架SGLang上，量化模子也已宣布至Hugging Face社区，以下是模子链接：https://huggingface.co/meituan/DeepSeek-R1-Block-INT8https://huggingface.co/meituan/De欧洲杯买足球软件排行榜前十名推荐epSeek-R1-Channel-INT8