每秒生成近百字,在重庆测试DeepSeek R1 API快得飞起

2025-02-20 15:27:55 来源:今日热点网

今年春节期间,DeepSeek横空出世,成为最火热的坊间话题之一。DeepSeek-R1 推理大模型因其出色的逻辑推理能力,接近甚至超越OpenAI的o1,引发全球轰动,被硅谷科技媒体称为新时代的 “斯普特尼克时刻”。

然而随着DeepSeek的全球火爆,其服务器的算力资源、存储资源和网络带宽等也被快速占满,无法及时响应所有请求。而很多厂商抓住机会,陆续上线 DeepSeek-R1 服务,为用户提供了更多选择。其中,不同的厂商,在为客户提供DeepSeek-R1 API服务时的表现也不尽相同,给开发者和企业用户的抉择带来了困扰。

为此,可观测与应用安全厂商基调听云对多家提供 DeepSeek-R1 API 服务的厂商开展了全面评测,并发布了《大模型服务性能评测 DeepSeek-R1 API版》第一期,旨在为开发者提供深度数据支撑,助力其精准洞察各服务商 API 接口的性能表现,从而有针对性地优化产品体验。

本次,基调听云选择了北京、上海、广州、深圳、杭州、苏州、重庆等多个城市,在不同环境条件下,对火山引擎、DeepSeek官方、腾讯云、硅基流动、阿里云百炼五家厂商的相应服务进行了深度测试。

在重庆本地的测试中,火山引擎在推理速度、生成速度,以及可用性等关键指标方面均全面领先。不但可用性达到了100%,同时,生成速度更是达到了66.074 tokens/s,即每秒生成大约100个汉字,推理速度达到31.193 tokens/s,均为各厂商最高。

与之相比,DeepSeek官方尽管生成速度达到35.689 tokens/s,但其可用性只达到了43.48%,意味着很多用户的请求都得不到及时响应。而硅基流动的可用性虽说达到了98.55%,但生成速度仅为18.36 tokens/s。

图片1.png

DeepSeek R1评测结果(图片来自基调听云公众号)

基调听云方面表示,在本次测试中,火山引擎在推理和生成速度上表现优秀,而其他厂商则相对逊色,可以看到服务端推理的性能对API整体性能的关键性影响。

而对于网络延迟(DNS 时间、连接时间等)带来的影响,基调听云则表示,从测试结果来看,除非网络层的延迟异常高,否则不会对整体的 API 性能产生根本性影响,推理和生成速度的差异更多源自服务端的处理能力,而非网络本身。(作者:李枫)


标签:

相关热词搜索:

[责任编辑:]

最近更新