每秒生成近百字,在重庆测试DeepSeek R1 API快得飞起
2025-02-20 15:27:55 来源:今日热点网
今年春节期间,DeepSeek横空出世,成为最火热的坊间话题之一。DeepSeek-R1 推理大模型因其出色的逻辑推理能力,接近甚至超越OpenAI的o1,引发全球轰动,被硅谷科技媒体称为新时代的 “斯普特尼克时刻”。
然而随着DeepSeek的全球火爆,其服务器的算力资源、存储资源和网络带宽等也被快速占满,无法及时响应所有请求。而很多厂商抓住机会,陆续上线 DeepSeek-R1 服务,为用户提供了更多选择。其中,不同的厂商,在为客户提供DeepSeek-R1 API服务时的表现也不尽相同,给开发者和企业用户的抉择带来了困扰。
为此,可观测与应用安全厂商基调听云对多家提供 DeepSeek-R1 API 服务的厂商开展了全面评测,并发布了《大模型服务性能评测 DeepSeek-R1 API版》第一期,旨在为开发者提供深度数据支撑,助力其精准洞察各服务商 API 接口的性能表现,从而有针对性地优化产品体验。
本次,基调听云选择了北京、上海、广州、深圳、杭州、苏州、重庆等多个城市,在不同环境条件下,对火山引擎、DeepSeek官方、腾讯云、硅基流动、阿里云百炼五家厂商的相应服务进行了深度测试。
在重庆本地的测试中,火山引擎在推理速度、生成速度,以及可用性等关键指标方面均全面领先。不但可用性达到了100%,同时,生成速度更是达到了66.074 tokens/s,即每秒生成大约100个汉字,推理速度达到31.193 tokens/s,均为各厂商最高。
与之相比,DeepSeek官方尽管生成速度达到35.689 tokens/s,但其可用性只达到了43.48%,意味着很多用户的请求都得不到及时响应。而硅基流动的可用性虽说达到了98.55%,但生成速度仅为18.36 tokens/s。
DeepSeek R1评测结果(图片来自基调听云公众号)
基调听云方面表示,在本次测试中,火山引擎在推理和生成速度上表现优秀,而其他厂商则相对逊色,可以看到服务端推理的性能对API整体性能的关键性影响。
而对于网络延迟(DNS 时间、连接时间等)带来的影响,基调听云则表示,从测试结果来看,除非网络层的延迟异常高,否则不会对整体的 API 性能产生根本性影响,推理和生成速度的差异更多源自服务端的处理能力,而非网络本身。(作者:李枫)
标签:
相关热词搜索:
[责任编辑:]
相关阅读
- (2024-01-16)乔万尼女装两天两场“知·新”主题时装秀完美收官
- (2023-12-23)温暖守护者—今年冬季潮流谊嘉宝更具性价比
- (2023-12-07)“温暖冬日 魅力非遗”主题线路推荐
- (2023-12-07)日出黄山双飞七日游
- (2023-12-07)开拓省外客源市场,安徽迎来东北旅行团
- (2023-12-07)惠游皖浙赣双飞七日游
- (2023-12-07)i人在黄山该怎么玩?这份独处游玩攻略,快码下!