公众号:小姨ai
界面新闻记者|陆柯言
大模型混战时代,存力被摆到了几乎与算力同等重要的位置。
华为数据存储产品线负责人周跃峰近日接受界面新闻等媒体采访时表示,数据及其质量决定了人工智能智力的高度。中国的人工智能产业要想高速发展,一定要重视数据和信息的数字化记录。
周跃峰表示,AI大模型在落地过程中,所有顶级的挑战都来自于数据。例如,数据准备时间长,数据来源分散,归集慢,预处理百TB数据需10天左右。此外,大模型参数频繁调优,训练平台并不稳定,平均约2天就会出现一次训练中断,故障恢复耗时超过一天。
面对上述挑战,华为发布了两款存储新品,分别是面向基础及行业大模型场景的深度学习数据湖存储OceanStor A310,以及面向行业大模型应用的训练/推理超融合一体机FusionCube A3000。
其中,OceanStor A310能够支撑数据的归集、预处理、训练、推理的AI全流程的海量数据处理,这也是大模型运行的关键一步。据官方数据,OceanStor A310是当前全球性能密度最高的一款存储产品,支持96闪存盘,带宽可达400GB/s,IOPS达到1200万。
一体机FusionCube A3000则集成了高性能存储节点、训推节点、网络交换设备、AI平台软件,支持企业客户“开箱即用”,大幅降低AI大模型的前期使用、部署门槛与投入。
目前,华为推出的存储产品已在国内的十大模型厂商得到部署,包括科大讯飞、中科院等。
周跃峰表示,大模型落地过程中遇到的瓶颈问题,需要头部厂商牵头解决。作为全球高端存储的头部厂商之一,华为完全有能力做这项工作。
他还尤其强调了存力建设的重要性。一个例子是,由于英文的数字化记录资料远远多于中文,ChatGPT训练英文的效率比中文高很多。中国如果不重视存力,对未来AI的产业发展以及人工智能的潜力的发挥会有巨大制约作用。
中国工程院院士、中国科学院计算技术研究所研究员倪光南也在近日表示,根据数据统计,预计2025年中国数据量将从7.6ZB增至48.6ZB,超过美国成为全球第一,但当前中国算力中心存力不足,存在重算力轻存力的倾向。中国算力中心采用SSD(固态硬盘)先进算力占比仅为24.7%,约为美国一半。
华为分布式存储领域副总裁韩振兴认为,算力建设过多、存力建设过少的现状,会导致数据处理流程中的算力闲置。如果存力上不去,算力只能等待,造成资源的浪费。所以更需要重视存力,以达到最佳的算存比。
一个好的转变是,过去两年已有多个省份开始重视存力中心的建设。韩振兴表示,存储设备在数据中心采购占比进一步提升,存力中心的建设会成为未来的一大新趋势。
公众号:小姨ai
暂无评论内容