大模型时代,如何构建更好的基础设施?
7月4日下午,在2024世界人工智能大会期间,无问芯穹联合创始人兼CEO夏立雪在“智启新章・算引未来”AI基础设施论坛上表示,算力是AI发展的前哨和基石,GPT-4之后,支撑算法所需要的算力遇到了瓶颈,“Scaling Law”一词被频繁讨论。在此背景下,国内外巨头都在加大对算力资源的投入。
活动现场 图片来源:每经记者 张韵 摄
所谓Scaling Law是指模型的性能与计算量、模型参数量和数据大小三者之间存在的关系。当前,谷歌、OpenAI以及国内的大厂和三大云商都在构建万卡规模的大集群。夏立雪认为,如今Scaling Law思潮的底层逻辑和能力法思想不谋而合,因此万卡集群是大模型的兵家必争之地。
“未来人工智能推演和训练的算力需求仍然是高速发展的状态,不仅推理场景会随着大模型的落地快速爆发,训练场景也会支撑模型迭代与模型与应用的结合。”夏立雪进一步表示,与国际上模型层与芯片层“相对集中”的格局相比,中国的模型层与芯片层更加“百花齐放”。
然而,大量的异构芯片也形成了“生态竖井”,不同硬件生态系统封闭且互不兼容,给算力的使用方带来一系列技术挑战。
对此,夏立雪认为,为适配中国独特的多模型、多芯片的生态格局,要找到一个好的合力方式,打破异构生态竖井,让异构芯片真正转化为大算力,帮助大模型进一步发展。
在夏立雪看来,当前人工智能的发展状态,不仅需要有将多元异构的芯片统一纳入的底层系统能力,又要在异构算力和多种算法之间做轻易使用的中间层,让用户通过统一的编程框架,把不同算力调度起来,整合算力推高了大模型生态的完整度,其核心任务是持续降低大模型应用落地成本。
每日经济新闻
(责任编辑:张晓波 )