全国政协委员张云泉。
聚焦高质量发展
算力,作为一种继人力、电力之后的生产力,在数字经济时代中的占比越来越高——大到智慧城市、智慧基建,小到手机通信,还有最近大热的ChatGPT,背后都有算力作为“燃料”支撑。
ChatGPT的算力需求究竟有多大?它是如何分配算力的,会因人而异吗?目前我国算力中心的建设情况如何?与世界一流水平相比还存在哪些差距?全国两会期间,南都记者对全国政协委员、中国科学院计算技术研究所研究员张云泉进行了专访。
人工智能
大数据、大算法、大算力 三者不可偏颇
南都:有观点认为,最近大热的ChatGPT的核心竞争力是算力,你认同吗?
张云泉:人工智能有大数据、大算法、大算力三大要素,三者不可偏颇,都很重要。ChatGPT除了有上万块GPGPU(通用图形处理器)提供强大算力,还有大模型算法、大数据的支撑,才能产生如此巨大的革命性变化。
为什么大家觉得算力很重要?因为它是一个高门槛。比如,算法对于ChatGPT也很重要,但是算法有人就可以研究,不需要特别多的经费和人力,但算力不同——ChatGPT初始所需的算力就是1万块英伟达A100(一种AI芯片),价格大约是1亿美元,这个成本是一般的组织和机构承担不起的。
而且,ChatGPT要不断训练,那么算力成本就会不停增加,这种巨大的对计算设施的要求,使得算力这一角色特别突出:你要训练一个中国版的ChatGPT,首先要掏出1亿美元的硬件设施,还要预备后面的训练费用。算法也许可以聘到顶尖高手,但没有硬件基础和生态,其他都免谈。
南都:能简单科普一下“算力”这一概念吗?
张云泉:从字面来看,算力其实就是一种计算的能力。具体来说,我们可以将其定义为一种软件和硬件相结合的系统,它可以按人的要求对数据进行处理、执行某种数学计算、通过人工智能的计算或算法达到想要的结果,甚至在经过大量的数据训练之后产生智能。这一概念最早来自区块链技术,可以翻译为Computing Power或Computility。
从人类的历史上来看,它其实是一种生产力,也是数字经济时代一个很重要的生产要素。它会慢慢地取代电力、人力等其他生产力,变成一个比重越来越高的生产力来源。
算力投入和成本
开发者在算力使用上很“狡猾”,体现一种商业策略
南都:像ChatGPT这样的大模型,算力是如何影响其最终效果的?
张云泉:其实,ChatGPT在算力的使用上十分“狡猾”,或者说很“精打细算”。刚开始回答问题的时候,ChatGPT会给你一些比较简单,甚至是错误的回答,然后再“试探”你对这一领域是否足够了解。如果这样就能把你应付过去,ChatGPT就相当于完成了回答。
但如果你是专家,你懂得很多,你指出来说“不对,应该是怎么样”,ChatGPT就会马上调用更多的算力来进行计算。
南都:这是否就像有些人所说的“AI具有了意识”?
张云泉:不是,实际上我觉得就是一种商业策略,为了控制成本。
据说ChatGPT每一次回答都要支付3-4美分成本,而谷歌搜索每一次成本是1美分——前者是后者的好几倍。ChatGPT目前还没有实现盈利,开发者必须采用一些比较聪明的策略来控制每一次问答的算力投入和成本,这样才能保证整个系统顺畅运行。
后续改进算法没有开源
建议在芯片算法上集中力量,打破垄断、弥补差距
南都:ChatGPT的前身是GPT-3,GPT-3模型所需的算力是3640PFlops-day,这是什么水平?
张云泉:这属于一个非常恐怖的算力需求。这个数字的意思是以每秒执行364亿亿次运算的速度计算一天,也是当前世界上超级计算机研制的最高水平。超级计算机的设计难度和建造成本会远远大于人工智能机器。比如你要研制一台E级超级计算机,成本可能要接近60亿人民币,约等于10亿美元,而GPT-3用的是1万块GPGPU,成本接近1亿美元,价格差出了10倍。
南都:除了资金上的门槛,是否也有技术层面的差异?
张云泉:技术上绝对是存在差距的。OpenAI对ChatGPT后续的改进算法没有开源,这说明后面这几步非常关键。这种算法的改进,包括编码、指令、对齐等算法都是有专利的,可能短期内不会向外公布。
更让人忧虑的是,去年美国开始限制英伟达高端芯片A100以及下一代H100芯片的出口。我建议咱们国家加大在ChatGPT相关研发上的投入,要在芯片、算法上集中人才和力量,争取早日实现突破,打破垄断,弥补差距。
我国算力中心情况如何?
智算中心建设要合理设置核心器件国产化采购比例
南都:目前,我国的算力中心主要表现为哪些形态?
张云泉:目前的算力中心大概有四类形态:一是超级计算中心。这种比较传统,主要做科学计算的创新;二是智算中心。这一类现在方兴未艾,主要做人工智能;三是互联网数据中心(IDC)。这一类主要面向电信市场,也包括互联网公司等;四是城市大脑。它来自于智慧城市,目前国家建设了300多家智慧城市。我国目前已经建了大约10所国家级超算中心。已经有接近30个城市建设了自己的智算中心,专门用来支持人工智能的训练和推理的产业化。
南都:你在今年的提案中给出了“东数西算”工程相关的建议。
张云泉:我注意到,经过一年建设,“东数西算”工程出现了一些现象:一是出现了用国家算力网建设取代研发国产尖端超算系统的倾向;二是出现了未经充分论证和原型装置验证,就上马算力网工程的现象;三是各地建设智算中心热情高涨,出现了不顾实际需求,重复建设的现象;四是智算中心建设中出现了过度强调全部国产化现象。
南都:“不顾实际需求,重复建设”的具体表现有哪些?
张云泉:比如,已经有近30个城市建设了智算中心,更多城市在规划上马新智算中心,甚至出现了一个城市同时建设多个超算中心和智算中心的现象。由于需求不足,追求规模效应,运营过程不透明和缺乏监管,出现了智算中心空转甚至停机的现象,无法充分发挥设备生命周期内潜在效益,造成资源和资金浪费。
我提到四个建议:一是在“十五五”规划中同时资助Z级(1000EFlops)超算和国家算力网的研究。二是在现有大科学装置基础上,围绕“东数西算”重大任务目标增加建设一类算力网工程技术装置。三是成立国家算网管理机构和专家委员会,建设国家级算力调度和交易平台。四是在智算中心建设过程中,依据国产化核心器件成熟度和应用效果,设置合理的国产化核心器件采购比例,逐步实现在智能计算领域国产化替代。既要采用国际上先进成熟的技术支撑数字经济的快速发展,又要通过给国产设备一定采购比例,扶持和拉动国产算力设备的发展,争取早日完成国产化替代。
南都全国两会报道组
策划:程姝雯 潘珊菊 蒋琳
统筹:梁建忠
采写:南都记者 杨博雯 受访者供图