文章来源: 分布式电站
当前,以AI技术为代表的新质生产力,引导各行业智算需求爆炸式增长。智算中心作为最重要的算力基础设施,是大模型、图像类、自然语言类、预测类等智能应用的“动力引擎”,为各类智能化业务场景提供安全、稳定、高效的算力支撑,满足国家和行业需求,同时可有效带动相关产业增长,助力行业数智化转型和数字中国建设。
飞腾积极做出响应国家和行业对智算中心的迫切需求,联合生态伙伴打造全栈国产化智算中心解决方案,整体系统架构包括智算芯片、智算设备、智算操作系统、智算平台、国产大模型、智能应用等6个部分,如下图所示。
517.png data-resourcesrc=/capital/image/202407/30/66a8b033e4b09018c68c91d8_m.png data-from=dams data-damsstoid=po66a8b034e4b09018c68c91d9 data-damslibid=capital data-width=670 data-height=243 id=img-66a8b033e4b09018c68c91d8_m>
517.png data-resourcesrc=/capital/image/202407/30/66a8b033e4b09018c68c91d8_m.png data-from=dams data-damsstoid=po66a8b034e4b09018c68c91d9 data-damslibid=capital data-width=670 data-height=243 id=img-66a8b033e4b09018c68c91d8_m
该方案以飞腾新一代高性能CPU飞腾腾云S5000C为算力底座,兼容多款国产AI加速卡,实现通用算力与智能算力的异构融合,以此为基础研发国产AI服务器,设计适合大规模集群部署的智算中心网络拓扑,构建存算一体的智算平台体系架构,支撑大模型训练推理等应用,可为行业应用提供从端到云的智能化算力服务。
智算中心算力底座基于飞腾新一代服务器芯片飞腾腾云S5000C和国产AI算力卡。其中S5000C计算性能强大,IO吞吐量大,支持DDR5和PCIe5.0,可满足AI计算高带宽、低延迟的技术需求;国产AI算力卡具备自主可控、灵活拓展的特点,在性能上不断追赶并部分超越国际主流产品。
目前,飞腾腾云S5000C已与国产主流AI算力卡完成适配,整套智算中心算力底座具备自主化程度高、体系布局、生态开放、高可扩展、超高的性价比、平滑迁移等特点。
基于飞腾腾云S5000C的智算设备产品多种多样,包含2U/4UAI服务器(2、4、8卡)、OAM服务器、高速交换机、全闪存储服务器、智能网卡等,上述产品可单独或自由组合形成成熟的整体方案,满足智算中心的多样算力需求,对标国际先进算力水平。
在单个机架上集成了AI服务器、存储服务器、管理服务器、交换机等设备,用于深度学习模型的大规模训练和推理。PoD单元可支持32张加速卡协同工作,采用200G低延迟网络和固态存储方案,既可作为独立计算设备实现开箱即用,亦可作为AI服务器集群的基本组成单元,实现大规模集群配置。目前PoD单元已适配多家厂商AI加速卡,打造出从高性能到超高的性价比的多套配置方案,具备超强算力、超强拓展性、超高易用性、低TCO、可一体化交付的特点。
基于PoD单元模式可将AI服务器集群扩展至千卡、万卡规模,形成AI算力弹性资源池,借助智算平台管理软件和高性能网络互联技术,实现算力资源统一纳管、高效调度、智能运维。AI服务器集群支持大规模的数据处理和复杂的计算任务,适用于大模型训练推理场景,性价比高于国际主流集群方案,可为各类智能应用提供强大、可控的智能算力。
基于飞腾AI算力底座适配了LLama系列、智源、云天励飞,智谱华章、通义千问、百川智能等开源大模型,可开展全量训练、微调、推理等技术,满足多种行业场景客户的需求。携手国内加速卡厂商,训练场景上,适配Megatron-LM、deepspeed等流行训练框架;推理场景适配vllm推理框架,通过集群性能整体优化,实现云端大批量、高效率的训练、推理任务。
实际测试结果为,4机32卡,70B大模型训练达到249tokens/s/p,性能达到x86+国外主流AI产品的93%左右,整机成本为其85%。综合性价比是其109%。通过性能和整机成本的持续优化,性价比会促进提升。
智算中心底座全栈均采用国产产品(CPU、整机、AI卡、网卡、交换机等)。
飞腾国产智算中心解决方案非常适合于国家机关和央企各行业,包括:政务、金融、电信、电力、能源、交通、教育等,支持私有化部署及快速灵活扩展,现已在物流、交通、金融服务等央企落地应用。
● 某央企百亿参数级别大模型项目,支持代码撰写、文档自动生成处理等办公场景,支持自动控制及故障预测等系统使用,实现设备智能运控。
● 方案选型:采用飞腾腾云S5000C的国产AI服务器方案替换N厂方案,移植成本低,兼性能好价格低,实现算力纳管及LLAMA2大模型训练。
● 某央企园区智慧化管理平台项目,基于园区部署的多路高频摄像头采集数据,通过算法实时分析视频流,实现园区作业安全管控和灾害智能识别,提供智能运营决策和智能助理服务,同时开展大模型训练和视觉模型等多种业务。
● 方案选型:采用飞腾CPU+国产AI卡+麒麟操作系统的全国产化方案,近200张训练推理卡,支持33B模型全量训练、增量预训练和微调。
● 某金融企业大模型应用平台项目,提供大模型训练服务,支持金融风控、贷款征信等业务场景。
● 方案选型:采用飞腾智算中心一体化PhyPOD方案,快速搭建PhyPOD节点集群,通过200G网络交换机实现多台4U8卡AI服务器、存储服务器的高速互联,支持金融大模型训练、微调、推理。