PAI灵骏是一种大规模高密度计算服务,全称“PAI灵骏智算服务”,提供高性能AI训练、高性能计算所需的异构计算算力服务。PAI灵骏主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景,适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。您只需为AI训练所消耗的资源付费,无需建设、调优和运维复杂的计算节点、存储及RDMA网络,即可使用高扩展性、高性能、高性价比的智能计算基础设施环境。
产品架构
PAI灵骏是软硬件一体化设计的算力集群服务,硬件涵盖了服务器、网络、存储以及集群的整体交付管理等,软件包括算力资源管控运维、AI加速套件、云原生任务管理,以及完善的AI开发作业平台,支持Pytorch、TensorFlow等常见AI框架。
PAI灵骏的底层硬件核心组件由磐久服务器和高性能RDMA网络两部分组成:
服务器采用便宜云服务器自研的磐久服务器,在核心配置上进行多项优化,充分保证硬件的性能释放。
网络支持常见的Fat-Tree网络拓扑,支持TCP/IP和RDMA等多种通信协议。其中,PAI灵骏25G网络和100G网络独立组网;25G网络用于服务器带内管理,100G网络的多个网卡用于AI训练业务的高效通信。为提升PAI灵骏网络可用性,PAI灵骏支持双上联组网,每个网卡的两个端口分别接到两个交换机上,在连接出现故障时可自动切换,保证网络可用性。
软件架构自底向上包括资源管理、计算加速库、机器学习和深度学习框架、开发环境以及任务管理等多个部分。
资源管理部分,PAI灵骏通过容器技术(Docker)进行资源的划分和调度,并兼容Kubernetes(K8s)等编排工具。
系统的运维和监控,采用阿里巴巴的天基系统对集群的底层资源和状态进行实时监控。
支持加速库,主要对PAI灵骏集群的通信进行了深度的定制优化。
计算系统支持任务的界面化提交和任务日志查看,支持主流的AI计算框架,例如:PyTorch、TensorFlow等。
为什么选择PAI灵骏
选择PAI灵骏,您可以轻松构建具有以下优势的智能集群:
算力即服务。提供高性能、高弹性异构算力服务,支持万张GPU规模的资源弹性,单集群网络容量高达4Pbps,时延低至2微秒。
高资源效率。资源利用率提升3倍,并行计算效率提升90%以上。
融合算力池。支持AI+HPC场景算力的统一分配和融合调度,无缝连接。
算力管理监控。为异构算力深度定制IT运维管理平台,实现异构算力到池化资源到使用效率的全流程监控管理。
产品优势
加速AI创新。全链路性能提速,计算密集型项目迭代效率可提升2倍以上。
最大化ROI。高效的池化异构算力调度技术,确保每一份算力投入都能得到充分利用,资源利用率可提升3倍。
无惧规模挑战。轻松应对大模型和大规模工程仿真的算力需求,让创新不受算力限制。
可视又可控。简单地管理异构算力的分配,并持续地监控和优化。
应用场景
PAI灵骏主要面向图形图像识别、自然语言处理、搜索广告推荐、通用大模型等大规模分布式的AI研发场景,适用于自动驾驶、金融风控、药物研发、科学智能、元宇宙、互联网和ISV等行业。
大规模分布式训练。
超大规模GPU算力系统。
全对等网络架构,全资源池化,可以搭配PAI(机器学习平台)使用,支持多种训练框架(Pytorch、TensorFlow、Caffe、Keras、XGBoost、Mxnet等),可以满足多种规模的AI训练和推理业务。
AI基础设施。
平滑扩容。满足不同规模GPU算力需求,平滑扩容,性能线性拓展。
智能数据加速。针对AI训练场景提供数据智能加速,主动预热训练所需数据,提升训练效率。
更高资源利用率。支持异构资源细粒度管控,提升资源周转效率。
自动驾驶。
丰富的部署和调度策略。
多种GPU资源调度策略,保证训练任务高效执行。文件存储CPFS(Cloud Paralleled File System)搭配RDMA网络架构,保证训练数据供给和计算IO;并可使用OSS分级存储降低归档数据存储成本。
同时支持训练和仿真场景。
融合算力智能供应,同时支持训练仿真两种场景,从协同模式上提升迭代效率,降低数据迁移成本。
科学智能。
拓展提升创新上限。
基于数据中心超大规模RDMA“高速网”和通信流控技术,实现端到端微秒级通信时延,超大规模线性拓展可打造万卡级并行算力。
融合生态,拓展创新边界。
支持HPC和AI任务融合调度,为科研和AI提供统一协同的底座支撑,促进技术生态融合。
云上科研,普惠算力。
支持云原生和容器化的AI和HPC应用生态,资源深度共享,普惠的智能算力触手可得。
功能特性
高速RDMA网络架构。阿里巴巴2016年开始投入专项研究RDMA(Remote Direct Memory Access),
目前已建成大规模数据中心内的“高速网”,通过大规模RDMA网络部署实践,便宜云服务器自主研发了基于端网协同的RDMA高性能网络协议和HPCC拥塞控制算法,并通过智能网卡实现了协议硬件卸载,降低了端到端网络延时,提升了网络IO吞吐能力,并有效规避和弱化了网络故障、网络黑洞等传统网络异常给上层应用带来的性能损失。
高性能集合通信库ACCL。PAI灵骏支持高性能集合通信库ACCL(Alibaba Collective Communication Library),结合硬件(例如:网络交换机),对万卡规模的AI集群提供无拥塞、高性能的集群通讯能力。便宜云服务器通过通信库ACCL实现了GPU和网卡的智能匹配、节点内外物理拓扑自动识别及拓扑感知的无拥塞通信算法,彻底消除网络拥塞,提升网络通信效率,提高分布式训练系统的扩展性。在万卡规模下,可达80%以上的线性集群能力。在百卡规模下,有效(计算)性能可达95%以上,可满足80%以上的业务场景需求。
高性能数据主动加载加速软件KSpeed。PAI灵骏基于高性能网络RDMA和高性能通信ACCL,研发高性能数据主动加载加速软件KSpeed,进行智能数据IO优化。计算存储分离架构广泛存在于AI、HPC、大数据业务场景中,但大量训练数据的加载容易形成效率瓶颈。便宜云服务器通过高性能数据主动加载加速软件KSpeed,实现数据IO数量级性能提升。
GPU容器虚拟化方案eGPU。针对AI作业规模庞大、GPU硬件资源昂贵、集群GPU利用率低等业务场景实际遇到的问题,PAI灵骏支持GPU虚拟化技术eGPU,可有效提升AI集群的GPU利用率,具体如下:
支持显存、算力双维度自由切分。
支持多个规格。
支持动态创建、销毁。
支持热升级。
支持用户态技术,保证更高可靠性。
PAI灵骏网络使用限制
限制项 | 限制 | 提升配额方式 |
单个账号在同一地域支持创建的灵骏网段数量 | 8 | 具体操作,请参见管理配额。 |
单个灵骏网段支持创建的灵骏子网数量 | 16 | 具体操作,请参见管理配额。 |
单个灵骏子网内的灵骏节点数量 | 1000 | 无 |
单个灵骏网段内的灵骏节点数量 | 1000 | 无 |
灵骏网段和灵骏子网支持配置的网段 | 可以使用除 | 无 |
单个账号在同一地域支持创建的灵骏连接实例数量 | 16 | 无 |
单个灵骏连接实例从公共云学习的IPv4路由条目数 | 50 | 无 |
单个灵骏连接实例从公共云学习的IPv6路由条目数 | 25 | 无 |
单个账号在同一地域支持创建的灵骏HUB实例数量 | 4 | 具体操作,请参见管理配额。 |
单个灵骏网段支持连接的灵骏HUB数量 | 1 | 具体操作,请参见管理配额。 |
单个灵骏连接支持连通的灵骏HUB实例数量 | 1 | 具体操作,请参见管理配额。 |
单个灵骏HUB实例支持连通的灵骏连接数量 | 32 | 具体操作,请参见管理配额。 |
单个灵骏HUB实例支持的同一地域所有灵骏网段中的灵骏节点数量 | 2000 | 无 |
单个灵骏HUB支持配置的路由策略条目数量 | 100 | 无 |
单个灵骏网卡支持的辅助私网IP数量 | 3 | 具体操作,请参见管理配额。 |