报道

NVIDIA A30 Tensor Core GPU

导 读

如今,ChatGPT、文心一言等新应用愈发火热的背后不仅是人工智能在新赛道开启的新一轮竞技,也是众多行业与企业对数字化技术需求的大幅提高。启帆以不同行业数字化业务场景创新为目标,为客户提供业界领先的平台、应用及整合的解决方案,助力众多行业的数字化转型。

NVIDIA A30 TENSOR CORE GPU

NVIDIA A30 Tensor Core GPU 是用途广泛的主流计算 GPU,适用于 AI 推理和主流企业工作负载。这款 GPU 提供强大的特性、功能和性能,可应对当今专业工作流的挑战,支持广泛的数学精度,可针对每个工作负载提供单个加速器。

NVIDIA AMPERE 架构

无论是使用 MIG 技术将 A30 GPU 分割为较小的实例,还是使用 NVIDIA NVLink 连接多个GPU 以加速更大规模的工作负载,A30 均可轻松满足多种规模的加速需求 ,从小型作业到大型多节点工作负载都无一例外。A30 功能全面,这意味着 IT 经理可借此在主流服务器上充分利用数据中心内的每个 GPU,昼夜不停歇。

第三代 TENSOR CORE 技术

NVIDIA A30 可提供 165 teraFLOPS (TFLOPS)的TF32 精度深度学习性能。相较于 NVIDIA T4 Tensor Core GPU,A30 可将 AI 训练吞吐量提高 20 倍,并将推理性能提高 5 倍以上。A30 可在 HPC 方面提供 10.3 TFLOPS 的性能,比 NVIDIA V100 Tensor Core GPU高出了近 30%。

结构化稀疏

AI 网络拥有数百万至数十亿个参数。实现准确预测并非要使用所有参数,而且我们还可将某些参数转换为零,以在无损准确性的前提下使模型变得“稀疏”。A30 中的 Tensor Core可为稀疏模型提供高达两倍的性能提升。稀疏功能不仅更易使 AI 推理受益,同时还能提升模型训练的性能。

多实例 GPU(MIG)

每个 A30 GPU 最多可分割为四个GPU 实例,这些实例在硬件级别完全独立,并各自拥有高带宽显存、缓存和计算核心。借助 MIG,开发者可为其所有应用实现惊人加速。IT 管理员可为每个作业提供符合其规模的 GPU 加速,进而优化利用率,并让每个用户和应用都能享受 GPU 加速性能。

新一代 NVLINK

A30 中采用的 NVIDIA NVLink可提供两倍于上一代的吞吐量。两个 A30 PCIe GPU 可通过 NVLink 桥接器连接,以提供 330 TFLOPS的深度学习性能。

HBM2 显存

配合高达 24GB 的高带宽显存(HBM2),A30 可提供933GB/s 的 GPU 显存带宽,适用于主流服务器中的多种 AI 和 HPC 工作负载。

解决方案

NVIDIA A30 Tensor Core GPU 采用 NVIDIA Ampere 架构,以 NVIDIA 数据中心平台为基础,针对深度学习、HPC 及数据分析等多领域提供解决方案,此外,NVIDIA AI Enterprise 是一套端到端云原生 AI 和数据分析软件套件,帮助企业能够在混合云环境中管理和扩展 AI 工作负载。从数据中心到边缘节点均可使用完善的 NVIDIA 平台,可显著提升性能并节约成本。

人工智能训练
人工智能训练
NVIDIA A30 Tensor Core 具备 Tensor Float(TF32)精度,可提供比 NVIDIA T4 高 10 倍之多的性能,并且无需更改代码;若使用自动混合精度和 FP16,性能可进一步提升 2 倍,综合起来可将吞吐量提高 20 倍。与 NVIDIA 其他产品配合使用时,可以扩展到数千个 GPU。Tensor Core 和 MIG 使 A30 全天都能够动态地用于工作负载,部分 GPU 可以在非高峰时段改用于快速重新训练同一批模型。
人工智能推理
人工智能推理
A30 引入了突破性的功能来优化推理工作负载。它能在从 FP64 到 TF32 和 INT4 的整个精度范围内进行加速。A30 每个 GPU 支持多达 4 个 MIG,允许多个网络在安全的硬件分区中同时运行,同时保证服务质量(QoS)。在 A30 其他推理性能增益的基础之上,仅结构化稀疏支持一项就能带来高达两倍的性能提升。
高性能数据分析
高性能数据分析
搭载 A30 的加速服务器可以提供必需的计算能力,并能利用大容量 HBM2 显 存、933 GB/s 的显存带宽和通过 NVLink 实现的可扩展性妥善处理这些工作负载。通过结合 InfiniBand、NVIDIA Magnum IO 和 RAPIDS™ 开源库套件(包括 RAPIDS Accelerator for Apache Spark),NVIDIA 数据中心平台能够加速这些大型工作负载,并实现超高的性能和效率水平。
提高利用率
提高利用率
A30 结合 MIG 技术可以更大限度地提高 GPU 加速的基础设施的利用率。借助 MIG,A30 GPU 可划分为多达 4 个独立实例,让多个用户都能使用 GPU 加速功能。
MIG 与 Kubernetes、容器和基于 Hypervisor 的服务器虚拟化配合使用。MIG 可让基础设施管理者为每项作业提供大小合适的 GPU,同时确保 QoS,从而扩大加速计算资源的影响范围,以覆盖每位用户。

© 与 NVIDIA 产品相关的图片或视频(完整或部分)的版权均归 NVIDIA Corporation 所有

关于启帆

启帆信息科技股份有限公司成立于2010年,是一家拥有完善的研发、生产、制造基地的高新技术和区域性上市公司;以上海为营销中心,在杭州、广州、南宁、南昌等地设立办事处和分公司,构建了辐射全国的服务网络,为更好的服务客户提供了有力保障。主营业务涉及智能化、信息化各方面业务:系统集成、楼宇智能、数据中心建设、桌面运维、信息安全、人工智能等。启帆信息在华东区深耕数十年,建立了广泛稳定的客户关系群。目前我们已有合同服务的客户数量高达3000+,主要行业在医疗、金融、科研、政府、教育及企事业单位等行业,年营业额3亿元。现有员工70余人,NVIDIA 销售团队共计26人,配有产品经理、商务助理、销售经理、工程师及总经理等。
想了解更多详情,可访问启帆信息科技股份有限公司官方网站:http://www.qfi.net.cn/