KAIST推出可提升大规模AI性能的新技术,或打破英伟达对AI加速器垄断局面
Andy 2024-07-09 16:07韩国科学技术研究院(KAIST)郑明洙教授的研究团队宣布,开发出一项可提高大规模人工智能速度的图形处理单元(GPU)技术。该技术无需连接多个GPU即可确保内存容量,有望降低构建大规模AI模型的成本。
由于模型和数据规模越来越大,大规模 AI 服务需要数十TB 的内存。但 GPU 的内存容量只有几十GB,因此需要使用多个 GPU 来为 AI 服务提供支持。这种方法虽然有效,但会大大增加成本——Nvidia 最新的 GPU H100 每台售价在 4000 万至 5000 万美元之间。
该团队利用CXL开发出一种“CXL-GPU”结构,可直接将大容量内存连接到GPU设备。该技术通过CXL将内存扩展设备集成到GPU内存空间中,无需连接多个GPU即可增加内存容量。
同时,研究团队还设计了内存扩展设备,以接收来自所连接 GPU 的信号,从而主动执行内存读取并自行确定写入时间。
研究团队预计,其开发的CXL-GPU技术将打破 Nvidia 在 AI 加速器市场的垄断。
