东京科技大学发明新框架 减少内存使用量并提高大规模AI图形分析的能源效率
盖世汽车讯 据外媒报道,日本东京科技大学(Institute of Science Tokyo)的研究人员开发出可扩展且高效的图神经网络加速器BingoCGN,能够通过图分区实现实时大规模图推理。这一突破性框架采用创新的跨分区消息量化技术和新颖的训练算法,显著降低了内存需求,并提高了计算效率和能效。
图片来源: 东京科技大学
图神经网络(GNN)是强大的人工智能(AI)模型,旨在分析复杂的非结构化图数据。在这类数据中,实体表示为节点,实体之间的关系表示为边。GNN已成功应用于许多实际应用,包括社交网络、药物研发、自动驾驶和推荐系统。尽管GNN潜力巨大,但实现对自动驾驶等任务至关重要的实时大规模GNN推理仍然充满挑战。
大型图需要大量内存,这通常会溢出片上缓冲区(即集成在芯片中的内存区域)。这迫使系统依赖于速度较慢的片外内存。由于图数据存储不规律,这会导致内存访问模式不规律,从而降低计算效率并增加能耗。
一个有前景的解决方案是图分区,将大型图划分为较小的图,每个图分配各自的片上缓冲区。随着分区数量的增加,这将导致内存访问模式更加本地化,并且缓冲区大小要求也更小。
网友评论