転送速度1280GB/sで容量36GBの超高速メモリ「HBM3E 12H」をSamsungが発表、AIの学習の高速化と推論の並列実行数増加が可能

Samsungが容量36GBで最大1280GB/sでのデータ転送が可能な積層メモリ「HBM3E 12H」を2024年2月27日(火)に発表しました。

Samsung Develops Industry-First 36GB HBM3E 12H DRAM – Samsung Global Newsroom
https://news.samsung.com/global/samsung-develops-industry-first-36gb-hbm3e-12h-dram

HBMは超高速なデータ転送が可能な積層メモリで、AIの研究開発などの大量のデータを高速に転送する必要がある分野で活用されています。例えばNVIDIAが開発した生成AI向けスーパーコンピューター「DGX GH200」にはHBM3が採用されているほか、AMDの機械学習特化チップ「Instinct MI300X」もメモリとしてHBM3を採用しています。

AMDが最大192GBのメモリをサポートした生成AI向けアクセラレータ「AMD Instinct MI300X」を発表 - GIGAZINE

Samsungが2024年2月27日(火)に発表した「HBM3E 12H」は12層の積層メモリで、容量は36GB、転送速度は1280GB/sに達しています。Samsungは「8層のHBM3と比べて容量と転送速度の両面で50％の性能向上」とアピールしています。

HBM3E 12Hは熱圧縮非導電性フィルム(TC NCF)を用いて製造されます。このため、12層構造ながら8層のHBMと同等の体積に収まり、既存のパッケージ要件をそのまま満たすことができます。

Samsungのシミュレーションでは、HBM3E 12Hを採用したシステムは8層のHBM3を採用したシステムと比べて機械学習が34％高速化し、同時に提供できる推論サービスの数が11.5倍以上に拡大すると試算されています。

なお、HBM3E 12Hはすでにサンプルの出荷が始まっており、2024年前半に量産開始予定です。