Kapasitas memori pada akselerator AI mulai tertinggal dari ukuran model yang terus membesar. SK hynix dan Sandisk menyiapkan High-Bandwidth Flash atau HBF sebagai lapisan baru untuk menampung parameter model saat HBM tidak lagi cukup.
HBF diproyeksikan menawarkan kapasitas hingga 512 GB per tumpukan dengan bandwidth 400 GB per detik sampai 3 TB per detik. Posisi teknologi ini berada di antara HBM yang sangat cepat dan SSD yang menawarkan kapasitas lebih besar dengan biaya lebih rendah.
Dirancang dekat dengan akselerator
HBF bukan pengganti HBM ataupun SSD, melainkan memori tambahan yang ditempatkan dekat dengan GPU atau ASIC. Kedekatan tersebut ditujukan agar parameter model dapat diakses tanpa sepenuhnya bergantung pada jalur PCIe menuju SSD.
Teknologi ini menggunakan 3D NAND dan 4D NAND berdensitas tinggi dalam konfigurasi delapan atau 16 lapis die. Berbeda dari flash pada SSD biasa, HBF dikembangkan untuk bekerja sebagai near-memory bagi sistem komputasi AI.
SK hynix dan Sandisk memperkenalkan spesifikasi teknis terbuka pertama HBF melalui Open Compute Project atau OCP. Pengumuman itu berlangsung dalam konferensi Future of Memory and Storage 2026 di Santa Clara, Amerika Serikat, pada 4-6 Agustus.
Pengembangan standar ini turut melibatkan Google DeepMind dan Tenstorrent. Sasaran utamanya adalah pusat data yang menjalankan model AI berukuran besar, bukan perangkat konsumen seperti laptop dan PC.
Jawaban atas hambatan kapasitas HBM
HBM selama ini menjadi komponen penting karena mampu memasok data ke GPU dengan bandwidth hingga beberapa terabyte per detik. Memori tersebut dipasang sangat dekat dengan prosesor agar parameter model dapat diambil dalam waktu singkat.
Namun, HBM berbiaya tinggi dan membutuhkan area khusus pada paket akselerator, termasuk interposer. Keterbatasan fisik ini membuat kapasitas HBM pada GPU atau akselerator tidak dapat terus dinaikkan secara bebas.
Kondisi ketika kebutuhan kapasitas dan kecepatan memori meningkat lebih cepat daripada kemampuan sistem sering disebut memory wall. Komputasi AI dapat tertahan bukan karena prosesornya kurang kuat, melainkan karena data tidak tersedia cukup cepat untuk diproses.
| Lapisan memori | Kelebihan utama | Keterbatasan |
|---|---|---|
| HBM | Bandwidth hingga beberapa TB per detik | Mahal dan kapasitas pemasangan terbatas |
| HBF | Kapasitas besar, bandwidth 400 GB per detik hingga 3 TB per detik | Memerlukan kemasan dan koneksi khusus |
| SSD | Kapasitas besar dengan biaya lebih rendah | Jauh lebih lambat daripada HBM |
Lebih relevan untuk inferensi AI
Memindahkan seluruh data ke SSD belum menjadi jawaban penuh karena transfer melalui PCIe dapat menambah latensi dan menurunkan throughput. HBF berupaya mengisi celah tersebut dengan menyediakan kapasitas lebih dekat ke komponen komputasi.
Menurut rangkuman tekno.kompas.com, pendekatan ini relevan pada tahap inferensi AI, ketika model yang telah dilatih menghasilkan jawaban atau prediksi. Teknologi itu juga dinilai sesuai bagi model Mixture of Experts atau MoE yang tidak mengaktifkan seluruh parameter untuk setiap token.
Pada arsitektur MoE, sebagian besar parameter dapat disimpan di lapisan memori tambahan dan dipanggil ketika diperlukan. Pola tersebut memungkinkan model yang lebih besar dijalankan tanpa seluruh parameternya selalu berada di HBM.
Kemasan kompleks masih menjadi tantangan
Spesifikasi awal OCP membagi HBF ke dalam Grade 1 hingga Grade 3. Koneksi antarchipletnya menggunakan Universal Chiplet Interconnect Express atau UCIe, yang memungkinkan tumpukan HBF ditempatkan dekat dengan GPU atau ASIC.
Jika dipadukan dengan V10 4D NAND 375-layer milik SK hynix, HBF disebut dapat memberi efisiensi daya hingga 2,5 kali lebih tinggi dibandingkan flash server standar. Meski demikian, teknologi ini masih memerlukan kemasan 3D kompleks, silicon interposer, dan lapisan fisik UCIe khusus.
Biaya serta kerumitan implementasi membuat HBF belum diarahkan ke GPU konsumen. Teknologi ini lebih ditujukan bagi pusat data yang menangani LLM dengan context window panjang dan sistem AI multiagen.
