Satu tumpukan High-Bandwidth Flash atau HBF dapat menyediakan kapasitas hingga 512 GB untuk sistem AI berperforma tinggi. Kapasitas itu disiapkan sebagai ruang tambahan di dekat GPU atau ASIC ketika HBM tidak lagi mampu memuat seluruh parameter model.
SK hynix dan Sandisk memperkenalkan spesifikasi terbuka perdana teknologi tersebut melalui Open Compute Project atau OCP. HBF diposisikan bukan sebagai SSD biasa, melainkan lapisan near-memory dengan akses yang dirancang lebih dekat ke akselerator.
Inisiatif ini muncul ketika model AI berkembang hingga ratusan miliar bahkan triliunan parameter. Ukuran tersebut dapat melampaui kapasitas memori tercepat yang praktis dipasang pada paket akselerator.
Kecepatan di antara HBM dan SSD
Spesifikasi awal OCP membagi HBF dalam Grade 1 sampai Grade 3. Bandwidth antarmukanya dimulai dari sekitar 400 GB per detik dan dapat mencapai 3 TB per detik.
Rentang ini jauh melampaui karakter penyimpanan konvensional, tetapi HBF tidak ditujukan untuk menandingi HBM sebagai memori tercepat. Perannya adalah memperbesar tempat penyimpanan parameter tanpa perpindahan data yang bergantung penuh pada jalur PCIe menuju SSD.
| Teknologi | Peran dalam sistem AI | Karakter utama |
|---|---|---|
| HBM | Memori utama dekat prosesor | Bandwidth hingga beberapa TB per detik |
| HBF | Lapisan kapasitas tambahan dekat akselerator | 400 GB per detik hingga 3 TB per detik |
| SSD | Penyimpanan berkapasitas besar | Biaya lebih rendah, tetapi lebih lambat |
HBM sangat penting karena memasok data ke GPU dengan bandwidth hingga beberapa terabyte per detik. Kedekatannya dengan prosesor memungkinkan parameter model diambil dalam waktu singkat.
Namun, HBM mahal dan membutuhkan ruang fisik khusus, termasuk interposer, pada paket akselerator. Karena batas kemasan tersebut, kapasitasnya tidak mudah dinaikkan seiring pertumbuhan model AI.
Arsitektur flash untuk kebutuhan pusat data
HBF memakai 3D NAND dan 4D NAND berdensitas tinggi dalam susunan delapan atau 16 lapis die. Pendekatan ini menggabungkan karakter kapasitas besar milik flash dengan penempatan yang lebih dekat ke komponen komputasi.
Universal Chiplet Interconnect Express atau UCIe digunakan sebagai koneksi antarchipletnya. UCIe memungkinkan tumpukan HBF ditempatkan dekat GPU atau ASIC, yang menjadi faktor penting untuk menjaga akses tetap cepat.
SK hynix menyatakan HBF yang dipadukan dengan flash generasi baru seperti V10 4D NAND 375-layer dapat menghasilkan efisiensi daya hingga 2,5 kali lebih tinggi daripada flash server standar. Klaim tersebut menunjukkan fokus HBF bukan hanya pada kapasitas, tetapi juga kebutuhan energi di pusat data.
Pengembangannya turut melibatkan Google DeepMind dan Tenstorrent. Teknologi ini diperkenalkan pada konferensi Future of Memory and Storage 2026 di Santa Clara, Amerika Serikat, yang berlangsung 4-6 Agustus.
Relevan untuk model yang tidak mengaktifkan semua parameter
Menurut rangkuman tekno.kompas.com, HBF berpotensi relevan pada tahap inference, saat model terlatih menghasilkan jawaban atau prediksi. Penggunaannya juga dipandang cocok untuk model Mixture of Experts atau MoE.
Arsitektur MoE tidak mengaktifkan seluruh parameter ketika satu token diproses. Sebagian parameter dapat tetap berada di lapisan memori tambahan dan hanya dipanggil ketika diperlukan.
Skema itu memberi peluang menjalankan model besar tanpa menempatkan semua parameter secara permanen di HBM. Dengan demikian, HBF dapat membantu mengurangi tekanan pada kapasitas memori terdekat dari akselerator.
Meski menjanjikan, HBF masih memerlukan kemasan 3D yang kompleks, silicon interposer, dan lapisan fisik UCIe khusus. Biaya serta kompleksitas ini membuat target utamanya adalah pusat data untuk LLM dengan context window panjang dan sistem AI multiagen, bukan perangkat konsumen.
