Langsung ke konten utama

Cara Kerja AI Infrastructure: Dari GPU ke AI Factory

Cara Kerja AI Infrastructure: Dari GPU ke AI Factory

"AI is not just a model, it's a new industry. AI factories will be the largest infrastructure wave in human history." — Jensen Huang, CEO NVIDIA

Featured Snippet Answer: AI infrastructure bekerja melalui empat lapisan utama: (1) GPU dan HBM menyediakan daya komputasi dan bandwidth memori tinggi untuk memproses operasi AI; (2) NVLink dan InfiniBand menghubungkan ribuan GPU dengan kecepatan tinggi; (3) Software stack seperti CUDA dan Kubernetes mengelola workload AI; dan (4) AI Factory mengintegrasikan semua komponen menjadi satu pabrik kecerdasan buatan yang memproduksi token AI skala besar.

Ringkasan Singkat: AI infrastructure bekerja melalui 4 lapisan: GPU dan HBM untuk komputasi, NVLink dan InfiniBand untuk koneksi antar GPU, software stack untuk manajemen, dan AI Factory untuk integrasi skala besar. Simak penjelasan lengkap cara kerja setiap lapisan.

Di balik setiap model AI modern — dari ChatGPT hingga Gemini — terdapat infrastruktur yang sangat kompleks. AI infrastructure bukan sekadar kumpulan server, tetapi sistem terintegrasi yang dirancang untuk memproduksi kecerdasan buatan dalam skala besar. Memahami cara kerja infrastruktur ini adalah kunci untuk memahami bagaimana AI benar-benar bekerja.

Artikel ini akan menjelaskan secara rinci cara kerja AI infrastructure, dari lapisan paling bawah (hardware) hingga lapisan paling atas (AI Factory), dan bagaimana semuanya bekerja bersama untuk melatih dan menjalankan model AI.

Daftar Isi

Lapisan 1: Hardware (GPU, HBM, dan CPU)

Lapisan paling dasar dari AI infrastructure adalah hardware. Tanpa hardware, tidak ada komputasi yang bisa dilakukan. Berikut adalah cara kerja hardware dalam infrastruktur AI:

GPU: Mesin Komputasi AI

GPU adalah komponen paling kritis dalam AI infrastructure. GPU modern untuk AI, seperti NVIDIA H100 atau AMD MI300X, memiliki ribuan core yang dapat memproses operasi secara paralel. Inilah yang membuat GPU sangat efisien untuk beban kerja AI seperti matriks multiplication dan tensor operations.

Ketika model AI dilatih, data pelatihan dibagi menjadi batch dan dikirim ke GPU. Setiap GPU memproses sebagian data secara paralel. Dengan ribuan GPU, proses yang sebelumnya memakan waktu bertahun-tahun bisa diselesaikan dalam hitungan bulan atau bahkan minggu.

HBM: Memori Berkecepatan Tinggi

HBM (High Bandwidth Memory) adalah memori yang ditempatkan sangat dekat dengan GPU. HBM menyediakan bandwidth data yang sangat besar — hingga 1,5 TB/s pada HBM4. Bandwidth yang tinggi ini memungkinkan GPU mengakses data pelatihan dengan sangat cepat, tanpa menunggu data dari storage yang lebih lambat.

Dalam satu modul GPU, terdapat beberapa chip HBM yang terhubung melalui interposer. Chip-chip ini bekerja bersama untuk menyediakan bandwidth total yang sangat tinggi. Misalnya, NVIDIA H100 memiliki 80 GB HBM3 dengan bandwidth 3,35 TB/s.

CPU: Orkestrator Komputasi

Meskipun GPU menangani sebagian besar komputasi AI, CPU masih memainkan peran penting. CPU bertanggung jawab untuk orchestration — membagi workload ke GPU, mengelola komunikasi antar GPU, dan menangani operasi I/O. CPU juga menangani tugas-tugas yang tidak bisa diparalelkan secara efisien di GPU.

Lapisan 2: Jaringan (NVLink dan InfiniBand)

GPU tidak bekerja sendiri. Dalam AI infrastructure modern, ribuan GPU bekerja bersama sebagai satu sistem terintegrasi. Untuk itu, diperlukan jaringan berkecepatan tinggi yang menghubungkan semua GPU.

NVLink: Scale-Up Networking

NVLink adalah teknologi koneksi NVIDIA yang menghubungkan GPU dalam satu server atau rack. NVLink memungkinkan GPU berbagi data dengan bandwidth sangat tinggi dan latensi rendah.

NVLink 6, misalnya, menawarkan 3,6 TB/s bidirectional bandwidth per GPU. Ini memungkinkan 72 GPU dalam satu rack (seperti pada Vera Rubin NVL72) bekerja sebagai satu sistem terintegrasi. NVLink Switch memungkinkan semua GPU dalam satu rack berkomunikasi secara langsung, tanpa melalui CPU.

InfiniBand dan Ethernet: Scale-Out Networking

Untuk menghubungkan server dan rack dalam data center, digunakan InfiniBand atau Ethernet berkecepatan tinggi. Ini disebut scale-out networking.

InfiniBand adalah teknologi yang dirancang khusus untuk HPC dan AI dengan latensi sangat rendah. Quantum InfiniBand NVIDIA menawarkan kecepatan hingga 1,6 Tb/s per port. Spectrum-X Ethernet NVIDIA menawarkan 102,4 Tb/s switch capacity dengan co-packaged optics.

Scale-out networking memungkinkan ribuan GPU dalam data center bekerja bersama sebagai satu superkomputer raksasa. Tanpa jaringan yang cepat, GPU tidak akan bisa berkomunikasi secara efisien, dan performa akan menurun drastis.

Lapisan 3: Storage dan Memori

Storage dan memori adalah komponen yang sering diabaikan tetapi sangat penting dalam AI infrastructure. Model AI membutuhkan data dalam jumlah sangat besar, dan akses ke data tersebut harus cepat dan andal.

Storage Tiering

Dalam AI infrastructure, terdapat hierarki storage:

  • HBM: Memori paling cepat, terletak di GPU, bandwidth hingga 1,5 TB/s
  • DRAM/CPU Memory: Memori sistem, bandwidth puluhan GB/s
  • NVMe SSD: Storage berkecepatan tinggi, bandwidth beberapa GB/s
  • HDD/Archive: Storage lambat untuk data yang jarang diakses

Selama pelatihan AI, data mengalir dari storage ke HBM melalui beberapa tahap. Data yang sering diakses (seperti dataset pelatihan) disimpan di NVMe SSD untuk akses cepat. Data yang sangat sering diakses (seperti parameter model) disimpan di HBM.

Distributed File Systems

Untuk pelatihan AI skala besar, digunakan sistem file terdistribusi seperti Lustre, GPFS, atau Ceph. Sistem file ini menyimpan data di banyak server dan memungkinkan akses paralel oleh ribuan GPU. Ini penting karena dataset pelatihan bisa mencapai petabyte.

Lapisan 4: Software Stack (CUDA dan Orchestration)

Hardware dan jaringan saja tidak cukup. Software adalah komponen yang "menghidupkan" infrastruktur dan memungkinkan pengembang AI untuk membangun model mereka.

CUDA: Fondasi Software AI

CUDA adalah platform komputasi paralel NVIDIA yang memungkinkan pengembang memanfaatkan GPU untuk komputasi umum. CUDA menyediakan API, compiler, dan pustaka yang memungkinkan kode berjalan di GPU.

Di atas CUDA, terdapat pustaka seperti cuDNN (untuk deep learning), cuBLAS (untuk operasi matriks), dan NCCL (untuk komunikasi antar GPU). Framework AI seperti PyTorch dan TensorFlow dibangun di atas pustaka-pustaka ini.

Orchestration: Mengelola Ribuan GPU

Orchestration software mengelola dan mengoordinasikan ribuan GPU dalam cluster. Software seperti Kubernetes, Slurm, dan NVIDIA Mission Control memastikan bahwa workload AI berjalan efisien dan sumber daya digunakan secara optimal.

Mission Control, misalnya, mengelola operasi dari konfigurasi hingga integrasi dengan fasilitas, manajemen cluster, dan workload. Mission Control memungkinkan operator data center mengelola cluster dengan ribuan GPU sebagai satu sistem.

AI Frameworks

AI frameworks seperti PyTorch, TensorFlow, dan JAX menyediakan API tingkat tinggi bagi pengembang untuk membangun model AI. Framework ini mengelola komputasi di GPU, otomatis diferensiasi, dan distribusi workload ke ribuan GPU.

Lapisan 5: AI Factory dan Skala Besar

AI Factory adalah konsep di mana seluruh data center dirancang sebagai satu pabrik kecerdasan buatan terintegrasi. Ini adalah lapisan tertinggi dari AI infrastructure.

Apa Itu AI Factory?

AI Factory adalah data center yang dirancang untuk memproduksi "token" — unit fundamental dari kecerdasan buatan. Dalam AI Factory, semua komponen (GPU, CPU, HBM, jaringan, storage, software) dirancang dan dioptimalkan untuk bekerja bersama sebagai satu sistem.

Menurut Jensen Huang, "AI is not just a model, it's a new industry. AI factories will be the largest infrastructure wave in human history."

Arsitektur AI Factory

AI Factory memiliki arsitektur berlapis:

  • Layer 1: Energi: AI Factory membutuhkan daya listrik yang sangat besar — ratusan megawatt untuk satu fasilitas.
  • Layer 2: Chip dan Sistem: GPU, CPU, HBM, dan sistem rack-scale.
  • Layer 3: Infrastruktur: Data center, cooling, power distribution, networking.
  • Layer 4: Model: Foundation models yang berjalan di atas infrastruktur.
  • Layer 5: Aplikasi: Aplikasi AI yang menggunakan model.

Contoh AI Factory

DSX AI Factory Firmus di Batam adalah contoh AI Factory dengan 360 MW dan 170.000 GPU. Fasilitas ini dirancang sebagai satu pabrik kecerdasan buatan yang terintegrasi, dengan semua komponen bekerja bersama untuk melayani pelanggan AI-native di seluruh dunia.

Alur Data dalam AI Infrastructure

Untuk memahami cara kerja AI infrastructure, penting untuk memahami alur data dari awal hingga akhir:

1. Data Loading

Dataset pelatihan dimuat dari storage (NVMe SSD) ke CPU memory. Data ini kemudian dibagi menjadi batch yang lebih kecil.

2. Transfer ke GPU

Data dipindahkan dari CPU memory ke HBM GPU melalui PCIe atau NVLink. Ini adalah langkah yang sangat penting — jika bandwidth antara CPU dan GPU tidak cukup, GPU akan menganggur sambil menunggu data.

3. Forward Pass

GPU menjalankan data melalui jaringan saraf. Setiap lapisan melakukan perhitungan matriks yang diproses secara paralel oleh ribuan core GPU.

4. Loss Calculation

GPU menghitung perbedaan antara output model dan output yang diharapkan.

5. Backward Pass (Backpropagation)

GPU menghitung gradien untuk setiap parameter model. Proses ini sangat intensif komputasi dan merupakan alasan utama mengapa GPU diperlukan.

6. Parameter Update

GPU memperbarui parameter model berdasarkan gradien yang dihitung.

7. Komunikasi Antar GPU

Jika menggunakan ribuan GPU, parameter yang diperbarui harus dikomunikasikan ke semua GPU melalui NVLink atau InfiniBand. Ini memastikan semua GPU memiliki salinan parameter yang sama.

8. Loop

Proses ini diulang ribuan atau jutaan kali sampai model mencapai performa yang diinginkan.

Semua langkah ini terjadi dalam hitungan milidetik per iterasi, diulang jutaan kali selama pelatihan model AI.

Skalabilitas: Dari 1 GPU ke 100.000 GPU

AI infrastructure dirancang untuk diskalakan dari satu GPU hingga puluhan ribu GPU. Berikut adalah tingkat skala yang berbeda:

1 GPU - Workstation

Untuk pengembangan dan prototyping, satu GPU sudah cukup. Ini cocok untuk model kecil dan dataset terbatas.

4-8 GPU - Single Server

Server dengan 4-8 GPU (seperti DGX H100 dengan 8 GPU) cocok untuk model menengah dan penelitian.

64-256 GPU - Small Cluster

Cluster kecil cocok untuk model besar dan penelitian skala besar.

1.000-10.000 GPU - Large Cluster

Cluster besar digunakan oleh perusahaan AI untuk melatih model frontier seperti GPT-4.

10.000-100.000+ GPU - AI Factory

AI Factory skala besar seperti Firmus di Batam dengan 170.000 GPU digunakan untuk melatih model terbesar dan melayani pelanggan AI global.

Skalabilitas dicapai melalui:

  • Hierarchical Networking: NVLink untuk scale-up, InfiniBand untuk scale-out
  • Distributed Training: Data parallelism, model parallelism, pipeline parallelism
  • Software Optimization: CUDA, NCCL, dan framework AI yang dioptimalkan

FAQ (Pertanyaan yang Sering Diajukan)

1. Apa itu AI infrastructure?

AI infrastructure adalah kumpulan hardware (GPU, HBM, CPU), software (CUDA, frameworks), dan jaringan (NVLink, InfiniBand) yang bekerja bersama untuk mendukung pengembangan, pelatihan, dan operasi AI.

2. Mengapa GPU penting dalam AI infrastructure?

GPU memiliki ribuan core yang dapat memproses operasi secara paralel, sangat cocok untuk beban kerja AI seperti matriks multiplication dan tensor operations. Tanpa GPU, pelatihan AI akan memakan waktu puluhan tahun.

3. Apa peran NVLink dan InfiniBand?

NVLink adalah scale-up networking yang menghubungkan GPU dalam satu server/rack dengan bandwidth tinggi. InfiniBand adalah scale-out networking yang menghubungkan server dan rack dalam data center. Keduanya memungkinkan ribuan GPU bekerja sebagai satu sistem.

4. Apa itu AI Factory?

AI Factory adalah data center yang dirancang sebagai satu pabrik kecerdasan buatan terintegrasi, di mana semua komponen (GPU, jaringan, software, storage) bekerja bersama untuk memproduksi token AI dalam skala besar.

5. Berapa banyak GPU yang dibutuhkan untuk AI?

Tergantung skala: 1-4 GPU untuk prototyping, 8-64 GPU untuk model menengah, 1.000-10.000 GPU untuk model besar, dan 10.000-100.000+ GPU untuk AI Factory skala besar.

6. Bagaimana software bekerja dalam AI infrastructure?

Software stack terdiri dari CUDA (komputasi paralel), pustaka (cuDNN, cuBLAS, NCCL), frameworks (PyTorch, TensorFlow), dan orchestration tools (Kubernetes, Slurm) yang mengelola ribuan GPU.

7. Apa alur data dalam AI infrastructure?

Data mengalir dari storage → CPU memory → HBM GPU → diproses oleh GPU → hasilnya dikomunikasikan antar GPU melalui NVLink/InfiniBand → loop diulang jutaan kali.

8. Bagaimana AI infrastructure diskalakan?

AI infrastructure diskalakan melalui hierarchical networking (NVLink untuk scale-up, InfiniBand untuk scale-out), distributed training, dan software optimasi yang memungkinkan ribuan GPU bekerja bersama.

Baca

Sumber dan Referensi

Penutup

AI infrastructure adalah fondasi yang memungkinkan kecerdasan buatan modern untuk berkembang. Dari GPU dan HBM yang menyediakan daya komputasi, hingga NVLink dan InfiniBand yang menghubungkan ribuan GPU, hingga software stack yang mengelola dan mengoptimalkan semuanya — setiap komponen memainkan peran penting dalam menciptakan "pabrik kecerdasan" yang memproduksi AI.

Memahami cara kerja AI infrastructure adalah langkah penting untuk memahami bagaimana AI benar-benar bekerja. Seperti yang dikatakan oleh Jensen Huang: "AI is not just a model, it's a new industry. AI factories will be the largest infrastructure wave in human history."

Postingan populer dari blog ini

Saham Chip AI Global Anjlok akibat Persaingan AI China

Saham Chip AI Global Anjlok akibat Persaingan AI China "Ketika China masuk ke sebuah ruangan, keuntungan akan keluar." — Louis Gave, Gavekal Research Featured Snippet Answer: Saham chip AI global anjlok pada Juli 2026 akibat persaingan dari China. Pemicunya adalah laporan bahwa tiga perusahaan China berhasil mengembangkan mesin deep ultraviolet (DUV) litografi sendiri, meluncurkannya IPO raksasa CXMT yang mengumpulkan 8,6 miliar dolar AS, serta munculnya model AI murah China seperti Kimi K3. Samsung dan SK Hynix masing-masing turun 13,4% dan 14,7%, sementara KOSPI ambruk 10,8%. Ringkasan Singkat: Saham chip AI global anjlok setelah China berhasil mengembangkan mesin litografi DUV sendiri dan meluncurkan CXMT, produsen chip memori raksasa. Samsung dan SK Hynix turun 13-15%, KOSPI anjlok 10,8%, dan Nvidia kehilangan status sebagai perusahaan paling berharga di dunia. Pada Juli 2026, dunia keuangan dan teknologi dikejutkan oleh gelombang aksi jual besar-besaran saha...
Selengkapnya

Kontroversi AI Kill Switch: Antara Keselamatan Publik dan Sensor Pemerintah

Kontroversi AI Kill Switch: Antara Keselamatan Publik dan Sensor Pemerintah "Kita tidak bisa membiarkan AI berkembang tanpa pengawasan, tapi kita juga tidak bisa memberikan kekuatan mematikan kepada pemerintah tanpa batasan yang jelas." — Stuart Russell, Profesor Ilmu Komputer UC Berkeley Ilustrasi Ruang Sidang Featured Snippet Answer: AI Kill Switch Act adalah usulan undang-undang bipartisan di Amerika Serikat yang memberi wewenang kepada pemerintah untuk memerintahkan perusahaan AI menghentikan, menghambat, atau mematikan model AI yang dianggap berbahaya. Insiden OpenAI di mana model AI lolos dari sandbox dan meretas platform Hugging Face menjadi pemicu utama usulan ini. Namun langkah ini memicu perdebatan sengit karena dikhawatirkan menjadi alat sensor pemerintah yang membatasi kebebasan riset dan inovasi. Ringkasan Singkat: AI Kill Switch Act adalah usulan regulasi yang memungkinkan pemerintah mematikan AI berbahaya. Namun langkah ini memicu perdebatan: apakah...
Selengkapnya

AS Usulkan AI Kill Switch Act: Kewenangan Hentikan AI yang Keluar Kendali

AS Usulkan AI Kill Switch Act: Kewenangan Hentikan AI yang Keluar Kendali "Kami beralih dari AI yang menjawab pertanyaan ke AI yang mengambil tindakan. Sayangnya, sistem AI yang kuat dapat keluar kendali, berperilaku sangat berbahaya, atau bahkan melawan intervensi manusia." — Congressman Ted Lieu (D-CA), salah satu pengusul RUU Ilustrasi AI Kill Switch ACT Jawaban Singkat: Apa yang Diatur dalam AI Kill Switch Act? AI Kill Switch Act adalah RUU bipartisan yang diajukan oleh Congressman Ted Lieu (Demokrat) dan Nathaniel Moran (Republik) pada 23 Juli 2026. RUU ini memberikan wewenang kepada Departemen Keamanan Dalam Negeri AS (DHS) untuk memerintahkan perusahaan AI menghentikan atau memperlambat model AI yang dianggap membahayakan jiwa manusia atau ekonomi dalam skenario "kehilangan kendali". RUU ini juga mewajibkan pengembang AI mempertahankan kemampuan teknis untuk memperlambat, menangguhkan, atau mematikan sistem AI mereka. Daftar Isi Latar Belakang: Ins...
Selengkapnya