Apa itu NPU? Bagaimana perbedaannya dengan CPU dan GPU?
Apa itu NPU?
Unit Pemrosesan Neural (NPU) adalah kelas akselerator perangkat keras khusus yang dibangun untuk beban kerja kecerdasan buatan (AI) dan pembelajaran mesin (ML). NPU juga dikenal sebagai akselerator AI atau prosesor pembelajaran mendalam. NPU menargetkan inferensi jaringan saraf, pelatihan, dan tugas visi mesin. NPU dapat berupa chip yang berdiri sendiri, blok khusus di dalam system-on-chip (SoC), atau unit logika terintegrasi di dalam CPU atau GPU.
Arsitektur NPU dioptimalkan untuk matematika pembelajaran mendalam: operasi tensor, perkalian matriks besar, konvolusi, dan aktivasi berbasis elemen. NPU mencapai throughput yang jauh lebih tinggi dan konsumsi daya yang jauh lebih rendah daripada prosesor tujuan umum pada tugas-tugas ini. Fitur desainnya mencakup banyak inti atau susunan spasial, aritmatika presisi rendah (INT4, INT8, FP8, FP16), model eksekusi aliran data, dan komputasi dalam memori yang meminimalkan perpindahan data antara memori dan komputasi.
Di sisi konsumen, Neural Engine Apple di chip seri M dan seri A, NPU Hexagon Qualcomm di Snapdragon, NPU internal Samsung, arsitektur Da Vinci Huawei, dan Tensor Processing Unit Google di perangkat Pixel semuanya sesuai dengan deskripsi ini. Prosesor Meteor Lake Intel (2023) memperkenalkan NPU khusus bermerek Intel AI Boost, yang awalnya dirancang sebagai Vision Processing Unit. Contoh pusat data mencakup pod TPU cloud Google, AWS Trainium dan Inferentia, serta akselerator matriks khusus di dalam GPU NVIDIA dan AMD. Hampir semua silikon GPU modern mendedikasikan area die untuk mesin matriks presisi rendah, tetapi label NPU dicadangkan untuk perangkat keras yang dibangun dari awal seputar komputasi jaringan saraf.
Bagaimana NPU berbeda dari CPU dan GPU?
Unit pemrosesan pusat (CPU) adalah generalis. CPU memiliki beberapa inti berkinerja tinggi, logika kontrol yang canggih, hierarki cache yang dalam, dan file register yang lebar yang dirancang untuk tugas serial yang sensitif terhadap latensi. CPU mendukung aritmatika presisi tinggi (FP64, FP32) dan peralihan konteks yang cepat. CPU menangani segala hal mulai dari kode sistem operasi hingga spreadsheet, tetapi tidak efisien saat melakukan matematika sederhana yang sama pada ribuan titik data secara bersamaan.
Unit pemrosesan grafis (GPU) adalah pekerja paralel. GPU berisi ratusan atau ribuan unit komputasi yang lebih kecil yang diorganisir untuk throughput besar-besaran di bawah model Single Instruction Multiple Data (SIMD). GPU unggul dalam shading grafis, simulasi ilmiah, dan perkalian matriks yang digunakan dalam pembelajaran mendalam. GPU modern menyertakan inti tensor (NVIDIA) atau inti matriks (AMD) yang mempercepat operasi multiply-accumulate presisi rendah, mengaburkan batas dengan NPU. Namun, GPU masih harus mendukung pipeline grafis dan kernel paralel tujuan umum, sehingga mengonsumsi daya yang jauh lebih besar untuk beban kerja AI murni dibandingkan dengan NPU khusus.
NPU adalah spesialis. Unit eksekusi, jalur data, dan memorinya dirancang khusus untuk aliran data jaringan saraf. Pola desain umum mencakup susunan sistolik dan kain komputasi spasial yang mengalikan dan mengakumulasi ribuan nilai setiap siklus tanpa memindahkan hasil antara ke memori eksternal. Spesialisasi ini menghasilkan kinerja per watt yang jauh lebih baik untuk inferensi AI. Sebuah analogi: CPU adalah tim kecil ahli bedah yang melakukan operasi rumit satu per satu; GPU adalah pasukan besar juru tulis yang masing-masing menyalin angka secara bersamaan; NPU adalah jalur perakitan yang dibuat khusus yang memproduksi tepat satu produk dengan kecepatan luar biasa.
Vision Processing Unit (VPU) adalah subset dari NPU, yang ditujukan khusus untuk algoritma visi mesin seperti jaringan saraf konvolusional dan transformasi fitur skala-invarian (SIFT). VPU ditemukan di headset realitas tertambah, kamera pintar, dan drone. Pemrograman NPU bergantung pada kerangka kerja tingkat tinggi: TensorFlow Lite/RT (Android), CoreML (Apple), DirectML (Windows), dan format pertukaran ONNX. API khusus vendor seperti Intel OpenVINO, Qualcomm SNPE, AMD Ryzen AI, dan Apple CoreML mengekspos kontrol tingkat rendah. GPU menggunakan CUDA, OpenCL, atau Vulkan untuk AI, yang memberikan lebih banyak fleksibilitas tetapi menuntut lebih banyak upaya pengembang dan seringkali energi yang lebih tinggi.
Apa itu TOPS dan bagaimana kinerja NPU diukur?
TOPS adalah singkatan dari Trillions of Operations Per Second (Triliunan Operasi Per Detik). Ini adalah metrik utama paling sederhana untuk kinerja akselerator AI. Satu “operasi” hampir selalu merupakan multiply-accumulate (MAC), yaitu perkalian-tambah yang digabungkan di jantung perkalian matriks. Angka tersebut dilaporkan pada presisi tertentu, biasanya INT8 atau FP16, karena angka yang sangat berbeda dapat dikutip untuk presisi bit yang lebih rendah. Misalnya, Neural Engine M4 Apple diperingkat pada 38 TOPS (INT8), Snapdragon X Elite Qualcomm mencapai 45 TOPS, NPU Intel Meteor Lake memberikan hingga 11,5 TOPS, sementara GPU NVIDIA H100 dapat mencapai lebih dari 3.900 TOPS (INT8, dengan sparsity).
TOPS adalah angka teoritis puncak. Kinerja berkelanjutan bergantung pada arsitektur model, bandwidth memori, efisiensi runtime perangkat lunak, dan dukungan untuk sparsity struktural. Dua akselerator dengan peringkat TOPS yang sama dapat menunjukkan kecepatan inferensi yang sangat berbeda dalam aplikasi nyata. Suite benchmark seperti MLPerf menyediakan pengukuran terstandarisasi yang memperhitungkan faktor-faktor ini. Saat membandingkan NPU, lihat TOPS untuk presisi yang sebenarnya akan digunakan model Anda—banyak beban kerja inferensi di perangkat menggunakan INT8 untuk mengurangi memori dan daya, sehingga TOPS INT8 adalah angka konsumen yang paling relevan.
Untuk apa NPU digunakan di perangkat sehari-hari?
NPU mempercepat beban kerja AI tertentu yang seharusnya berjalan lambat atau menguras baterai pada CPU atau GPU. Di ponsel pintar, Apple memperkenalkan Neural Engine-nya dengan chip A11 Bionic pada tahun 2017. Blok khusus ini menangani pengenalan Face ID, pelacakan animoji, dan tugas fotografi komputasional seperti Smart HDR dan Deep Fusion. Deteksi pemandangan di aplikasi kamera sekarang mengidentifikasi objek, hewan peliharaan, makanan, dan lanskap secara real-time untuk menyesuaikan eksposur dan warna sebelum rana ditekan. Pengenalan suara untuk Siri berjalan sepenuhnya di perangkat saat koneksi internet tidak tersedia, dan pemrosesan lokal yang sama mendukung terjemahan real-time di aplikasi Translate. Aplikasi realitas tertambah menggunakan Neural Engine untuk melacak bidang dan objek tanpa getaran, menjaga overlay virtual tetap stabil saat pengguna menggerakkan ponsel.
Qualcomm mengintegrasikan NPU Hexagon ke dalam platform Snapdragon-nya. Akselerator tensor di dalam blok Hexagon menjalankan asisten suara yang selalu aktif, pembatalan gema, dan penekanan kebisingan selama panggilan. Chip Exynos Samsung menyertakan NPU khusus untuk beban kerja serupa: optimasi pemandangan kamera, pengenalan wajah atau iris yang aman, dan perintah suara Bixby secara offline. Chip Tensor Google memiliki inti TPU khusus (Tensor Processing Unit) yang awalnya berasal dari desain pusat datanya. Inti tersebut mendukung Live Caption di perangkat, transkripsi aplikasi Recorder tanpa cloud, dan Magic Eraser di Google Photos. Semua contoh ini memiliki benang merah yang sama: NPU memproses model pembelajaran mendalam yang dulunya terlalu berat untuk prosesor seluler, dan melakukannya sambil mengonsumsi sebagian kecil energi yang dibutuhkan GPU untuk tugas yang sama.
Laptop menggunakan NPU untuk konferensi video dan alur kerja kreatif. Prosesor Meteor Lake Intel berisi NPU bermerek AI Boost. Di laptop Windows, unit ini menangani Windows Studio Effects: pengaburan latar belakang otomatis, koreksi kontak mata yang menyesuaikan pandangan sehingga pengguna tampak melihat ke kamera, dan pembatalan gema akustik yang mengisolasi suara pembicara bahkan di ruangan yang bising. AMD Ryzen AI, yang tertanam di seri Ryzen 7040 dan yang lebih baru, melakukan fungsi serupa. Perangkat lunak pengeditan video memanfaatkan NPU untuk deteksi pemandangan—mengurutkan rekaman menjadi b-roll, wawancara, atau klip aksi—tanpa memaksimalkan CPU atau GPU. Adobe Premiere Pro dan DaVinci Resolve sekarang membongkar filter AI tertentu seperti penghapusan objek dan transfer gaya ke NPU, menjaga timeline tetap responsif. Laptop ini juga mendukung ONNX, format terbuka yang memungkinkan pengembang bertukar model antara berbagai kerangka kerja dan akselerator perangkat keras, sehingga memudahkan NPU dari Intel, AMD, atau Qualcomm untuk menjalankan jaringan saraf terlatih yang sama.
Mengapa ponsel pintar dan laptop sekarang menyertakan NPU?
Alasan utamanya adalah latensi, privasi, dan masa pakai baterai. Menjalankan model AI di server jarak jauh menambah waktu perjalanan pulang-pergi yang menurunkan pengalaman pengguna untuk fitur real-time. Buka kunci wajah akan terasa lambat jika setiap upaya pengenalan memerlukan permintaan server. Pemrosesan lokal di NPU menghilangkan penundaan itu. Kepatuhan privasi adalah pendorong lain. Asisten suara yang memproses audio sepenuhnya di perangkat tidak mengirim rekaman ke cloud, memenuhi aturan perlindungan data yang lebih ketat dan harapan pengguna. Masa pakai baterai meningkat karena NPU khusus dapat mengeksekusi jaringan saraf pada efisiensi energi 10 hingga 20 kali lipat dari CPU atau GPU untuk tingkat kinerja yang sama. GPU adalah prosesor paralel dengan ratusan inti yang dirancang untuk grafis, dan meskipun dapat menjalankan perkalian matriks—tulang punggung inferensi jaringan saraf—GPU tidak dapat menandingi efisiensi energi dari susunan fungsi tetap unit multiply-accumulate yang disesuaikan untuk matematika integer presisi rendah. Arsitektur NPU menggunakan susunan sistolik dan eksploitasi sparsity untuk membakar mikrowatt per inferensi, memperpanjang waktu antar pengisian daya.
Benchmark yang dapat diukur adalah TOPS (Tera Operations Per Second), yang mengukur throughput inferensi integer. Spesifikasi PC Copilot+ Microsoft mensyaratkan NPU dengan setidaknya 40 TOPS. Gelombang pertama laptop yang memenuhi persyaratan ini—menggunakan Qualcomm Snapdragon X Elite, AMD Ryzen AI seri 300, dan Intel Lunar Lake—menunjukkan bahwa industri sekarang memperlakukan NPU sebagai hal yang esensial, bukan opsional. NPU menjadi pilar ketiga di samping CPU dan GPU dalam arsitektur sistem heterogen (HSA). Khronos Group, konsorsium di balik OpenGL dan Vulkan, sedang menstandarisasi API AI dengan tujuan merilis standar konsumen NNEF (Neural Network Exchange Format) yang terpadu pada tahun 2025. Standardisasi akan memungkinkan aplikasi apa pun meminta inferensi dan membiarkan driver menjadwalkannya pada prosesor yang paling sesuai—NPU, GPU, atau CPU—tanpa intervensi pengembang. Lapisan abstraksi ini penting untuk laptop dan ponsel karena menghilangkan beban pengoptimalan model secara manual untuk silikon masing-masing vendor, mempercepat peluncuran fitur AI baru di perangkat di seluruh ekosistem.
Referensi: Wikipedia
