Faktor Penting Penunjang Performa NPU

Smartphone dengan teknologi AI kini semakin banyak dan terus berkembang kemampuannya di semua segmen dan varian smartphone.  Namun kelancaran AI yang ada pada smartphone ditentukan atau didukung oleh beberapa komponen dan yang terpenting adalah NPU (Neural Processing Unit) yaitu sebuah unit pemrosesan yang dirancang khusus untuk mempercepat tugas-tugas kecerdasan buatan (AI).

NPU dibuat untuk memproses data dalam jumlah besar secara paralel, meniru cara kerja otak manusia yang terdiri dari jaringan saraf yang saling terhubung.  Makin canggih NPU maka makin cepat dan makin cerdas pula penerapan AInya.  Selain pada smartphone, NPU saat ini banyak ditemukan pada perangkat modern, seperti laptop, tablet, dan perangkat pintar lainnya.

Metrik utama yang digunakan untuk mengukur performa NPU adalah TOPS (trillion operations per second). Angka ini menunjukkan berapa banyak triliun operasi yang dapat dilakukan NPU dalam satu detik. IDC mendefinisikan smartphone AI generatif sebagai perangkat yang memiliki NPU dengan performa 30 TOPS atau lebih, yang cukup untuk menjalankan model AI generatif secara efisien di perangkat.

Mengenal Isi Chipset Pada Smartphone

Namun, TOPS bukanlah satu-satunya penentu performa AI secara keseluruhan. Performa sebenarnya sangat bergantung pada arsitektur NPU itu sendiri, efisiensi penggunaan daya, dan bagaimana software dioptimalkan untuk memanfaatkan hardware.

Selain itu, jenis data yang didukung NPU juga sangat krusial karena dapat memengaruhi akurasi dan kecepatan. Oleh karena itu, performa AI pada    smartphone merupakan hasil dari sinergi optimal antara perangkat keras yang kuat, perangkat lunak yang dioptimalkan, serta model AI yang efisien, bukan hanya angka TOPS yang tinggi.

Selain NPU, kapasitas RAM juga memainkan peran vital. RAM berfungsi sebagai “ruang kerja sementara” bagi algoritma AI dan set data yang besar. Untuk menjalankan large language model (LLM) secara lokal, kapasitas RAM yang memadai (sekitar 16 GB atau lebih) sangat diperlukan untuk memastikan komputasi dapat berjalan dengan lancar tanpa hambatan.

Gadgetarian juga mesti mengetahui tentang AI lokal (on-device) dan cloud-hybrid. AI lokal memproses data langsung di perangkat, menawarkan kecepatan dan privasi data yang lebih baik. Namun, hal ini membutuhkan chipset yang sangat kuat dan kapasitas RAM yang besar.

Sementara, cloud-hybrid memproses tugas-tugas AI yang lebih kompleks di server jarak jauh. Banyak smartphone modern menggunakan kombinasi keduanya, dengan tugas sederhana ditangani di perangkat sementara tugas yang lebih berat dikirim ke cloud.