Connect with us

Tech

NPU: Memahami Konsep dan Penerapan AI pada Ponsel & Komputer

Published

on

NPU

Neural Processing Unit (NPU) merupakan prosesor, SoC, atau chip komputasi khusus yang didesain untuk menjalankan fungsi-fungsi kecerdasan buatan. Karena banyak perangkat sehari-hari yang sudah memiliki NPU, NPU menjadi semakin penting. Artikel ini akan membahas apa itu NPU, cara kerjanya, dan alasan NPU sangat memengaruhi perkembangan teknologi saat ini dan di masa depan.

Apa itu NPU dan mengapa NPU semakin penting?

NPU adalah inti pemrosesan khusus yang diciptakan untuk menjalankan operasi jaringan saraf. Jaringan saraf, bentuk Kecerdasan Buatan paling hebat, bekerja meniru cara neuron manusia.

Contoh jaringan saraf

Contoh jaringan saraf. Sumber: Analisis Vidhya

Jaringan saraf adalah susunan lapisan terhubung, setiap lapisannya punya neuron. Ketika menerima input seperti gambar atau teks, dibagi ke neuron lapisan pertama. Setiap bagian punya nilai yang dikalikan dengan bobot (nilai terlatih), menentukan apakah neuron aktif atau tidak. Keluaran neuron berlanjut ke lapisan berikutnya, hingga menghasilkan keluaran akhir.

Jaringan saraf memang sulit dijelaskan dengan singkat, karena ia memiliki prinsip kerja yang rumit dan “ajaib”. Namun, yang perlu Anda ketahui adalah bahwa jaringan saraf adalah kunci dari berbagai aplikasi AI yang kompleks. Beberapa contohnya adalah:

  • ChatGPT, alat yang dapat menghasilkan percakapan seperti manusia
  • Algoritma pengenalan wajah, yang dapat mengidentifikasi orang dari gambar atau video
  • Algoritma deteksi objek, yang dapat mengenali dan melokalisasi benda-benda dalam penglihatan buatan
  • Penerjemah modern, yang dapat menerjemahkan bahasa dengan akurat dan lancar
  • Sistem rekomendasi, yang dapat memberikan saran produk atau konten sesuai dengan preferensi pengguna
  • Pengenalan/diktekan suara, yang dapat mengubah suara menjadi teks atau sebaliknya

Semua aplikasi ini menggunakan jaringan saraf dengan arsitektur yang berbeda-beda, seperti jaringan konvolusional (CNN), transformator (Transformer), dan lain-lain.

Jaringan saraf menjadi kunci kemajuan besar dalam dunia AI saat ini.

NPU: Chip Khusus untuk Jaringan Saraf di Komputer dan Ponsel Anda

NPU di komputer atau ponsel kita memberikan manfaat bagi kita karena jaringan saraf membutuhkan dua proses perhitungan yang berbeda. Kita sudah tahu jaringan saraf itu penting, tapi NPU itu apa? NPU adalah singkatan dari Neural Processing Unit, yaitu sebuah chip khusus yang dioptimalkan untuk memproses jaringan saraf dengan cepat dan efektivitas tinggi.

Melatih jaringan saraf

Jaringan saraf belajar dengan cara mengulang-ulang proses perhitungan. Setelah jaringan dibentuk, bobot setiap neuron harus ditentukan, dan untuk itu, diperlukan data berlabel yang menjadi bahan latihan.

Pelatihan jaringan saraf Ini adalah proses yang sangat sederhana. Ada detail yang terlewatkan, seperti membagi data menjadi bagian-bagian, untuk dijadikan validasi dan uji coba (karena ini adalah cara kita membuat solusi yang umum: gambar kucing atau anjing manapun akan menghasilkan jawaban yang benar dan tidak hanya gambar yang ada di data. set) Anda sekarang bisa mengerti mengapa cara kerja jaringan saraf mirip dengan manusia: jika kita mau jaringan belajar membedakan kucing dari binatang lain, kita akan memberikan ribuan foto kucing dan binatang lain yang sudah diberi label. Kita tidak akan menjelaskan secara mendalam bagaimana proses belajar ini berlangsung, tapi intinya adalah jaringan akan mengetahui ciri-ciri apa yang membuat kucing berbeda dari binatang lain.

Lalu, bagaimana cara kita tahu bahwa binatang tertentu adalah kucing? Ya, dengan alasan yang sama, karena kita sudah belajar ciri-ciri fisik tertentu yang membedakan mereka dari binatang lain. Prinsip ini diterapkan pada jaringan saraf buatan.

Operasi konvolusi (Sumber: Menuju ilmu data)

Operasi konvolusi (Sumber: Menuju ilmu data)

NPU melakukan operasi-operasi yang melibatkan sistem persamaan dan matriks dengan jutaan parameter. NPU khusus bisa menghitung hal-hal ini dengan cepat dan akurat. Tapi, NPU yang ada di ponsel atau PC biasanya tidak cocok untuk pelatihan jaringan saraf karena data yang dibutuhkan terlalu banyak.

Inferensi jaringan saraf

NPU di komputer atau ponsel lebih berguna untuk proses inferensi daripada proses pelatihan.

Inferensi adalah proses di mana kita memberikan masukan ke jaringan saraf yang sudah dilatih dan mendapatkan keluaran dari jaringan tersebut. Ini berarti kita bisa menggunakan jaringan saraf untuk berbagai tujuan setelah jaringan tersebut siap. Proses ini adalah cara utama kita memanfaatkan jaringan saraf, sehingga jaringan ini akan sering digunakan.

Pelatihan vs inferensi AI

Pelatihan vs inferensi (sumber: AMD/Xilinx)

NPU sangat berguna di ponsel atau komputer pribadi karena alasan ini. Proses pelatihan memang dilakukan di server, tapi tidak perlu mengandalkan server eksternal untuk inferensi yang memakan banyak sumber daya. Kita bisa melakukan pemrosesan itu sendiri di perangkat kita.

NPU sangat vital karena pertama, banyak fitur AI seperti “Face ID” dan pengenalan suara sudah ada di komputer dan ponsel kita, dan akan terus berkembang. Kedua, layanan AI yang berbasis cloud membutuhkan banyak sumber daya server untuk inferensi, dan NPU menyediakan solusi dengan perangkat keras khusus tanpa perlu GPU mahal. Ketiga, CPU memang baik untuk tugas umum, tetapi tidak efisien untuk operasi jaringan saraf dengan jutaan parameter; sementara GPU dapat dipakai untuk banyak hal lain. NPU dapat diintegrasikan dengan CPU atau SoC tanpa menambah biaya secara signifikan, menjadikannya pilihan yang optimal.

Produsen apa saja yang memimpin implementasi NPU?

NPU sangat penting untuk ponsel pintar dan komputer. Kita akan lihat produsen dan perancang chip yang sudah memakai Neural Processing Unit di produk mereka.

Sekarang, semua produk sudah punya NPU. Contoh kasusnya adalah Apple, Google, Intel, dan AMD. Tapi, masih ada perusahaan lain, besar (Qualcomm, Samsung…) atau kecil, yang juga pakai NPU.

Apple Silicon dan Mesin Neuralnya

Paten Mesin Neural Apple

Apple Neural Engine SoCs adalah NPU yang paling populer, karena sudah ada sejak 2017, saat Apple A11 Bionic, chip untuk iPhone 8/X, diluncurkan.

Chip ini terus berkembang di setiap iPhone dan iPad, dan juga masuk ke komputer Mac, ketika Apple beralih dari Intel ke SoC buatannya sendiri di 2020. Misalnya, Apple M1 dan generasi berikutnya.

Apple Neural Engine (ANE) terdiri dari beberapa inti khusus untuk operasi-operasi jaringan saraf (konvolusi, perkalian matriks…) seperti NPU lainnya.

Apple A17 PRO

Apple A17 PRO

SoC Apple sekarang sudah punya CPU, GPU, NPU, RAM, keamanan, dan I/O di chip yang sama. Kita harus ingat bahwa chip yang kita sebut CPU atau APU sebenarnya adalah SoC, karena prosesor PC sekarang sudah punya komponen-komponen itu, kecuali RAM dan (biasanya) NPU.

Neural Engine dipakai untuk hal-hal seperti:

ID Wajah dan Animoji. Pemutakhiran kamera. Realitas tambahan. Pengenalan manusia, benda, dan hewan di gambar. Pendeteksian teks di gambar. Penulisan suara. Semua fitur AI di iPhone atau Mac.

Pengembang lain juga bisa pakai Neural Engine dengan API. Kinerjanya makin bagus: iPhone X bisa capai 0,6 TFLOPS (triliun operasi) FP16 dengan ANE, sementara chip M3 bisa capai 18 TFLOPS dan A17 PRO dari iPhone 15 Pro bisa capai 35 TFLOPS.

Google Tensor (TPU)

Google jadi pelopor dengan perangkat keras khusus jaringan saraf, punya konsep TPU (Tensor Processing Unit). Sejak 2015, chip ini, yang merupakan ASICS, digunakan di pusat data mereka.

Kami sudah jelaskan sebelumnya, kami lebih suka pakai NPU yang lebih kecil dan jadi bagian dari SoC perangkat rumah. Jadi, TPU pusat data bukan NPU menurut kami.

Google Tensor

Google Tensor Chip: TPU yang Penting

Kami tertarik dengan Google Tensor Chip yang dipakai di Pixel 6 dan selanjutnya. SoC ini sangat fokus pada kecerdasan buatan, karena punya TPU (NPU) sendiri di dalamnya.

NPU Terintegrasi Intel

Kita lanjutkan pembahasan tentang chip untuk ponsel dan komputer, tapi kita tinggalkan Arm dulu (Apple dan Google pakai arsitektur Arm) dan kita lihat arsitektur x86-64 yang banyak dipakai di PC.

Intel dan AMD tidak diam saja seperti yang orang-orang kira, dan mereka sudah punya NPU di katalog mereka. Prosesor “raksasa biru” sudah pasang NPU di laptop dengan prosesor Meteor Lake, yaitu CPU generasi ke-14 dengan desain yang lebih canggih dan baru.

NPU Intel Meteor Lake

NPU di laptop ini bagus untuk tindakan-tindakan AI seperti algoritma yang bisa ganti latar belakang video konferensi, yang bisa bikin mata kita lihat ke depan, dan lain-lain.

Microsoft juga siap pakai NPU, dan mereka kasih banyak alat untuk Windows 11 yang bisa bantu pengembang pakai AI dengan efisien dan manfaatkan NPU di komputer kalau ada. Salah satu fungsinya adalah Copilot.

AMDRyzen AI

Intel Meteor Lake (yang akan diluncurkan di Desember 2023) sudah diikuti oleh AMD beberapa bulan lalu, dengan prosesor laptop Ryzen 7040 (Zen 4), yang punya Ryzen AI, yaitu NPU pertama yang terintegrasi di prosesor x86 dan dibuat untuk Windows.

AMD XDNA ryzen AI

Beberapa contohnya adalah AMD Ryzen 9 7940HS (8 core), Ryzen 7 7840HS (8 core), Ryzen 5 7640HS (6 core), Ryzen 7 7840U (8 core) dan Ryzen 5 7640U (6 core). Sekarang, AMD cuma tunjuk fitur-fitur seperti “automatic framing”, “eye contact Correction”, dan “Advanced Background Effects”, yang adalah fitur video konferensi yang sudah kita bahas. Tapi, mereka akan tambah lagi fitur-fiturnya.

Harus waspada karena AMD dan Intel dikejar oleh Qualcomm dengan prosesor Snapdragon yang pakai arsitektur Arm, yang sangat kuat di NPU dan bisa rebut pasar laptop kalau raksasa x86 tidak usaha keras.

Kartu grafis vs. NPU, apakah Tensor Core merupakan NPU?

NPU dan CPU memiliki perbedaan signifikan. CPU menangani tugas umum berurutan, sementara GPU lebih unggul dalam pemrosesan paralel dan floating point. NPU lebih spesifik, fokus pada operasi inferensi jaringan saraf dengan konsumsi dan ukuran lebih rendah.

Tensor Cores NVIDIA mirip dengan NPU, terkait dengan TPU Google. Pentingnya optimasi untuk tugas dan ukuran tertentu, dengan kartu grafis bermanfaat tidak hanya untuk inferensi AI, tetapi juga tugas lain. Integrasi NPU ke dalam prosesor atau SoC dianggap menguntungkan, seperti yang terlihat pada SoC Apple. Artikel ini membahas konsep NPU, relevan saat ini dan di masa depan. Terus pantau website kami untuk informasi lebih lanjut.

Click to comment

Leave a Reply

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

Trending