Kode Pengoptimalan Meningkatkan Hasil sebesar 5x

Teknologi yang dikembangkan melalui kolaborasi yang dipimpin KAUST dengan Intel, Microsoft, dan Universitas Washington dapat secara dramatis meningkatkan kecepatan pembelajaran mesin dalam sistem komputasi paralel. Kredit: © 2021 KAUST; Anastasia Serin

Mengoptimalkan komunikasi online mempercepat pelatihan dalam model pembelajaran skala besar.

Penyisipan kode pengoptimalan yang lebih ringan dalam perangkat jaringan berkecepatan tinggi telah memungkinkan kolaborasi yang dipimpin KAUST untuk meningkatkan kecepatan pembelajaran mesin pada sistem komputasi paralel sebanyak lima kali.

Teknologi “agregasi jaringan” ini, dikembangkan dengan para peneliti dan arsitek sistem di Intel, Microsoft dan Universitas Washington, Dapat memberikan peningkatan kecepatan yang dramatis dengan menggunakan perangkat keras jaringan yang dapat diprogram yang tersedia.

Manfaat mendasar dari kecerdasan buatan (AI) yang memberinya begitu banyak kekuatan untuk “memahami” dan berinteraksi dengan dunia adalah langkah pembelajaran mesin, di mana model dilatih menggunakan kumpulan besar data pelatihan berlabel. Semakin banyak data yang dibentuk AI, semakin baik kemungkinan model dilakukan saat terpapar input baru.

Ledakan aplikasi AI baru-baru ini sebagian besar disebabkan oleh pembelajaran mesin yang lebih baik dan penggunaan model yang lebih besar serta kumpulan data yang lebih banyak. Namun, menjalankan komputasi pembelajaran mesin adalah tugas yang sangat menakutkan yang semakin bergantung pada array besar komputer yang menjalankan algoritme pembelajaran secara paralel.

“Bagaimana membentuk model pembelajaran mendalam berskala besar adalah masalah yang sangat menantang,” kata Marco Canini dari tim peneliti KAUST. “Model AI dapat terdiri dari milyaran parameter, dan kami dapat menggunakan ratusan prosesor yang perlu bekerja secara efisien secara paralel. Dalam sistem seperti itu, komunikasi antar prosesor selama peningkatan model inkremental dengan mudah menjadi penghambat. Performa yang lebih baik”.

Tim menemukan solusi potensial dalam teknologi jaringan baru yang dikembangkan oleh Barefoot Networks, sebuah divisi dari Intel.

“Kami menggunakan perangkat lunak jaringan baru Barefoot Networks untuk mengunduh beberapa pekerjaan yang dilakukan selama pelatihan pembelajaran mesin terdistribusi,” jelas Amedeo Sapio, mantan anggota KAUST yang bergabung dengan tim Barefoot Networks. Dan Intel. “Menggunakan perangkat keras jaringan baru yang dapat diprogram ini, bukan hanya jaringan, untuk memindahkan data berarti kita dapat membuat kalkulasi panjang pada jalur jaringan.”

Inovasi utama dari platform SwitchML tim adalah memungkinkan perangkat keras jaringan melakukan aktivitas agregasi data di setiap langkah sinkronisasi selama fase pembaruan proses pembelajaran model. Ini saja tidak melepaskan sebagian dari beban komputasi, ini juga secara signifikan mengurangi jumlah transmisi data.

“Meskipun pesawat data sakelar yang dapat diprogram dapat melakukan operasi dengan sangat cepat, operasi yang dapat dilakukannya terbatas,” kata Canini. “Jadi, solusi kami harus cukup sederhana untuk perangkat keras dan juga cukup fleksibel untuk mengatasi tantangan seperti kapasitas memori on-board yang terbatas. SwitchML mengatasi tantangan ini dengan merancang bersama jaringan komunikasi dan algoritme pelatihan terdistribusi, menggunakan akselerasi hingga menjadi 5,5 kali dibandingkan dengan pendekatan puncak. ”

Referensi: “Scaling Distributed Machine Learning dengan In-Network Aggregation” oleh Amedeo Sapio, Marco Canini, Chen-Yu Ho, Jacob Nelson, Panos Kalnis, Changhoon Kim, Arvind Krishnamurthy, Masoud Moshref, Dan Ports dan Peter Richtarik, April 2021, Simposium USENIX ke-18 tentang Desain dan Implementasi Sistem Jaringan (NSDI ’21).
Tautan

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Alat-alat baru dibutuhkan untuk mencegah pandemi penyakit tanaman

Mengamati penyakit tanaman dapat mengungkapkan keamanan pangan. Penyakit tanaman tidak berhenti di perbatasan negara, dan kilometer lautan juga tidak mencegah penyebarannya. Itulah mengapa pengawasan...

Ilmuwan Menjelajahi Tesla Roads Jangan Ambil – Dan Temukan Kekuatan Baru Berguna dalam Penemuan Centennial

Foto eksposur ganda Nikola Tesla pada bulan Desember 1899 duduk di laboratoriumnya di Colorado Springs di sebelah kaca pembesar generator tegangan tinggi sementara mesin...

Untuk Mempercepat Akses, Mikroskopi yang Sangat Dapat Diputar Meninggalkan “Di Bawah Kisi”

Contoh desain ubin yang digunakan pada ulat percobaan C. elegans. Mesin non-grid memberi model fleksibilitas sementara untuk dengan cepat memasuki lingkungan yang menyenangkan....

Lingkar Kuno Munculnya Tektonik Lempeng Data 3,6 Miliar Tahun Lalu – Peristiwa Penting untuk Memperkaya Kehidupan Bumi

Zirkonia yang dipelajari oleh tim peneliti, difoto menggunakan katodoluminesensi, memungkinkan tim untuk melihat bagian dalam kristal menggunakan mikroskop elektron khusus. Lingkar zirkon adalah...

Bisakah kita mengurangi kecanduan opioid? [Video]

Pada 2017, jutaan orang di seluruh dunia kecanduan opioid dan 115.000 meninggal karena overdosis. Opioid adalah obat penghilang rasa sakit paling manjur yang kita miliki,...

Newsletter

Subscribe to stay updated.