Mempermudah komputasi yang dapat diskalakan: Anyscale memanfaatkan model pembelajaran mesin dasar dalam skala besar

Model pembelajaran mesin dasar biasanya berukuran besar — ​​dilatih menggunakan data yang tidak berlabel dalam skala besar, untuk diadaptasi lebih lanjut ke spektrum tugas tertentu yang luas.

Namun, mengingat kedalamannya, model ini juga memerlukan sumber daya komputasi dalam jumlah besar untuk bekerja pada skala yang berarti. Dan komputasi dalam skala besar itu adalah masalah yang sedang dipecahkan oleh Anyscale Inc.

“Salah satu alasan banyaknya proyek AI dan inisiatif gagal atau tidak membuatnya ke produksi adalah kebutuhan untuk skala ini, peningkatan infrastruktur untuk benar-benar mewujudkannya,” kata Robert Nishihara (foto), co-founder dan chief executive officer Anyscale. “HAItujuan Anda di sini dengan Anyscale dan Ray adalah membuat komputasi yang dapat diskalakan menjadi mudah. So bahwa sebagai pengembang atau sebagai bisnis yang diinginkan untuk mendapatkan nilai dari AI, yang perlu Anda ketahui hanyalah cara memprogram di laptop Anda.”

Nishihara berbicara dengan analis industri CUBE John Furrier di AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”., selama siaran eksklusif di theCUBE, studio streaming langsung SiliconANGLE Media. Mereka membahas pentingnya skalabilitas infrastruktur dalam eksploitasi pembelajaran mesin untuk perusahaan. (* Pengungkapan di bawah.)

Meruntuhkan hype di balik model dasar

Industri tampaknya tidak pernah puas dengan model dasar, meskipun istilah tersebut mendominasi wacana populer seputar AI. Model yang sudah ada sebelumnya ini membantu perusahaan mendapatkan nilai dan skala lebih cepat. Dan inilah yang membuat mereka sangat dicari, menurut Nishihara.

“Mereka memungkinkan bisnis dan developer untuk mendapatkan manfaat dari machine learning, untuk menggunakan pembelajaran mesin dari rak dengan model-model besar yang telah dilatih pada banyak data dan itu berguna di luar kotak, ”jelasnya. “Kemudian, sebagai bisnis atau sebagai pengembang, Anda dapat mengambil model dasar tersebut dan menggunakan kembali, menyempurnakan, atau mengadaptasinya untuk kasus penggunaan khusus Anda dan apa yang ingin Anda capai.”

Biaya pelatihan model ML yang dibuat khusus dari awal bisa sangat mahal, sehingga model dasar mendapatkan kepentingannya dari menghindari proses tersebut untuk perusahaan. Namun dalam memanfaatkan model dasar itu sendiri, ada tiga proses utama: pelatihan, penyempurnaan, dan adaptasi. Anyscale, dan platform ML terdistribusi Ray-nya, mampu menangani ketiga beban kerja tersebut, menurut Nishihara.

“Alasan Ray dan Anyscale penting di sini adalah itu membangun dan menggunakan model pondasi membutuhkan biaya yang sangat besar skala. Itu membutuhkan banyak data. Itu juga membutuhkan banyak komputasi, GPU, TPU, dan sumber daya lainnya, ”katanya. “To benar-benar mengambil keuntungan dari itu dan membangun aplikasi yang dapat diskalakan ini, ada banyak infrastruktur yang perlu terjadi Dibawah tenda.”

Alternatifnya, perusahaan dapat memperoleh sendiri sumber daya infrastruktur yang dibutuhkan untuk operasi internal. Namun, melakukan hal itu dapat membebani tim ops dan dev dengan tugas tambahan mengelola infrastruktur, ketika mereka dapat berfokus tepat pada pengembangan produk yang cepat, menurut Nishihara.

Mengabstraksi lapisan kompleksitas

Dapat dikatakan bahwa platform ML terdistribusi seperti Ray, dengan AIOps, adalah cloud untuk pusat data. Dan paradigma di mana perusahaan tidak harus memikirkan infrastruktur mereka sendiri akan mendorong peningkatan besar dalam kreativitas, jelas Nishihara.

“Dengan Ray dan Anyscale, kita akan menghapus infrastruktur dari jalur kritis sehingga sebagai pengembang atau bisnis, yang perlu Anda fokuskan hanyalah logika aplikasi Anda, apa yang Anda ingin program lakukan, apa yang Anda ingin aplikasi Anda lakukan, Dan bagaimana Anda ingin AI sebenarnya antarmuka dengan sisa produk Anda, ”katanya.

Ray adalah proyek sumber terbuka yang dibuat oleh Nishihara dan rekan-rekannya saat berada di University of California, Berkeley sebagai cara yang mudah digunakan untuk membuat dan menjalankan aplikasi yang dapat diskalakan. Anyscale adalah platform terkonsolidasi yang menyediakan Ray sebagai layanan terkelola untuk pengguna akhir.

“Pada dasarnya, kami akan menjalankan Ray untuk Anda di cloud dan menyediakan banyak alat seputar pengalaman pengembang, mengelola infrastruktur dan memberikan lebih banyak kinerja dan infrastruktur yang unggul.”

Kebutuhan komputasi perusahaan yang bergantung pada AI telah tumbuh dengan kecepatan sekitar 35x setiap 18 bulan, menurut Nishihara. Permintaan yang bergerak cepat ini mengakibatkan pemain skala besar, seperti Uber, Shopify, dan Netflix, beralih ke kerangka kerja aplikasi terdistribusi seperti Ray untuk kebutuhan infrastruktur ML mereka.

Inilah wawancara video lengkapnya, bagian dari liputan SiliconANGLE dan theCUBE AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”.:

(* Pengungkapan: Anyscale Inc. mensponsori segmen CUBE ini. Baik Anyscale maupun sponsor lain tidak memiliki kendali editorial atas konten di CUBE atau SiliconANGLE.)

Foto: SiliconANGLE