Memotong pengeluaran cloud AI/ML: OctoML bekerja untuk membuat AI lebih berkelanjutan

Dengan pengganggu besar seperti ChatGPT dan Bing memberi dunia gambaran sekilas tentang apa yang mungkin dilakukan dengan kecerdasan buatan dengan kekuatan penuh, perusahaan di seluruh dunia bergabung dengan tren untuk menjadi model pembelajaran mesin asli dan mengoperasionalkan kecerdasan buatan.

Namun, seperti hari-hari awal cloud, beberapa biaya yang terkait dengan pelatihan dan penerapan model ML tidak segera terlihat. Jadi, perusahaan seperti OctoML Inc. menggali di luar permukaan untuk membantu pengguna menerapkan model produksi yang paling berkinerja namun hemat biaya, menurut Luis Ceze (foto, kiri), co-founder dan chief executive officer OctoML.

“Mengingat biaya model tumbuh langsung dengan model penggunaan, yang ingin Anda lakukan adalah memastikan bahwa setelah Anda memasukkan model produksi, Anda memiliki struktur biaya terbaik sehingga Anda tidak terkejut ketika mendapatkannya populer,” kata Ceze. “Penting bagi kami untuk mengingat bahwa model AI generatif seperti ChatGPT sangat besar, boros energi, dan biaya pengoperasian yang besar.”

Ceze dan Anna Connolly (kanan), wakil presiden kesuksesan dan pengalaman pelanggan di OctoML, berbicara dengan analis industri CUBE John Furrier di AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”., selama siaran eksklusif di theCUBE, studio streaming langsung SiliconANGLE Media. Mereka membahas perlunya mengatasi aspek biaya dalam persamaan AI. (* Pengungkapan di bawah.)

Pelatihan vs. biaya produksi: Tempat pendulum berayun

Dua area pengeluaran utama dengan pembelajaran mesin dapat dibagi secara luas menjadi produksi dan pelatihan. Dan meskipun biaya pelatihan besar, pengeluaran di muka, biaya produksi sangat kecil tetapi menumpuk seiring waktu dan dengan peningkatan penggunaan.

“Saya pikir kita akan semakin melihat biaya produksi jauh melebihi biaya pelatihan,” jelas Connolly. “Porang berbicara tentang biaya pelatihan sekarang karena itulah yang mereka hadapi sekarang, karena mereka begitu fokus pada mendapatkan model yang cukup berkinerja bahkan untuk digunakan dalam aplikasi. Dan sekarang kita memiliki mereka dan mereka itu mampu, kami benar-benar akan mulai melihat biaya produksi naik banyak.

Intinya, karena model ML generatif ini menjadi semakin rumit, persyaratan untuk membuatnya tetap berjalan dalam skala besar hampir pasti akan melampaui persyaratan pelatihan, Ceze percaya.

“Izinkan saya memberi Anda sebuah contoh,” jelasnya. “Jika Anda memiliki model yang harganya, katakanlah, $1 hingga $2 juta untuk berlatih, tetapi biayanya sekitar satu atau dua sen per sesi untuk digunakan itu… jika Anda memiliki sejuta pengguna aktif, bahkan jika mereka menggunakannya hanya sekali sehari, itu 10 sampai $20.000 sehari untuk mengoperasikan model itu dalam produksi.

Latensi adalah area di mana perusahaan dapat memangkas biaya yang cukup besar. Hal ini terutama berlaku di tingkat yang lebih tinggi, di mana pembayaran untuk pengurangan latensi mulai menghasilkan pengembalian marjinal yang semakin berkurang atas pengeluaran, menurut Ceze.

“Membuatnya lebih cepat tidak akan membuat perbedaan pengalaman yang terukur, tetapi akan memakan biaya lebih banyak,” katanya. “Apa yang kita harus dipikirkan adalah throughput per dolar dan untuk memahami apa yang Anda inginkan inilah throughput tertinggi per dolar, yang mungkin mengorbankan latensi yang lebih tinggi.”

Bagaimana cara mengelola biaya

Meskipun akan selalu ada biaya yang terkait dengan menjalankan model ML dalam skala besar, perusahaan dapat mengambil beberapa langkah untuk memangkas beberapa persentase dan mempertahankan rasio throughput per dolar yang ketat, menurut Connolly. Yang pertama adalah merampingkan proses penerapan sehingga diperlukan rekayasa minimal untuk menjalankan aplikasi. Yang kedua melibatkan penggalian lebih banyak nilai dari sumber daya komputasi yang sudah dimiliki.

“Dalam membuat penyebaran lebih mudah secara keseluruhan, ada banyak pekerjaan manual yang mengarah ke pembandingan, pengoptimalan, dan pengemasan model untuk penerapan,” kata Connolly. “Bkarena kinerja model pembelajaran mesin bisa sangat bergantung pada perangkat keras, Anda harus melalui proses ini untuk setiap target yang ingin Anda pertimbangkan untuk menjalankan model Anda.”

Mengoptimalkan model ML besar dalam skala sering kali menyiratkan proses yang panjang dan melelahkan untuk mencocokkan data dan perangkat lunak secara efisien dengan perangkat keras yang ada berdasarkan kebutuhan skala dan kinerja. Berdasarkan pengalamannya, OctoML membantu perusahaan menemukan sweet spot tersebut.

“Kami memang melihat pelanggan yang meninggalkan uang di atas meja dengan menjalankan model yang belum dioptimalkan khusus untuk target perangkat keras yang mereka gunakan,” kata Ceze. “Fatau beberapa tim, mereka tidak punya waktu untuk menjalani proses pengoptimalan, sementara yang lain mungkin kurangnya jenis keahlian khusus. Dan ini adalah sesuatu yang bisa kami bawa.”

Inilah wawancara video lengkapnya, bagian dari liputan SiliconANGLE dan theCUBE AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”.:

(* Pengungkapan: OctoML Inc. mensponsori segmen CUBE ini. Baik OctoML maupun sponsor lain tidak memiliki kendali editorial atas konten di CUBE atau SiliconANGLE.)

Foto: SiliconANGLE