Neuralmagic membantu developer mempercepat kinerja deep learning

Dengan kemajuan teknologi cloud dan kecerdasan buatan, organisasi meminta lebih banyak data mereka daripada sebelumnya.

Dengan kasus penggunaan seperti visi komputer dan pemrosesan bahasa alami yang sangat bergantung pada AI dasar, Neuralmagic Inc. telah memasukkan dirinya ke dalam bidang nilai pengoptimalan dan penskalaan model pembelajaran mesin.

“Model generasi atau model dasar yang besar ini, begitu kami menyebutnya, mereka hebat,” kata Jay Marshall (foto), kepala pengembangan bisnis global di Neuralmagic. “But perusahaan ingin melakukan itu dengan data mereka, pada infrastruktur mereka, pada skala dan di edge. Kami membantu perusahaan mempercepatnya melalui pengoptimalan model dan kemudian mengirimkannya pada skala dengan cara yang lebih hemat biaya.”

Marshall berbicara dengan analis industri theCUBE John Furrier di AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”., selama siaran eksklusif di theCUBE, studio streaming langsung SiliconANGLE Media. Mereka membahas bagaimana perusahaan memanfaatkan AI/ML untuk menerapkan aplikasi dalam skala besar dan bagaimana perusahaan memberikan bantuan dalam hal itu. (* Pengungkapan di bawah.)

Menyesuaikan dengan aplikasi AI dan ruang infrastruktur

Perusahaan yang beroperasi menggunakan teknologi pembelajaran mesin harus melakukan tiga proses yang diperlukan: pembuatan, pelatihan, dan penerapan model. Seiring kemajuan proses ini dalam kerumitan dan skala, persyaratan biaya terus meningkat. Oleh karena itu, Neuralmagic berfokus untuk memberikan efisiensi operasional dengan perpaduan kuat antara teknologi in-house dan open-source.

“Mereka ingin melakukannya, tetapi mereka tidak benar-benar tahu harus mulai dari mana, ”jelas Marshall. “Jadi untuk situasi itu, kami sebenarnya memiliki perangkat sumber terbuka yang dapat membantu Anda masuk ke pengoptimalan ini. Adan runtime itu, runtime inferensi itu, yaitu dibuat khusus untuk CPU, memungkinkan Anda untuk tidak perlu khawatir tentang hal-hal seperti akselerator perangkat keras yang tersedia dan integrasi ke dalam tumpukan aplikasi.”

Salah satu topik utama dalam AI perusahaan saat ini adalah argumen tentang adaptasi “lift and shift” dari sumber daya yang ada versus membangun semuanya dari awal, yang sering disebut “AI-native”. Pembeda utama antara kedua pendekatan ini adalah inovasi berkelanjutan dalam pembelajaran mendalam dan jaringan saraf, menurut Marshall.

“Saya pikir itu lebih kepada orang-orang yang muncul di dunia jaringan saraf itu, jadi ini sedikit lebih bersifat kedua, ”katanya. “Wdi sini untuk beberapa ilmuwan data tradisional mulai masuk ke jaringan saraf, Anda memiliki kerumitan di sana dan biaya pelatihan dan banyak aspek untuk menyempurnakan model, seperti hiper parameterisasi, antara lain.”

Dengan kedua pendekatan tersebut, tujuan perusahaan adalah untuk menghilangkan kerumitan penerapan sehingga perusahaan dapat mengelola beban kerja mereka dalam berbagai skenario serbaguna dengan persyaratan infrastruktur standar.

Data dan basis data semakin penting

Sebagai sumber kehidupan model ML, data harus dikumpulkan dan dikonsolidasikan ke dalam database yang harus dimanfaatkan dengan benar untuk hasil yang optimal. Database yang dibuat khusus, seperti dari Amazon Web Services Inc., telah muncul sebagai cara yang tepat untuk kasus penggunaan perusahaan, menurut Marshall.

“Saya tahu bahwa dengan AWS, mereka selalu membicarakannya database yang dibuat khusus. Dan saya selalu menyukainya karena Anda tidak memiliki satu database yang dapat melakukan semuanya,” katanya. “Bahkan dengan orang-orang yang mengatakan mereka bisa, Anda masih harus memperhitungkan perbedaan detail implementasi.”

Dalam hal menampilkan dirinya kepada pengguna akhir, kekuatan utama Neuralmagic ada di sisi pelatihan. Dan rangkaian integrasi strategis perusahaan dengan alat mitra lainnya meluas lebih jauh ke seluruh alur MLOps.

“Saya pikir di mana kami menggaet pelanggan terletak secara khusus di sisi pelatihan,” katanya. “Untuk yang itu ingin benar-benar mengoptimalkan model dan menangani penerapan, kami menjalankan model yang dioptimalkan itu. Di situlah kami dapat menyediakan. Kami bahkan memiliki penawaran “Labs”. dalam hal dapat memasangkan tim teknik kami dengan tim teknik pelanggan, dan kami benar-benar dapat membantu dengan sebagian besar jalur pipa itu.”

Bidang keahlian lain yang membedakan perusahaan ini adalah sparsifikasi, pendekatan pengoptimalan untuk model ML, tambah Marshall. Dalam sebuah model, ini menghilangkan komponen dan informasi yang berlebihan dari jaringan dengan parameter berlebih.

“Saya pikir, secara umum, jaringan saraf apa pun bisa dipisah-pisahkan,” ujarnya. “SAYAIni adalah proses pengoptimalan ML bahwa kami berspesialisasi dalam situasi di mana Anda mencoba memasukkan AI ke dalam produksi, Anda memiliki masalah terkait biaya atau kinerja.”

Inilah wawancara video lengkapnya, bagian dari liputan SiliconANGLE dan theCUBE AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”.:

(* Pengungkapan: Neuralmagic Inc. mensponsori segmen CUBE ini. Baik Neuralmagic maupun sponsor lain tidak memiliki kendali editorial atas konten di CUBE atau SiliconANGLE.)

Foto: SiliconANGLE