Envision Menambahkan Bantuan Penglihatan AI ChatGPT ke Kacamata Cerdasnya Untuk Tuna Netra

Envision, pengembang terkemuka kacamata pintar yang dapat membantu orang buta membaca dan mengidentifikasi objek, kini telah memasukkan asisten pengaktifan penglihatan yang dapat mengubah permainan ke dalam kacamatanya yang ditenagai oleh kecerdasan buatan tercanggih yang pernah dibuat.

Pada November 2022, OpenAI, perusahaan di belakang ChatGPT meluncurkan alat pemrosesan bahasa alami AI generatif yang mengganggu yang mampu mempertahankan percakapan seperti manusia dengan chatbot.

Dengan pembaruan terbaru yang dirilis pada bulan Maret, teknologi tersebut telah digembar-gemborkan oleh komentator industri sebagai lompatan penting dalam perjalanan menuju melihat jenis teknologi konsumen AI yang lebih canggih dan telah diintegrasikan ke dalam produk oleh raksasa teknologi Microsoft.

Envision yang berbasis di Belanda, yang menggunakan kacamata Google Glass di sisi perangkat keras, sejak diluncurkan pada tahun 2020, telah menggunakan kamera kacamata untuk menangkap teks dalam dokumen atau pada kemasan untuk menghasilkan pembacaan audio text-to-speech untuk pemakainya. di antara fitur lainnya.

Namun, plugin terbaru untuk ChatGPT 4.0 ini menggunakan API khusus yang diumumkan awal bulan ini, membawa teknologi bantuan untuk tunanetra ke tingkat yang sebelumnya tidak terlihat dengan mengaktifkan aspek interpretasi dokumen yang serupa dengan apa yang dapat dicapai oleh orang yang dapat melihat sepenuhnya.

Pengubah permainan sejati

Sebelum fitur baru ini dikenal sebagai Ask Envision, pengguna yang ingin mengekstrak informasi tekstual utama seperti tagihan tagihan listrik atau instruksi memasak di belakang kemasan makanan, harus menggunakan kacamata mereka untuk memindai dan membaca semua teks yang tersedia. Ini berarti membuang-buang waktu memilah-milah informasi asing sampai rincian kunci diumumkan.

Kini, dengan fitur Ask Envision, pengguna cukup menangkap teks melalui kamera kacamata dan kemudian menggunakan suaranya untuk mengajukan pertanyaan langsung kepada ChatGPT tentang dokumen tersebut.

Ini mungkin berkisar dari pertanyaan seperti “Berapa sisa tagihan ini” hingga “Apa saja pilihan vegetarian di menu ini?”

Dalam hitungan detik, Ask Envision akan memberikan jawaban yang detail dan tepat kepada pemakainya melalui keluaran suara.

Karena ChatGPT 4 telah dilatih pada kumpulan data yang sangat luas yang tak terbayangkan berdasarkan penelusuran web dan interaksi manusia, perangkat lunak ini juga memiliki kesadaran kontekstual tingkat tinggi — artinya dapat menyelesaikan tugas serumit meringkas dokumen panjang atau menyarankan rute ke pengguna berdasarkan melihat peta angkutan umum.

Tugas penting lainnya yang dapat dikuasai oleh asisten virtual inovatif termasuk menunjukkan dengan tepat data penting dari grafik dan bagan di tempat kerja, menyediakan terjemahan instan dari dokumen dan kemasan bahasa asing, menafsirkan instruksi perakitan dan membimbing pengguna ke item tertentu di itinerary atau jadwal perjalanan.

Ia bahkan memproses dan memahami bahasa alami hingga ia dapat, jika diminta, secara instan membuat rap dengan gaya Eminem, atau artis apa pun yang dipilih, menggunakan kata-kata dari menu restoran atau selebaran perusahaan!

Namun, pada akhirnya, keindahan sebenarnya dari Ask Envision terletak pada kesederhanaan antarmuka penggunanya.

Meskipun menerapkan teknologi yang paling rumit yang dapat dipikirkan, antarmuka pengguna semudah berbicara dengan lantang pertanyaan sehari-hari atau mempertahankan percakapan dasar.

Memang, meskipun iterasi kacamata Envision saat ini memungkinkan pengguna melakukan panggilan jarak jauh untuk bantuan penglihatan menggunakan umpan kamera perangkat, CEO Envision Karthik Mahadevan menginginkan integrasi dengan ChatGPT untuk membuat kebutuhan panduan penglihatan jarak jauh menjadi semakin usang. waktu:

“Tujuan utamanya adalah agar kacamata dapat berinteraksi dengan mudah seperti halnya jika ada orang yang dapat melihat yang dapat Anda ajukan pertanyaan duduk di sebelah Anda,” kata Mahadevan.

“Teknologi harus dapat memberikan jawaban yang seakurat yang dapat dilakukan oleh manusia sambil membuat pengguna merasa jauh lebih mandiri karena mereka tidak harus bergantung pada orang lain.”

Awal bulan ini, Envision mengadakan webinar untuk menjelaskan lebih lanjut tentang Ask Envision kepada para penggunanya. Video tersebut menampilkan kontribusi dari beberapa penguji beta teknologi yang membuat liris tentang potensi perubahan permainannya:

“Ini luar biasa. Pikiran saya benar-benar hancur oleh ini, ”kata Chela dari California.

Dia melanjutkan, “Ini akan menjadi lebih baik dan lebih baik dan saya dapat melihat ini membuka banyak kesempatan untuk menerima informasi dengan berbagai cara. Saya senang melihat lebih banyak dari apa yang akan terjadi.

Wesley dari Calgary yang bekerja di bagian dukungan pelanggan dan dukungan teknis call center berkata, “Kacamata Envision memberi saya kesan yang lebih besar tentang kemandirian, mobilitas, dan sikap positif yang bisa dilakukan. Saya tidak terlalu terjebak untuk meminta bantuan dari orang lain dan saya hanya berharap untuk melihat kemajuan yang lebih besar di masa depan.”

Cakrawala baru

Berbicara tentang masa depan, tahap selanjutnya untuk Ask Envision, beberapa aspek yang saat ini sedang dalam pengujian beta, akan melihat fokus yang lebih besar untuk dapat memanfaatkan kekuatan ChatGPT untuk mengenali gambar, objek, dan adegan langsung – bukan hanya informasi tertulis. .

Di sini, peluangnya tidak terbatas mulai dari mengenali ekspresi wajah dan mengidentifikasi objek yang berbeda sampai ke arah navigasi.

Dalam jangka menengah, konsolidasi beberapa solusi teknologi bantuan di satu tempat berkat AI itulah yang menurut Mahadevan paling menarik.

“ChatGPT membantu kami melompati banyak teknologi lainnya karena tiba-tiba Anda tidak memerlukan aplikasi terjemahan terpisah, Anda tidak memerlukan aplikasi lain untuk membantu membaca menu.”

Dia melanjutkan, “Kami melihat ini sebagai salah satu fitur yang akan mengambil alih banyak teknologi bantuan. Pengguna akan memiliki asisten AI ultra-cerdas yang akan memahami segalanya untuk mereka.”

Menyelaraskan visi ini dengan kecepatan perkembangan kecerdasan buatan saat ini – ini kemungkinan besar akan mencakup efisiensi dan interaksi yang hanya dapat diimpikan oleh individu yang hidup dengan gangguan penglihatan parah beberapa tahun yang lalu.