Akses ke data real-time bukan lagi hal yang menyenangkan untuk dimiliki oleh organisasi; itu suatu keharusan. Dan melakukannya secara efektif bergantung pada cara yang andal, dapat diskalakan, dan mudah untuk mengembangkan dan menjalankan alur kerja data.
Karena Apache Airflow telah muncul sebagai standar de facto untuk mengatur jalur pipa data, Astronomer Inc. menggunakannya untuk menghilangkan friksi saat mengoperasionalkan pembelajaran mesin dan alur kerja data, menurut Steven Hillion (foto, kiri), kepala data Astronomer.
“Kami mulai dari awal tahun lalu, sekitar 500 tugas data yang kami jalankan setiap hari menjadi sekitar 15.000 setiap hari,” katanya. “Kami menjalankan sekitar satu juta operasi data setiap bulan dalam tim saya… kemampuan untuk memutar alur kerja produksi baru pada dasarnya dalam satu hari, Anda beralih dari ide di pagi hari ke dasbor baru atau model baru di sore hari. Itu benar-benar hasil bisnis.
Hillion dan Jeff Fletcher (kanan), direktur teknik lapangan dan pembelajaran mesin di Astronomer, berbicara dengan analis industri CUBE Lisa Martin di acara AWS Startup Showcase: “Top Startups Building Generative AI on AWS”, selama siaran eksklusif di theCUBE, SiliconANGLE Studio streaming langsung Media. Mereka membahas bagaimana Astronomer menggunakan Apache Airflow untuk menyempurnakan orkestrasi data dan MLOps. (* Pengungkapan di bawah.)
Bergabung dengan orkestrasi data dan titik MLOps
Dengan menggunakan pipa data, Astronomer memperluas kemampuan orkestrasi data ke operasi pembelajaran mesin, menurut Fletcher, yang mengatakan bahwa Apache Airflow sangat berguna.
“Saya berasal dari latar belakang pembelajaran mesin, dan bagi saya bagian yang menarik adalah bahwa pembelajaran mesin membutuhkan perluasan ke dalam orkestrasi,” katanya. “Banyak hal yang sama yang Anda gunakan untuk pergi dan mengembangkan dan membangun pipa di ruang orkestrasi data standar berlaku sama baiknya di ruang orkestrasi pembelajaran mesin … fokus saya di Astronomer benar-benar menjelaskan bagaimana Airflow dapat digunakan dengan baik di konteks pembelajaran mesin.”
Memiliki strategi orkestrasi data memungkinkan bisnis untuk menjadwalkan dan mengelola saluran data. Akibatnya, aliran informasi yang mulus di seluruh organisasi menjadi tak terelakkan, jelas Hillion.
“Airflow dibuat oleh Airbnb beberapa tahun yang lalu untuk mengelola semua saluran data mereka dan mengelola semua alur kerja mereka, dan sekarang mendukung ekosistem data untuk organisasi yang beragam seperti Electronic Arts,” katanya. “Conde Nast adalah salah satu pelanggan besar kami, pengguna besar Airflow … bank terbesar di Wall Street menggunakan Airflow dan Astronomer untuk mendukung aliran data di seluruh organisasi mereka.”
Layanan terkelola untuk Airflow dibutuhkan oleh keinginan untuk membakukan pipa data, menurut Hillion, yang mengatakan bahwa ini didorong oleh peningkatan penggunaan.
“Jika Anda melihat secara historis cara Airflow digunakan, seringkali dari bawah ke atas,” jelasnya. “Namun kemudian, semakin Anda beralih dari manajemen alur kerja murni dan penjadwalan pekerjaan ke topik orkestrasi yang lebih besar, Anda menyadari bahwa ini menjadi sangat rumit, Anda ingin memiliki koordinasi antar tim, dan Anda ingin memiliki standarisasi untuk cara Anda mengelola saluran data Anda.”
Model bisnis fleksibel astronom
Dengan memiliki model bisnis yang dapat disesuaikan, Astronomer mendorong optimalitas Apache Airflow, jelas Fletcher. Akibatnya, Airflow terkelola menawarkan kemampuan yang ditingkatkan seperti layanan OpenLineage dan lingkungan pengembang cloud.
“Kami memiliki layanan cloud terkelola, dan kami memiliki dua mode operasi,” katanya. “Pertama, Anda dapat membawa infrastruktur cloud Anda sendiri atau sebagai alternatif, kami dapat menghosting semuanya untuk Anda. Jadi itu menjadi penawaran SaaS lengkap. Dan dari sana Airflow melakukan apa yang Airflow lakukan, yaitu kemampuannya untuk menjangkau sistem data dan platform data yang berbeda dan kemudian menjalankan orkestrasi.”
Beberapa pembeda utama Astronom termasuk mampu menjadi tuan rumah penyedia cloud yang berbeda dan inovasi seperti OpenLineage yang memungkinkan ketertelusuran ujung ke ujung dari setiap kumpulan data, menurut Fletcher.
“Banyak dari itu karena kami tidak spesifik untuk satu penyedia cloud,” katanya. “Kami memiliki kemampuan untuk beroperasi di semua penyedia cloud besar. Satu hal yang telah kami lakukan adalah menambah Airflow inti dengan layanan Lineage, jadi gunakan framework OpenLineage, framework open-source lain untuk melacak kumpulan data saat mereka berpindah dari satu alur kerja ke alur kerja lainnya.”
Berikut wawancara video lengkap, bagian dari SiliconANGLE dan liputan theCUBE tentang AWS Startup Showcase: acara “Top Startups Building Generative AI on AWS”:
(* Pengungkapan: Astronomer Inc. mensponsori segmen CUBE ini. Baik Astronom maupun sponsor lain tidak memiliki kendali editorial atas konten di CUBE atau SiliconANGLE.)
Foto: SiliconANGLE
Tunjukkan dukungan Anda untuk misi kami dengan bergabung bersama para pakar Cube Club dan Komunitas Acara Cube kami. Bergabunglah dengan komunitas yang mencakup Amazon Web Services dan CEO Amazon.com Andy Jassy, pendiri dan CEO Dell Technologies Michael Dell, CEO Intel Pat Gelsinger, dan banyak tokoh dan pakar lainnya.
Untuk kala ini bermain togel sidney dan totobet sdy sangatlah mudah, para pemain lumayan bermodal smartphone dan jaringan internet untuk dapat mencari bandar togel sidney dan toto sgp di pencarian google. Namun, mesti anda memahami tidak semua web togel sidney dan toto sgp yang tersedia di pencarian google sanggup kami percayai. Karena pada sementara ini sudah terdapat ratusan website togel online penipuan yang hanya mengidamkan capai keuntungan sepihak. Oleh gara-gara itu kini kita memberi saran kamu untuk bermain togel sidney dan togel singapore di web terpercaya dan formal seperti
