Pembuat jala data: Standar diperlukan untuk menghindari ‘potensi penyalahgunaan dan penyalahgunaan’

Setelah memicu imajinasi industri analitik data dengan konsepnya tentang jaring data, Zhamak Dehghani telah mengambil langkah alami berikutnya dan menulis buku tentangnya.

“Data Mesh: Menyampaikan nilai berbasis data dalam skala besar” tidak hanya mencakup aspek teknologi dan arsitektur dari alternatif terdistribusi dan gabungan untuk pergudangan data yang dibayangkan Dehghani (foto), tetapi juga perubahan organisasi yang diperlukan untuk menata kembali data sebagai tanggung jawab dan produk bersama.

Dehghani, yang merupakan konsultan utama di Thoughtworks Holding Inc., baru-baru ini meluangkan waktu untuk wawancara lanjutan dengan SiliconANGLE.

Bagaimana penerimaan bukunya?

Luar biasa. Ini adalah buku terlaris ketiga O’Reilly sejak diterbitkan pada bulan Maret. Itu bukan pujian bagi saya; ini merupakan indikasi ketertarikan pada topik dan kurangnya pengetahuan mendalam di area tersebut. Orang ingin mencobanya.

Anda mengatakan dalam kata pengantar bahwa Anda menulis buku ini sedikit lebih awal dari yang Anda inginkan. Mengapa?

Saya merasa saya terpaksa menulis ini lebih awal karena konsepnya menjadi viral dengan sangat cepat dan saya tahu itu tidak akan lama lagi dikenali.

Saya ingin menunjuk ke Bintang Utara yang telah tercapai, eksekusi data mesh yang hebat yang telah sepenuhnya terwujud dan memiliki jalur beraspal untuk sampai ke sana. Tapi kami tidak di sana. Kami memiliki jalan yang sulit, visi, dan banyak orang dalam perjalanan, tetapi masih ada pelajaran yang bisa dipetik. Kami bergerak dari yang terdepan secara teknologi, senang-untuk-bermain-dengan terdepan ke perusahaan dan bahkan organisasi federal. Kami belum mencapai puncak sebelum palung kekecewaan.

Seperti apa bentuk palung kekecewaan?

Ada terburu-buru gila di mana kita semua harus memiliki data mesh dan cepat. Saya pikir organisasi akan menyadari bahwa ini adalah transformasi dan membutuhkan waktu. Orang-orang yang tidak memiliki keterampilan atau kesabaran akan jatuh lebih awal.

Apa saja tantangan yang dihadapi pengadopsi awal?

Bootstrap dengan cara yang benar adalah tantangan utama, bersama dengan ambiguitas dan mencari tahu bagaimana melakukannya dengan benar. Pengadopsi awal berpikir mereka memiliki kepala di sekitar konsep dan sekarang bermigrasi dari pendekatan yang telah mereka bangun selama bertahun-tahun. Salah satu tantangannya adalah mengetahui secara organisasi dari mana harus memulai dan siapa yang harus memimpin upaya tersebut.

Siapa pemimpin terbaik dari inisiatif data mesh?

Ini adalah visioner dalam organisasi. Ini mungkin kombinasi dari [chief technology officer] atau chief data officer dan CEO. Seringkali mereka baru diangkat karena pendekatan sebelumnya tidak berhasil. Tapi ini bukan sesuatu yang bisa mereka lakukan sendiri. Mereka perlu melibatkan tim yang lebih luas.

Kejutan apa yang Anda temui ketika organisasi mulai membangun jaringan data?

Orang-orang telah menemukan banyak cara berbeda untuk mengeksekusi. Setiap orang menerapkannya sedikit berbeda karena mereka ingin memanfaatkan jutaan investasi yang telah mereka buat dalam teknologi selama bertahun-tahun. Tidak ada cetak biru bagaimana membangunnya.

Karena data mesh dikooptasi oleh vendor dan disesuaikan dengan kebutuhan mereka sendiri, apakah Anda khawatir konsepnya akan rusak?

Jika ada satu hal yang membuat saya terjaga di malam hari adalah potensi penyalahgunaan dan penyalahgunaan konsep. Data mesh diperkenalkan sebagai pendekatan untuk memecahkan beberapa poin rasa sakit yang sangat jelas. Pasar menunjukkan minat dan vendor harus merespons dalam waktu singkat. Mereka sudah memiliki inti strategi yang sesuai dengan paradigma terakhir mereka, jadi mereka memperluas produk yang ada dengan mengadopsi bahasa data mesh. Mereka mengatakan “Beli produk saya dan Anda memiliki data mesh.” Beberapa dari produk tersebut tidak akan dapat diskalakan dan dapat menjadi kekacauan besar.

Apa yang harus terjadi agar definisi mesh data yang lebih terstruktur dapat dibuat?

Standar yang ada sudah cukup untuk tempat kita sekarang, tetapi jika kita ingin data dibagikan ke seluruh organisasi, beberapa standar diperlukan.

Saya membayangkan pendekatan federasi dengan serangkaian perusahaan yang menyerang berbagai bidang standardisasi. Misalnya, berbagi data dalam model mesh sangat berbeda dari data lake atau model gudang data. Kita perlu menyepakati seperti apa kontrak itu agar pembagian terjadi.

Sudahkah Anda didekati tentang membuat fondasi data mesh?

Saya telah didekati tetapi tidak oleh orang yang tepat.

Apa pendapat Anda tentang konsep “ilmuwan data warga?”

Gagasan tentang siapa pun dalam suatu organisasi, terlepas dari di mana keterampilan mereka berada pada spektrum, diberdayakan untuk berhipotesis dan menguji adalah ide yang bagus untuk diperjuangkan. Namun, agar hipotesis menjadi berkelanjutan dan tangguh, Anda memerlukan rekayasa dan pengembangan.

Saya belum melihat platform low-code/no-code menghasilkan solusi tangguh dan jangka panjang yang bisa matang dan mudah beradaptasi. Jika Anda berbicara tentang membangun solusi bisnis ujung ke ujung dengan ilmuwan data warga, itu agak tidak masuk akal.

Anda baru-baru ini memberi tahu David Vellante dari SiliconANGLE, “Kami beralih dari pengambilan keputusan algoritmik logis berbasis alasan ke komputasi dan pengambilan keputusan berbasis model di mana kami mengeksploitasi pola dan sinyal di dalam data.” Apa perbedaan antara keduanya?

Ada beberapa area khusus di mana transformasi itu telah terjadi, seperti analisis risiko dan deteksi penipuan. Mereka bereaksi terhadap perilaku daripada menggunakan penalaran if/then/else. Tetapi untuk diadopsi secara luas, generasi pengembang berikutnya harus terbiasa dengan model statistik dan matematika yang diperlukan untuk berpikir seperti itu.

Misalnya, satu klien ritel memiliki sistem berbasis aturan yang memberi tahu mereka kapan dan di mana harus memindahkan produk antara gudang dan toko. Tetapi seseorang harus memikirkan semua “seandainya” dan “yang lain”. Atau, mungkin ada model pengoptimalan matematika yang dilatih dengan data untuk mengetahui rute yang dioptimalkan untuk item tertentu. Anda memanfaatkan model untuk hasil terbaik.

Foto: ThoughtWorks