Apa Bedanya? Insinyur Data vs Ilmuwan Data vs Insinyur Analitik?

Seorang insinyur data mengembangkan dan memelihara arsitektur dan saluran data. Pada dasarnya, mereka membangun program yang menghasilkan data dan bertujuan untuk melakukannya dengan cara yang memastikan output bermakna untuk operasi dan analisis.

Beberapa tanggung jawab utama mereka meliputi:

• Mengelola orkestrasi saluran
• Membangun dan memelihara platform data
• Memimpin upaya integrasi data kustom apa pun
• Mengoptimalkan kinerja gudang data
• Mengembangkan proses untuk pemodelan data dan pembuatan data
• Standardisasi praktik manajemen data

Keterampilan penting untuk insinyur data meliputi:

• Keahlian dalam SQL
• Kemampuan untuk bekerja dengan data terstruktur dan tidak terstruktur
• Pengetahuan mendalam dalam pemrograman dan algoritma
• Pengalaman dengan alat teknik dan pengujian
• Pemikiran kreatif yang kuat dan kemampuan memecahkan masalah

Seorang insinyur analitik menyatukan sumber data dengan cara yang dapat mendorong insight terkonsolidasi. Mereka melakukan pekerjaan membangun sistem yang dapat memodelkan data dalam cara yang sederhana dan jelas berulang kali, sehingga semua orang dapat menggunakan sistem tersebut untuk menjawab pertanyaan secara berkelanjutan. Seperti yang dikatakan oleh salah satu insinyur analitik di dbt Labs (tautan berada di luar ibm.com), bagian penting dari rekayasa analitik adalah "memungkinkan Anda untuk menyelesaikan masalah yang sulit sekali, kemudian mendapatkan manfaat dari solusi tersebut tanpa batas."

Beberapa tanggung jawab utama mereka meliputi:

• Memahami persyaratan bisnis dan menentukan hasil analitik yang sukses
• Membersihkan, mengubah, menguji, dan menerapkan data agar siap untuk dianalisis
• Memperkenalkan definisi dan dokumentasi untuk data utama dan proses data
• Menghadirkan teknik rekayasa perangkat lunak seperti integrasi berkelanjutan ke kode analitik
• Melatih orang lain untuk menggunakan data akhir untuk analisis
• Berkonsultasi dengan ilmuwan data dan analis di berbagai bidang untuk meningkatkan skrip dan kueri

Keterampilan penting untuk insinyur analitik (tautan berada di luar ibm.com) meliputi:

• Keahlian dalam SQL
• Pemahaman mendalam tentang praktik terbaik rekayasa perangkat lunak
• Pengalaman dengan gudang data dan alat visualisasi data
• Kemampuan yang kuat seputar menjaga hubungan multifungsi
• Latar belakang dalam analisis data atau rekayasa data

Seorang ilmuwan data mempelajari kumpulan data besar menggunakan analisis statistik canggih dan algoritma machine learning. Dengan demikian, mereka mengidentifikasi pola dalam data untuk mendorong insight bisnis yang penting kemudian biasanya menggunakan pola tersebut untuk mengembangkan solusi machine learning untuk mendapatkan insight yang lebih efisien dan akurat dalam skala besar. Mereka khususnya menggabungkan pengalaman statistik ini dengan pengalaman rekayasa perangkat lunak.

Beberapa tanggung jawab utama mereka meliputi:

• Mengubah dan membersihkan kumpulan data besar menjadi format yang dapat digunakan
• Menerapkan teknik seperti pengelompokan, neural networks, dan struktur keputusan untuk mendapatkan insight dari data
• Menganalisis data untuk mengidentifikasi pola dan menemukan tren yang dapat berdampak pada bisnis
• Mengembangkan algoritma machine learning (tautan berada di luar ibm.com) untuk mengevaluasi data
• Membuat model data untuk memperkirakan hasil

Keterampilan penting untuk ilmuwan data meliputi:

• Keahlian dalam SAS, R, dan Python
• Keahlian mendalam dalam machine learning, pengondisian data, dan matematika tingkat lanjut
• Pengalaman menggunakan alat big data
• Memahami pengembangan dan operasi API
• Latar belakang dalam optimasi data dan penambangan data
• Kemampuan berpikir kreatif dan pengambilan keputusan yang kuat

Bagaimana semuanya bekerja beriringan?

Bahkan melihat deskripsi insinyur data, ilmuwan data, dan insinyur analitik secara berdampingan dapat menyebabkan kebingungan, karena pasti ada tumpang tindih dalam keterampilan dan area fokus pada tiap peran ini. Jadi bagaimana semuanya bekerja beriringan?

Seorang insinyur data membuat program yang menghasilkan data dan meskipun mereka bertujuan agar data tersebut bermakna, data masih perlu digabungkan dengan sumber lain. Seorang insinyur analitik menyatukan semua sumber data tersebut untuk membangun sistem yang memungkinkan pengguna mengakses insight yang terkonsolidasi dengan cara yang mudah diakses dan dapat diulang. Terakhir, seorang ilmuwan data mengembangkan alat untuk menganalisis semua data tersebut dalam skala besar dan mengidentifikasi pola serta tren dengan lebih cepat dan lebih baik daripada yang dapat dilakukan oleh manusia.

Yang terpenting, harus ada hubungan yang kuat di antara semua peran ini. Tetapi seringnya hubungan itu akhirnya tidak berfungsi. Jeff Magnuson, Wakil Presiden, Platform Data di Stitch Fix, menulis tentang topik ini beberapa tahun yang lalu dalam sebuah artikel berjudul Engineers Shouldn’t Write ETL (tautan berada di luar ibm.com. com).Inti dari artikelnya adalah bahwa tim tidak boleh memiliki “pemikir” dan “pelaku” yang terpisah. Sebaliknya, tim data yang berfungsi dengan baik membutuhkan kepemilikan menyeluruh atas pekerjaan yang mereka hasilkan, yang berarti tidak boleh ada mentalitas “lempar sana lempar sini” di antara semua peran ini.

Hasilnya adalah permintaan tinggi untuk ilmuwan data yang memiliki latar belakang teknik dan memahami berbagai hal seperti bagaimana membangun proses yang dapat diulang dan pentingnya waktu aktif dan SLA. Pada gilirannya, pendekatan ini berdampak pada peran insinyur data yang kemudian dapat bekerja berdampingan dengan ilmuwan data dengan cara yang sama sekali berbeda. Dan tentu saja, itu juga mengalir ke insinyur analitik.

Memahami perbedaan antara insinyur data, ilmuwan data, dan insinyur analitik sepenuhnya—untuk saat ini

Faktanya adalah bahwa banyak organisasi mendefinisikan masing-masing peran ini secara berbeda. Sulit untuk menarik garis tegas yang memisahkan ketiga fungsi ini karena, hingga batas tertentu, semuanya memiliki tugas yang serupa. Seperti yang disimpulkan Josh Laurito: “Semua orang menulis SQL. Semua orang peduli dengan kualitas. Setiap orang mengevaluasi tabel yang berbeda dan menulis data di suatu tempat, dan semua orang mengeluh tentang zona waktu. Semua orang melakukan banyak hal yang sama. Jadi sebenarnya cara kita membagi berbagai peran adalah berdasarkan sejauh apa orang berkaitan dengan penyimpanan data analitis utama kita.”

Di Squarespace, ini berarti insinyur data bertanggung jawab atas semua pekerjaan yang dilakukan untuk membuat dan memelihara penyimpanan tersebut, insinyur analitik ditanamkan ke dalam tim fungsional untuk mendukung pengambilan keputusan, menyusun narasi seputar data, dan menggunakannya untuk mendorong tindakan dan keputusan, dan terakhir, ilmuwan data duduk di tengah-tengah, menyiapkan struktur insentif dan metrik untuk membuat keputusan dan memandu orang.

Tentu saja, itu akan sedikit berbeda untuk setiap organisasi. Dan meskipun saat ini garis batasnya masih kabur, masing-masing peran ini akan terus berkembang dan semakin menggeser dinamika di setiap peran tersebut. Namun, semoga gambaran umum ini dapat membantu menjawab pertanyaan tentang apa perbedaan antara insinyur data vs ilmuwan data vs insinyur analitik—untuk saat ini.

Pelajari lebih lanjut tentang platform observabilitas data berkelanjutan dari IBM Databand dan bagaimana platform ini membantu mendeteksi insiden data lebih awal, menyelesaikannya lebih cepat, dan memberikan data yang lebih dapat tepercaya kepada bisnis. Jika Anda siap untuk melihat lebih dalam, pesan demo hari ini.