Apa yang dimaksud dengan observability?

Pengamatan memainkan peran penting dalam menjaga ketersediaan, kinerja dan keamanan sistem perangkat lunak modern dan lingkungan komputasi cloud.

Istilah “observabilitas” berasal dari teori kontrol, sebuah teori teknik yang berkaitan dengan mengotomatiskan kontrol sistem dinamis, seperti mengatur aliran air melalui pipa berdasarkan masukan dari sistem kontrol aliran.

Observabilitas menyediakan visibilitas mendalam ke dalam tumpukan teknologi terdistribusi modern untuk pengidentifikasi dan penyelesaian masalah secara otomatis dan real-time. Semakin teramati sebuah sistem, semakin cepat dan akurat tim TI dapat beralih dari masalah kinerja yang teridentifikasi ke akar masalahnya, tanpa pengujian atau pengodean tambahan.

Dalam operasi TI (ITOps) dan komputasi cloud, observabilitas memerlukan alat perangkat lunak yang mengumpulkan, menghubungkan, dan menganalisis aliran data kinerja yang stabil dari aplikasi dan perangkat keras serta jaringan tempat aplikasi tersebut berjalan. Tim kemudian dapat menggunakan data untuk memantau, memecahkan masalah, dan men-debug aplikasi dan jaringan, dan pada akhirnya mengoptimalkan pengalaman pelanggan dan memenuhi perjanjian tingkat layanan (SLA) dan persyaratan bisnis lainnya.

Observabilitas sering kali dikacaukan dengan pemantauan kinerja aplikasi dan manajemen kinerja jaringan (NPM). Namun, alat bantu pengamatan merupakan evolusi alami dari pemantauan kinerja aplikasi dan metode pengumpulan data NPM. Solusi ini lebih cocok untuk mengatasi sifat penerapan aplikasi cloud-native yang semakin terdistribusi dan dinamis.

Observabilitas tidak menggantikan pendekatan pemantauan lainnya, tetapi meningkatkan dan memperluasnya.

Platform observabilitas terus bekerja dengan mengintegrasikan diri ke instrumentasi yang ada dalam komponen aplikasi dan infrastruktur, sehingga dapat terus menemukan, mengumpulkan telemetri kinerja, serta melengkapi komponen tersebut dengan fitur dan instrumentasi tambahan.

Observabilitas berfokus pada tiga jenis telemetri utama:

Log adalah catatan peristiwa aplikasi yang terperinci, diberi stempel waktu, lengkap, dan tidak dapat diubah. Log dapat digunakan untuk membuat catatan dalam satuan milidetik dengan ketelitian yang tinggi dari setiap peristiwa, lengkap dengan konteks terkait. Pengembang menggunakan log untuk pemecahan masalah dan debugging.

Melacak catatan “perjalanan” menyeluruh dari setiap permintaan pengguna, mulai dari antarmuka pengguna atau aplikasi mobile, melalui seluruh arsitektur, dan kembali ke pengguna.

Metrik (terkadang disebut metrik deret waktu) adalah ukuran mendasar aplikasi dan kesehatan sistem dari waktu ke waktu. Misalnya, metrik digunakan untuk mengukur berapa banyak memori atau kapasitas  CPU yang digunakan aplikasi dalam lima menit, atau berapa banyak latensi yang dialami aplikasi selama lonjakan penggunaan.

Alat observabilitas juga menghasilkan peta ketergantungan yang mengungkapkan bagaimana setiap komponen aplikasi bergantung pada komponen lain, aplikasi, dan sumber daya TI.

Setelah mengumpulkan telemetri, platform ini mengkorelasikan data secara real time, memberikan tim DevOps, tim rekayasa keandalan situs (SRE), dan staf TI informasi kontekstual yang lengkap. Tim memahami “apa, di mana, dan mengapa” dari setiap peristiwa yang mungkin mengindikasikan, menyebabkan, atau mengatasi masalah kinerja aplikasi.

Banyak platform observabilitas juga secara otomatis menemukan sumber telemetri baru saat muncul di dalam sistem, seperti ketika antarmuka pemrograman aplikasi (API) baru ditambahkan ke jaringan. Platform terkemuka juga mencakup kemampuan kecerdasan buatan untuk operasi (AIOps) yang dapat memisahkan sinyal, yang merupakan indikasi masalah nyata, dari “noise,” yang merupakan data yang tidak terkait dengan masalah saat ini atau potensial.

Alat bantu pengamatan biasanya mengotomatiskan tiga proses utama untuk membantu bisnis memahami tumpukan teknologinya dengan lebih jelas:

Pengumpulan data berkelanjutan memungkinkan pengamatan. Alat pengamatan memfasilitasi pengumpulan dan agregasi, dan akses ke, data memori CPU, log aplikasi, angka ketersediaan tinggi, latensi rata-rata, dan metrik lainnya.

Tim harus dapat melihat data aplikasi dan sistem dengan relatif mudah, sehingga alat pengamatan menyiapkan dasbor untuk memantau kesehatan aplikasi, layanan terkait, dan tujuan bisnis apa pun yang relevan.

Fitur pemantauan juga membantu memperjelas bagaimana layanan bekerja satu sama lain, dengan menggunakan alat bantu seperti grafik ketergantungan dan kesesuaian dengan arsitektur secara keseluruhan.

Sebelumnya, tugas analisis data dilakukan dengan menggunakan alat manajemen kinerja aplikasi (APM), yang akan menggabungkan data yang dikumpulkan dari setiap sumber data untuk membuat laporan, dasbor, dan visualisasi yang dapat dicerna, mirip dengan fitur pemantauan dalam perangkat lunak observabilitas.

Karena arsitektur modern sering mengandalkan layanan mikro yang terkontainerisasi, alat observabilitas sering kali memindahkan telemetri dasar ke lapisan Kubernetes, sehingga memungkinkan tim TI untuk memfokuskan analisis data pada tujuan tingkat layanan (SLO) dan indikator tingkat layanan (SLI). Perangkat lunak observabilitas mengompilasi data dari berbagai sumber, memeriksanya untuk menemukan apa yang relevan dan memberikan insight yang dapat ditindaklanjuti kembali ke tim pengembangan.

Perlu dicatat bahwa kemampuan otomatisasi perangkat lunak pengamatan melampaui ketiga proses ini. Alat bantu Observabilitas juga dapat mengotomatiskan proses debugging, instrumentasi, dan pembaruan dasbor pemantauan saat layanan baru ditambahkan ke jaringan. Mereka mengelola penanganan agen, di mana agen adalah komponen perangkat lunak kecil yang diterapkan di seluruh ekosistem untuk terus mengumpulkan data telemetri, dan banyak lagi.

Selama beberapa dekade terakhir, tim TI terutama mengandalkan alat APM untuk memantau dan memecahkan masalah aplikasi. APM, yang mencakup—tetapi tidak terbatas pada—pemantauan kinerja aplikasi, secara berkala mengambil sampel dan menggabungkan data aplikasi dan sistem yang dapat membantu mengidentifikasi masalah kinerja aplikasi.

APM menganalisis telemetri relatif terhadap indikator kinerja utama (KPI) dan menyusun hasilnya dalam dasbor yang mudah dibaca, yang memperingatkan tim operasi dan tim pendukung terhadap kondisi abnormal yang menyebabkan, atau mengancam menyebabkan, masalah kinerja sistem.

Alat APM efektif untuk memantau dan memecahkan masalah aplikasi monolitik dan aplikasi terdistribusi tradisional. Dalam konfigurasi ini, rilis kode baru terjadi secara berkala, dan alur kerja dan dependensi antara komponen aplikasi, server, dan sumber daya terkait sudah dikenal atau relatif mudah dilacak.

Namun, saat ini, organisasi merangkul transformasi digital. Mereka dengan cepat beralih ke praktik pengembangan modern, seperti pengembangan tangkas, integrasi berkelanjutan dan penerapan berkelanjutan (CI/CD), DevOps, dan mengadopsi teknologi cloud-native, seperti kontainer Docker dan fungsi nirserver.

Aplikasi modern sering kali mengandalkan arsitektur layanan mikro, yang sering kali berjalan di dalam klaster Kubernetes yang terkontainerisasi. Hasilnya, pengembang dapat membawa lebih banyak layanan ke pasar lebih cepat dari sebelumnya.

Namun, dengan melakukan itu, mereka menerapkan komponen aplikasi baru di seluruh arsitektur. Komponen-komponen ini beroperasi dalam berbagai bahasa dan format data dan fungsi untuk durasi yang bervariasi, terkadang hanya untuk detik atau sepersekian detik, seperti yang terlihat dengan fungsi nirserver. Itu berarti beberapa waktu proses, dengan setiap waktu proses menghasilkan output log di lokasi yang berbeda dalam arsitektur.

Pengambilan sampel data sekali dalam satu menit dan protokol pemantauan tradisional APM tidak dapat mengimbangi jumlah data yang begitu besar.

Sebaliknya, bisnis memerlukan telemetri otomatis bervolume tinggi, terperinci, dan pembuatan insight real-time yang disediakan oleh alat observabilitas. Alat-alat ini memungkinkan tim pengembangan untuk membuat dan menyimpan rekaman secara real-time, dengan ketelitian tinggi, kaya konteks, dan berkorelasi penuh dari setiap aplikasi, permintaan pengguna, dan transaksi data di jaringan.

Topik observabilitas telah menjadi pusat DevOps modern, yang mempercepat pengiriman aplikasi dan layanan dengan menggabungkan dan mengotomatiskan pekerjaan pengembangan perangkat lunak dan tim operasi TI. Metodologi DevOps menggunakan alat dan praktik bersama, dan pembaruan yang lebih kecil dan sering, untuk membuat pengembangan perangkat lunak lebih cepat, lebih efisien, dan lebih andal.

Strategi DevOps yang efektif mengharuskan tim untuk mengidentifikasi potensi hambatan kinerja dan masalah dalam pengalaman akhir pengguna dan menggunakan alat pengamatan untuk mengalamatkan masalah tersebut. Dengan platform pengamatan, tim DevOps dapat dengan cepat mengidentifikasi komponen dan peristiwa yang bermasalah dengan menggunakan insight data yang relevan.

Platform observabilitas juga memberdayakan tim DevOps dengan alat dan metode rekayasa pengamatan untuk lebih memahami sistem mereka. Alat dan metode ini mencakup analisis insiden untuk membantu menemukan penyebab kejadian sistem yang tidak terduga dan meningkatkan taktik  respons insiden di masa mendatang; penandaan fitur sehingga tim dapat mengaktifkan dan menonaktifkan fungsi aplikasi tanpa mengubah kode sumber; dan verifikasi berkelanjutan, yang menggunakan machine learning (ML) untuk menganalisis data penerapan historis dan menetapkan garis dasar kinerja.

Insight data observabilitas berkualitas tinggi berarti masukan yang lebih cepat dan lebih baik dalam pengembangan perangkat lunak dan proses pengujian serta serta pipeline CI/CD yang lebih efisien.

Kecerdasan buatan mengubah kemampuan observasi, memadukan analisis tingkat lanjut, otomatisasi, dan fitur prediktif ke dalam operasi TI. Observabilitas tradisional menawarkan visibilitas terperinci ke dalam sistem, tetapi AI meningkatkan visibilitas tersebut dengan menganalisis data secara cerdas untuk meramalkan dan mencegah masalah sebelum terjadi.

Pengamatan berbasis AI memungkinkan tim pengembangan untuk secara proaktif melindungi infrastruktur TI perusahaan, bukan memecahkan masalah saat muncul. Dengan menggunakan algoritma ML, alat observabilitas dapat mengurai aliran data yang luas untuk menemukan pola, tren, dan anomali, mengungkapkan insight yang mungkin diabaikan oleh pekerja manusia.

Beberapa alat dan fitur observabilitas berbasis AI meliputi:

Alat observabilitas dapat menggunakan teknologi AI untuk meniru dan mengotomatiskan pengambilan keputusan manusia dalam proses remediasi.

Katakanlah sebuah tim menggunakan platform manajemen pengalaman digital (DEM). Saat ini, platform ini menggunakan berbagai skrip remediasi yang memungkinkan staf TI melakukan perbaikan satu klik dan menyarankan opsi layanan mandiri kepada pengguna.

Dengan menggunakan pemantauan berkelanjutan, fungsi pengamatan berbasis AI dapat menganalisis data yang masuk untuk menemukan anomali dan aktivitas yang melampaui ambang batas yang ditetapkan. Platform observabilitas kemudian dapat melakukan serangkaian tindakan korektif, mirip dengan skrip remediasi untuk mengatasi masalah tersebut.

Jika, karena suatu alasan, perangkat lunak tidak dapat menyelesaikan masalah, perangkat lunak akan secara otomatis membuat tiket dengan semua detail terkait. Detail ini mencakup lokasi masalah, tingkat prioritasnya, dan insight yang relevan dari model AI di platform manajemen masalah tim TI.

Proses ini memungkinkan staf TI untuk fokus hanya pada masalah yang tidak dapat ditangani perangkat lunak dan menyelesaikan masalah kinerja sistem secepat mungkin.

LLM unggul dalam mengenali pola dalam sejumlah besar data tekstual yang berulang, yang sangat mirip dengan data log dan telemetri dalam sistem yang kompleks dan dinamis. Dan LLM saat ini dapat dilatih untuk proses TI tertentu—atau didorong oleh protokol rekayasa prompt —untuk mengembalikan informasi dan insight dengan menggunakan sintaks dan semantik bahasa manusia.

Kemajuan dalam LLM dapat membantu pengguna alat bantu observabilitas untuk menulis dan menjelajahi kueri dalam bahasa alami, menjauh dari bahasa kueri yang kompleks. Pengembangan ini secara signifikan dapat memberikan manfaat bagi pengguna dari semua tingkat keahlian, terutama bagi mereka yang memiliki keahlian teknis yang terbatas, sehingga membantu mereka mengelola data yang kompleks dengan lebih efektif.

LLM belum sesuai untuk analisis dan pemecahan masalah secara real-time karena sering kali tidak memiliki ketepatan untuk menangkap konteks yang lengkap. Namun, LLM memiliki kemampuan pemrosesan teks yang canggih untuk membantu menyederhanakan insight data dalam platform pengamatan.

Insight yang lebih mudah diakses memungkinkan kesadaran yang lebih baik akan perilaku sistem dan pemahaman yang lebih baik dan lebih luas tentang masalah TI dan titik kegagalan.

AI kausal adalah cabang AI yang berfokus pada klarifikasi dan pemodelan hubungan sebab akibat antar variabel, bukan sekadar mengidentifikasi korelasi.

Teknik AI tradisional, seperti ML, sering mengandalkan korelasi statistik untuk membuat prediksi. AI Kausal sebaliknya bertujuan untuk menemukan mekanisme mendasar yang menghasilkan korelasi untuk meningkatkan kekuatan prediksi dan memungkinkan pengambilan keputusan yang lebih bertarget.

Menggabungkan AI ke dalam sistem pengamatan dapat secara signifikan meningkatkan insight organisasi ke dalam lingkungan TI-nya.

AI kausal memungkinkan tim TI untuk menganalisis hubungan dan saling ketergantungan antara komponen infrastruktur, sehingga mereka dapat lebih menentukan akar penyebab masalah operasional dan kualitas. Ini memberdayakan pengembang untuk memahami tidak hanya “kapan dan di mana” masalah sistem tetapi juga “mengapa”, membantu tim menyelesaikan masalah dengan lebih cepat dan meningkatkan keandalan sistem.

Full stack observability dapat membuat sistem lebih mudah dipahami dan dipantau, lebih mudah dan lebih aman untuk diperbarui dengan kode baru, dan lebih mudah diperbaiki. Ini membantu memungkinkan tim TI untuk:

Keterbatasan utama dari alat pemantauan adalah bahwa alat ini hanya mengawasi “hal-hal yang diketahui”—kondisi luar biasa yang sudah diketahui oleh tim TI yang perlu diwaspadai. Alat pengamatan menemukan kondisi yang mungkin tidak pernah diketahui atau terpikirkan untuk dicari tim dan kemudian melacak hubungan mereka dengan masalah kinerja tertentu. Insight ini memberikan konteks yang lebih besar untuk membantu mengidentifikasi akar masalah dan mempercepat penyelesaian.

Pengamatan mengintegrasikan pemantauan ke dalam fase awal proses pengembangan perangkat lunak. Integrasi ini membantu tim DevOps mengidentifikasi dan memperbaiki masalah pada kode baru sebelum berdampak pada pengalaman pelanggan atau SLA.

Alat pengamatan memungkinkan pengembang untuk mengumpulkan, menganalisis, mengorelasikan, dan menemukan berbagai data telemetri untuk lebih memahami perilaku pengguna dan mengoptimalkan pengalaman pengguna.

Alat observabilitas memberi tim kemampuan untuk menetapkan instrumentasi dan pengumpulan data pada konfigurasi klaster Kubernetes, sehingga telemetri dapat dikumpulkan sejak klaster dijalankan hingga dihentikan.

Tim TI dapat menggabungkan observabilitas dengan kemampuan AIOps, ML, dan otomatisasi untuk memprediksi masalah berdasarkan output sistem dan menyelesaikannya tanpa intervensi manusia.

Solusi observabilitas mempercepat proses penemuan dan penyelesaian masalah. Akselerasi ini membantu tim menjaga ketersediaan aplikasi tetap tinggi, rata-rata waktu perbaikan (MTTR) rendah, dan pemadaman seminimal mungkin.

Solusi observabilitas mengambil pendekatan holistik dan cloud-native terhadap pencatatan dan pemantauan aplikasi. Pendekatan ini memfasilitasi otomatisasi proses yang mulus dan bekerja dengan data kontekstual historis untuk membantu tim mengoptimalkan aplikasi perusahaan dengan lebih baik dalam berbagai contoh penggunaan.

• Pemantauan sistem real-time. Alat pengamatan menyediakan telemetri kesehatan dan kinerja menyeluruh secara real-time sehingga tim TI dapat mempercepat protokol debugging dan menjaga aplikasi tetap berjalan secara optimal.
  
  
• Transformasi digital yang diinformasikan dan migrasi cloud. Ketika perusahaan memodernisasi infrastruktur aplikasi dan cloud mereka, mereka sering meningkatkan kompleksitas sistem secara keseluruhan. Platform Observability memungkinkan tim untuk mempertahankan visibilitas ke dalam lingkungan multicloud dan hybrid cloud yang terdistribusi dan sangat dinamis.
  
  
• Peningkatan kinerja bisnis. Observabilitas memungkinkan tim untuk menemukan dan perbaikan masalah dengan lebih cepat, sehingga mereka dapat menghabiskan lebih banyak waktu untuk fokus pada aspek bisnis lainnya.
  
  
• DevSecOps yang lebih baik. Sistem yang dapat diamati memungkinkan tim pengembangan, keamanan, dan operasi untuk membangun aplikasi yang lebih aman dan Resilient dengan memberikan masukan berkelanjutan dan real-time dari siklus hidup pengiriman perangkat lunak.
  
  
• Optimalisasi sistem berbasis AI. Alat observabilitas berbasis AI dapat bekerja di seluruh sistem terdistribusi yang kompleks, menerapkan algoritme AI untuk menganalisis dan menghubungkan data dengan cepat. Model ML dalam alat pengamatan juga dapat menghasilkan analisis prediktif dan memperkirakan tren kinerja.