Apa itu deteksi objek?

Deteksi objek adalah tugas visi komputer yang bertujuan untuk menemukan objek dalam gambar digital. Dengan demikian, ini adalah instance kecerdasan buatan yang terdiri dari melatih komputer untuk melihat seperti manusia, khususnya dengan mengenali dan mengklasifikasikan objek menurut kategori semantik.¹ Lokalisasi objek adalah teknik untuk menentukan lokasi objek tertentu dalam gambar dengan membatasi objek melalui kotak pembatas. Klasifikasi objek adalah teknik lain yang menentukan kategori mana objek yang terdeteksi berada. Tugas deteksi objek menggabungkan subtugas pelokalan dan klasifikasi objek untuk secara bersamaan memperkirakan lokasi dan jenis instance objek dalam satu atau beberapa gambar.²

Deteksi objek tumpang tindih dengan teknik visi komputer lainnya, tetapi para pengembang tetap memperlakukannya sebagai upaya terpisah.

Klasifikasi gambar (atau pengenalan gambar) bertujuan untuk mengklasifikasikan gambar menurut kategori. Contoh dasar dari hal ini adalah pengujian gambar CAPTCHA, di mana sekelompok gambar dapat diatur sebagai gambar dengan rambu berhenti dan gambar tanpa rambu berhenti. Klasifikasi gambar menetapkan satu label pada keseluruhan gambar.

Deteksi objek, sebagai perbandingan, menggambarkan objek individual dalam gambar sesuai dengan kategori tertentu. Sementara klasifikasi gambar membagi gambar di antara gambar yang memiliki rambu berhenti dan yang tidak, deteksi objek menemukan dan mengkategorikan semua rambu jalan dalam gambar, serta objek lain seperti mobil dan orang.

Segmentasi gambar (atau segmentasi semantik) mirip dengan deteksi objek, meskipun lebih tepat. Seperti deteksi objek, segmentasi menggambarkan objek dalam gambar sesuai dengan kategori semantik. Tetapi alih-alih menandai objek menggunakan kotak, segmentasi membatasi objek pada tingkat piksel.

Memahami bagian dalam mekanisme deteksi objek membutuhkan dasar dalam visi komputer dan pemrosesan gambar digital secara lebih luas. Bagian ini memberikan gambaran umum.

Dalam visi komputer, gambar dinyatakan sebagai fungsi berlanjut pada bidang koordinat 2D yang direpresentasikan sebagai f(x,y). Apabila didigitalkan, gambar mengalami dua proses utama yang disebut sampling dan kuantisasi, yang secara ringkas, bersama-sama mengubah fungsi gambar berlanjut menjadi struktur grid elemen piksel yang terpisah. Komputer kemudian dapat menyegmentasikan gambar ke dalam wilayah-wilayah terpisah menurut kesamaan visual dan kedekatan piksel.³

Dengan melabeli gambar menggunakan antarmuka anotasi, pengguna mendefinisikan objek tertentu sebagai wilayah dengan fitur tingkat piksel tertentu (misalnya, area, nilai abu-abu, dan sebagainya). Ketika diberi gambar input, model pendeteksian objek mengenali wilayah dengan fitur yang mirip dengan yang didefinisikan dalam kumpulan data pelatihan sebagai objek yang sama. Dengan cara ini, deteksi objek adalah bentuk pengenalan pola. Model pendeteksian objek tidak mengenali objek itu sendiri, melainkan kumpulan properti seperti ukuran, bentuk, warna, dan sebagainya, dan mengklasifikasikan wilayah berdasarkan pola visual yang disimpulkan dari data pelatihan yang dianotasi secara manual.⁴

Model deteksi objek untuk mobil tanpa pengemudi, misalnya, tidak mengenali pejalan kaki, melainkan sekumpulan fitur yang membentuk pola umum yang mencirikan objek pejalan kaki (seperti yang didefinisikan dalam data pelatihan).

Sementara rangkaian model yang berbeda menggunakan arsitektur yang berbeda, model pembelajaran mendalam untuk deteksi objek mengikuti struktur umum. Itu terdiri dari tulang punggung, leher, dan kepala.

Tulang punggung mengekstrak fitur dari gambar input. Seringkali, tulang punggung berasal dari bagian dari model klasifikasi yang telah dilatih sebelumnya. Ekstraksi fitur menghasilkan segudang peta fitur dengan berbagai resolusi yang dilewatkan tulang punggung ke leher. Bagian terakhir dari struktur ini menggabungkan peta fitur untuk setiap gambar. Arsitektur ini kemudian meneruskan peta fitur berlapis ke kepala, yang memprediksi kotak pembatas dan skor klasifikasi untuk setiap kumpulan fitur.

Detektor dua tahap memisahkan lokalisasi dan klasifikasi objek di dalam kepala, sedangkan detektor satu tahap menggabungkan tugas-tugas ini. Yang pertama umumnya mengembalikan akurasi lokalisasi yang lebih tinggi sementara yang kedua bekerja lebih cepat.⁵

Intersection over Union (IoU) adalah metrik evaluasi umum yang digunakan dalam model deteksi objek. Kotak pembatas adalah hasil kuadrat yang membatasi objek yang terdeteksi seperti yang diprediksi oleh model. IoU menghitung rasio area perpotongan dua kotak yang berbatasan (yaitu, area bagian kotak yang tumpang tindih) dengan area penyatuannya (yaitu, total area kedua kotak digabungkan):⁶

Kita dapat memvisualisasikan persamaan ini sebagai:

Model menggunakan IoU untuk mengukur akurasi prediksi dengan menghitung IoU antara kotak prediksi dan kotak kebenaran dasar. Arsitektur model juga menggunakan IoU untuk menghasilkan prediksi kotak pembatas akhir. Karena model pada awalnya sering menghasilkan beberapa ratus prediksi kotak pembatas untuk satu objek yang terdeteksi, model menggunakan IoU untuk menimbang dan mengkonsolidasikan prediksi kotak pembatas ke dalam satu kotak per objek yang terdeteksi.

Metrik lain dapat digunakan untuk evaluasi yang berbeda dari model deteksi objek. Generalized Intersection over Union (GIoU) adalah versi modifikasi dari IoU yang menyumbang peningkatan dalam lokalisasi objek yang mana IoU dasar masih dapat mengembalikan nilai nol.⁷ Penelitian pendeteksian objek juga menggunakan metrik pengambilan informasi umum, seperti rata-rata presisi dan recall.

Ada sejumlah pendekatan machine learning untuk tugas deteksi objek. Contohnya adalah kerangka kerja Viola-Jones⁸ dan histogram gradien berorientasi.⁹ Namun, penelitian dan pengembangan deteksi objek baru-baru ini sebagian besar berfokus pada convolutional neural networks (CNN). Oleh karena itu, halaman ini berfokus pada dua jenis CNN yang paling banyak dibahas dalam penelitian deteksi objek. Perhatikan bahwa model-model ini diuji dan dibandingkan dengan menggunakan kumpulan data tolak ukur, seperti kumpulan data Microsoft COCO atau ImageNet.

R-CNN (region-based convolutional neural network) adalah detektor dua tahap yang menggunakan metode yang disebut proposal wilayah untuk menghasilkan 2.000 prediksi wilayah per gambar. R-CNN kemudian membelokkan wilayah yang diekstraksi ke ukuran yang seragam dan menjalankan wilayah tersebut melalui jaringan terpisah untuk ekstraksi dan klasifikasi fitur. Setiap wilayah diberi peringkat sesuai dengan kepercayaan klasifikasinya. R-CNN kemudian menolak wilayah yang memiliki IoU tertentu tumpang tindih dengan wilayah yang dipilih dengan skor lebih tinggi. Wilayah terklasifikasi yang tidak tumpang tindih dan teratas yang tersisa adalah hasil model.¹⁰ Seperti yang diharapkan, arsitektur ini komputasi mahal dan lambat. Fast R-CNN dan Faster R-CNN adalah modifikasi selanjutnya yang mengurangi ukuran arsitektur R-CNN dan dengan demikian mengurangi waktu pemrosesan sekaligus meningkatkan akurasi.¹¹

YOLO (You Only Look Once) adalah keluarga arsitektur deteksi tahap tunggal yang berbasis di Darknet, kerangka kerja CNN sumber terbuka. Pertama kali dikembangkan pada tahun 2016, arsitektur YOLO mengutamakan kecepatan. Memang, kecepatan YOLO membuatnya lebih disukai untuk deteksi objek waktu nyata dan telah membuatnya mendapatkan deskriptor umum detektor objek canggih. YOLO berbeda dari R-CNN dalam beberapa hal. Sementara R-CNN melewati wilayah gambar yang diekstraksi melalui beberapa jaringan yang mengekstraksi fitur dan mengklasifikasikan gambar secara terpisah, YOLO memadatkan tindakan ini menjadi satu jaringan. Kedua, dibandingkan dengan proposal wilayah R-CNN yang berjumlah ~2000, YOLO membuat kurang dari 100 prediksi kotak pembatas per gambar. Selain lebih cepat dari R-CNN, YOLO juga menghasilkan lebih sedikit positif palsu latar belakang, meskipun memiliki kesalahan lokalisasi yang lebih tinggi.¹² Ada banyak pembaruan pada YOLO sejak awal, yang umumnya berfokus pada kecepatan dan akurasi.¹³

Meskipun awalnya dikembangkan untuk deteksi objek, versi R-CNN dan YOLO yang lebih baru juga dapat melatih model klasifikasi dan segmentasi. Secara khusus, Mask R-CNN menggabungkan deteksi objek dan segmentasi, sementara YOLOv5 dapat melatih model klasifikasi, deteksi, dan segmentasi yang terpisah.

Tentu saja, ada banyak arsitektur model lain di luar R-CNN dan YOLO. SSD dan Retinanet adalah dua model tambahan yang menggunakan arsitektur sederhana yang mirip dengan YOLO.¹⁴ DETR adalah arsitektur lain yang dikembangkan oleh Facebook (sekarang Meta) yang menggabungkan CNN dengan model transformator dan menunjukkan kinerja yang sebanding dengan Faster R-CNN.¹⁵

Dalam banyak contoh penggunaan, deteksi objek bukanlah tujuan itu sendiri tetapi satu tahap dalam tugas visi komputer yang lebih besar.

Kumpulan data yang tidak seimbang adalah salah satu masalah yang mengganggu tugas pendeteksian objek, karena sampel negatif (yaitu gambar tanpa objek yang diinginkan) jauh lebih banyak daripada sampel positif dalam banyak kumpulan data khusus domain. Ini adalah masalah khusus dengan gambar medis, di mana sampel positif penyakit sulit diperoleh. Penelitian terbaru menggunakan augmentasi data untuk memperluas dan mendiversifikasi kumpulan data yang terbatas untuk meningkatkan kinerja model.¹⁹

Perkembangan terdahulu dalam deteksi objek sebagian besar difokuskan pada gambar 2D. Baru-baru ini, para peneliti beralih ke aplikasi deteksi objek untuk gambar dan video 3D. Gerakan kabur dan pergeseran fokus kamera menyebabkan masalah dalam mengidentifikasi objek di seluruh bingkai video. Para peneliti telah menjelajahi berbagai metode dan arsitektur untuk membantu melacak objek di seluruh bingkai meskipun dalam kondisi seperti itu, seperti arsitektur recurrent neural networks memori jangka panjang (LSTM)²⁰ dan model berbasis transformator.²¹ Transformator telah digunakan untuk mempercepat model deteksi objek untuk tugas deteksi waktu nyata. Teknik pemrosesan paralel merupakan salah satu bidang studi penting lainnya dalam upaya ini.²²