Apa itu deteksi objek?

Memahami bagian dalam mekanisme pendeteksian objek membutuhkan dasar dalam visi komputer dan pemrosesan gambar digital secara lebih luas. Bagian ini memberikan gambaran umum.

Dalam visi komputer, gambar dinyatakan sebagai fungsi berlanjut pada bidang koordinat 2D yang direpresentasikan sebagai f(x,y). Apabila didigitalkan, gambar mengalami dua proses utama yang disebut sampling dan kuantisasi, yang secara ringkas, secara bersama-sama mengubah fungsi gambar berlanjut menjadi struktur grid elemen piksel yang terpisah. Komputer kemudian dapat menyegmentasikan gambar ke dalam wilayah-wilayah terpisah menurut kesamaan visual dan kedekatan piksel.³

Dengan melabeli gambar menggunakan antarmuka anotasi, pengguna mendefinisikan objek tertentu sebagai wilayah dengan fitur tingkat piksel tertentu (misalnya, area, nilai abu-abu, dan sebagainya). Ketika diberi gambar input, model pendeteksian objek mengenali wilayah dengan fitur yang mirip dengan yang didefinisikan dalam kumpulan data pelatihan sebagai objek yang sama. Dengan cara ini, deteksi objek adalah bentuk pengenalan pola. Model pendeteksian objek tidak mengenali objek itu sendiri, melainkan kumpulan properti seperti ukuran, bentuk, warna, dan sebagainya, dan mengklasifikasikan wilayah berdasarkan pola visual yang disimpulkan dari data pelatihan yang dianotasi secara manual.⁴

Model deteksi objek untuk mobil tanpa pengemudi, misalnya, tidak mengenali pejalan kaki, melainkan sekumpulan fitur yang membentuk pola umum yang mencirikan objek pejalan kaki (seperti yang didefinisikan dalam data pelatihan).

Sementara rangkaian model yang berbeda menggunakan arsitektur yang berbeda, model pembelajaran mendalam untuk deteksi objek mengikuti struktur umum. Mereka terdiri dari tulang punggung, leher, dan kepala.

Tulang punggung mengekstrak fitur dari gambar input. Seringkali, tulang punggung berasal dari bagian dari model klasifikasi yang telah dilatih sebelumnya. Ekstraksi fitur menghasilkan segudang peta fitur dengan berbagai resolusi yang dilewatkan tulang punggung ke leher. Bagian terakhir dari struktur ini menggabungkan peta fitur untuk setiap gambar. Arsitektur ini kemudian meneruskan peta fitur berlapis ke head, yang memprediksi kotak pembatas dan skor klasifikasi untuk setiap kumpulan fitur.

Detektor dua tahap memisahkan lokalisasi dan klasifikasi objek di dalam kepala, sedangkan detektor satu tahap menggabungkan tugas-tugas ini. Yang pertama umumnya mengembalikan akurasi lokalisasi yang lebih tinggi sementara yang terakhir bekerja lebih cepat.⁵

Intersection over Union (IoU) adalah metrik evaluasi umum yang digunakan dalam model deteksi objek. Kotak pembatas adalah hasil kuadrat yang membatasi objek yang terdeteksi seperti yang diprediksi oleh model. IoU menghitung rasio area perpotongan dua kotak yang berbatasan (yaitu, area bagian kotak yang tumpang tindih) dengan area penyatuannya (yaitu, total area kedua kotak digabungkan)^:6

Kita dapat memvisualisasikan persamaan ini sebagai:

Model menggunakan IoU untuk mengukur akurasi prediksi dengan menghitung IoU antara kotak prediksi dan kotak kebenaran dasar. Arsitektur model juga menggunakan IoU untuk menghasilkan prediksi kotak pembatas akhir. Karena model pada awalnya sering menghasilkan beberapa ratus prediksi bounding box untuk satu objek yang terdeteksi, model menggunakan IoU untuk menimbang dan mengkonsolidasikan prediksi bounding box ke dalam satu kotak per objek yang terdeteksi.

Metrik lain dapat digunakan untuk evaluasi yang berbeda dari model deteksi objek. Generalized Intersection over Union (GIoU) adalah versi modifikasi dari IoU yang menyumbang peningkatan dalam lokalisasi objek yang mana IoU dasar masih dapat mengembalikan nilai nol.⁷ Penelitian pendeteksian objek juga menggunakan metrik pengambilan informasi umum, seperti rata-rata presisi dan recall.

Ada sejumlah pendekatan machine learning untuk tugas deteksi objek. Contohnya termasuk kerangka kerja Viola-Jones⁸ dan histogram gradien berorientasi.⁹ Penelitian dan pengembangan deteksi objek baru-baru ini, bagaimanapun, sebagian besar berfokus pada convolutional neural networks (CNN). Dengan demikian, halaman ini berfokus pada dua jenis CNN yang paling banyak dibahas dalam penelitian deteksi objek. Perhatikan bahwa model-model ini diuji dan dibandingkan menggunakan kumpulan data benchmark, seperti kumpulan data Microsoft COCO atau ImageNet.

R-CNN (jaringan saraf konvolusi Neural Networks berbasis wilayah) adalah detektor dua tahap yang menggunakan metode yang disebut proposal wilayah untuk menghasilkan 2.000 prediksi wilayah per gambar. R-CNN kemudian mengubah wilayah yang diekstraksi menjadi ukuran yang seragam dan menjalankan wilayah tersebut melalui jaringan yang terpisah untuk ekstraksi fitur dan klasifikasi. Setiap wilayah diberi peringkat sesuai dengan kepercayaan klasifikasinya. R-CNN kemudian menolak wilayah yang memiliki IoU tertentu tumpang tindih dengan wilayah yang dipilih dengan skor lebih tinggi. Wilayah yang tidak tumpang tindih dan wilayah yang diklasifikasikan dengan peringkat teratas merupakan hasil model.¹⁰ Seperti yang diharapkan, arsitektur ini mahal secara komputasi dan lambat. Fast R-CNN dan Faster R-CNN merupakan modifikasi selanjutnya yang mengurangi ukuran arsitektur R-CNN dan dengan demikian mengurangi waktu pemrosesan sekaligus meningkatkan akurasi.¹¹

YOLO (You Only Look Once) adalah sebuah rangkaian arsitektur pendeteksian satu tahap yang berbasis di Darknet, sebuah kerangka kerja CNN sumber terbuka. Pertama kali dikembangkan pada tahun 2016, arsitektur YOLO memprioritaskan kecepatan. Memang, kecepatan YOLO membuatnya lebih disukai untuk pendeteksian objek secara real-time dan membuatnya menjadi deskriptor umum pendeteksi objek yang canggih. YOLO berbeda dari R-CNN dalam beberapa hal. Sementara R-CNN melewatkan wilayah gambar yang diekstraksi melalui beberapa jaringan yang secara terpisah mengekstrak fitur dan mengklasifikasikan gambar, YOLO memadatkan tindakan ini ke dalam satu jaringan. Kedua, dibandingkan dengan proposal wilayah ~2000 R-CNN, YOLO membuat kurang dari 100 prediksi kotak pembatas per gambar. Selain lebih cepat daripada R-CNN, YOLO juga menghasilkan lebih sedikit latar belakang positif palsu, meskipun memiliki kesalahan lokalisasi yang lebih tinggi.¹² Ada banyak pembaruan pada YOLO sejak awal, yang umumnya berfokus pada kecepatan dan akurasi¹³

Meskipun awalnya dikembangkan untuk deteksi objek, versi R-CNN dan YOLO yang lebih baru juga dapat melatih model klasifikasi dan segmentasi. Secara khusus, Mask R-CNN menggabungkan deteksi objek dan segmentasi, sementara YOLOv5 dapat melatih model klasifikasi, deteksi, dan segmentasi yang terpisah.

Tentu saja, ada banyak arsitektur model lain di luar R-CNN dan YOLO. SSD dan Retinanet adalah dua model tambahan yang menggunakan arsitektur sederhana yang mirip dengan YOLO.¹⁴ DETR adalah arsitektur lain yang dikembangkan oleh Facebook (sekarang Meta) yang menggabungkan CNN dengan model transformator dan menunjukkan kinerja yang sebanding dengan Faster R-CNN.¹⁵

Kumpulan data yang tidak seimbang adalah salah satu masalah yang mengganggu tugas pendeteksian objek, karena sampel negatif (yaitu gambar tanpa objek yang diinginkan) jauh lebih banyak daripada sampel positif dalam banyak kumpulan data khusus domain. Ini adalah masalah khusus dengan gambar medis, di mana sampel positif penyakit sulit diperoleh. Penelitian terbaru menggunakan augmentasi data untuk memperluas dan mendiversifikasi kumpulan data yang terbatas untuk meningkatkan kinerja model.¹⁹

Perkembangan sebelumnya dalam deteksi objek sebagian besar berfokus pada gambar 2D. Baru-baru ini, para peneliti telah beralih ke aplikasi deteksi objek untuk gambar dan video 3D. Motion blur dan pergeseran fokus kamera menyebabkan masalah dalam mengidentifikasi objek di seluruh bingkai video. Para peneliti telah menjelajahi berbagai metode dan arsitektur untuk membantu melacak objek di seluruh bingkai terlepas dari kondisi seperti itu, seperti memori jangka pendek (LSTM) arsitektur jaringan neural berulang ²⁰ dan model berbasis transformator.²¹ Transformer telah digunakan untuk mempercepat model deteksi objek untuk tugas deteksi real-time. Teknik pemrosesan paralel adalah salah satu bidang studi penting lainnya dalam upaya ini.²²