Lapisan konvolusional adalah blok bangunan inti dari CNN, dan di sinilah terjadinya sebagian besar komputasi. Ini memerlukan beberapa komponen, yaitu data input, filter, dan peta fitur. Mari asumsikan inputnya adalah gambar berwarna, yang terdiri atas matriks piksel dalam bentuk 3D. Ini artinya akan ada tiga dimensi pada input akan memiliki tiga dimensi—tinggi, lebar, dan kedalaman—yang sesuai dengan RGB dalam gambar. Kita juga memiliki detektor fitur, juga dikenal sebagai kernel atau filter, yang akan bergerak melintasi bidang reseptif gambar, memeriksa apakah fitur tersebut ada. Proses ini dikenal sebagai konvolusi.

Detektor fitur adalah susunan berat dua dimensi (2-D), yang merepresentasikan bagian gambar. Meskipun ukurannya bisa bervariasi, tetapi ukuran filter biasanya berupa matriks 3x3; hal ini juga menentukan ukuran bidang reseptif. Filter kemudian diterapkan ke area gambar, dan dot product dihitung antara piksel input dan filter. Dot product ini kemudian dimasukkan ke dalam output array. Setelahnya, filter bergeser satu langkah, mengulangi prosesnya sampai kernel menyapu seluruh gambar. Hasil akhir dari serangkaian dot product dari input dan filter dikenal sebagai peta fitur, peta aktivasi, atau convolved feature.

Perhatikan, bahwa bobot dalam detektor fitur tetap tetap saat bergerak melintasi gambar, yang juga dikenal sebagai pembagian parameter. Beberapa parameter, seperti nilai bobot, menyesuaikan selama pelatihan melalui proses backpropagation dan gradient descent. Namun, ada tiga hiperparameter yang memengaruhi ukuran volume output yang perlu ditetapkan sebelum pelatihan neural networks dimulai. Ini termasuk:

1.  Jumlah filter memengaruhi kedalaman output. Misalnya, tiga filter berbeda akan menghasilkan tiga peta fitur yang berbeda, menciptakan kedalaman tiga. 

2. Langkah adalah jarak, atau jumlah piksel, yang dipindahkan kernel pada matriks input. Meskipun nilai langkah dua atau lebih besar jarang terjadi, langkah yang lebih besar akan menghasilkan output yang lebih kecil.

3. Zero-padding biasanya digunakan ketika filter tidak sesuai dengan gambar input. Ini mengatur semua elemen yang berada di luar matriks input ke nol, menghasilkan output yang lebih besar atau berukuran sama. Ada tiga jenis padding:

• Padding yang valid: Ini juga dikenal sebagai tanpa padding. Dalam hal ini, konvolusi terakhir dihilangkan jika dimensi tidak sejajar.
• Padding yang sama: Padding ini memastikan bahwa lapisan output memiliki ukuran yang sama dengan lapisan input.
• Padding penuh: Jenis padding ini meningkatkan ukuran output dengan menambahkan angka nol ke batas input.

Setelah setiap operasi konvolusi, CNN menerapkan transformasi Rectified Linear Unit (ReLU) pada peta fitur, memperkenalkan nonlinieritas pada model.

Seperti yang kami sebutkan sebelumnya, lapisan konvolusi lain dapat mengikuti lapisan konvolusi awal. Ketika ini terjadi, struktur CNN dapat menjadi hirarkis karena lapisan yang lebih baru dapat melihat piksel di dalam bidang reseptif lapisan sebelumnya.  Contohnya, mari asumsikan bahwa kita sedang mencoba menentukan apakah suatu gambar berisi sepeda. Anda dapat menganggap sepeda sebagai penjumlahan dari bagian-bagian. Yang terdiri dari rangka, setang, roda, pedal, dan lain-lain. Setiap bagian dari sepeda membentuk pola tingkat yang lebih rendah dalam neural networks, dan kombinasi bagian-bagiannya mewakili pola tingkat yang lebih tinggi, yang menciptakan hierarki fitur dalam CNN. Pada akhirnya, lapisan konvolusi mengubah gambar menjadi nilai numerik, yang memungkinkan neural networks untuk menafsirkan dan mengekstrak pola yang relevan.

Lapisan penyatuan (pooling layer), juga dikenal sebagai downsampling, melakukan reduksi dimensi, mengurangi jumlah parameter dalam input. Serupa dengan lapisan konvolusional, operasi penyatuan menyapu filter di seluruh input, tetapi bedanya adalah filter ini tidak memiliki berat apa pun. Sebaliknya, kernel menerapkan fungsi agregasi pada nilai-nilai dalam bidang reseptif, mengisi output array. Ada dua jenis utama penyatuan:

• Penyatuan maks: Saat filter bergerak melintasi input, filter memilih piksel dengan nilai maksimum untuk dikirim ke output array. Sebagai tambahan, pendekatan ini cenderung lebih sering digunakan dibandingkan dengan penyatuan rata-rata.
• Penyatuan rata-rata: Saat filter bergerak melintasi input, filter menghitung nilai rata-rata dalam bidang reseptif untuk dikirim ke output array.

Meski banyak informasi yang hilang di lapisan penyatuan, itu juga memiliki sejumlah manfaat bagi CNN. Hal ini membantu mengurangi kompleksitas, meningkatkan efisiensi, dan membatasi risiko overfitting. 

Nama lapisan yang terhubung penuh dengan tepat menggambarkan lapisan itu sendiri. Seperti disebutkan sebelumnya, nilai piksel dari gambar input tidak terhubung langsung ke lapisan output di lapisan yang terhubung sebagian. Namun, pada lapisan yang terhubung penuh, setiap node pada lapisan output terhubung langsung ke node di lapisan sebelumnya.

Lapisan ini melakukan tugas klasifikasi berdasarkan fitur yang diekstraksi melalui lapisan sebelumnya dan filter yang berbeda. Sementara lapisan konvolusional dan penyatuan cenderung menggunakan fungsi ReLu, lapisan FC biasanya memanfaatkan fungsi aktivasi softmax untuk mengklasifikasikan input dengan tepat, menghasilkan probabilitas dari 0 hingga 1.