Aplikasi paling populer saat ini menuntut agar banyak beban kerja atau tugas komputasi dan proses diterapkan sekaligus. Arsitektur layanan mikro memungkinkan pengembang untuk membangun setiap aplikasi sebagai kumpulan layanan kecil dan independen yang lebih mudah dikelola.
Namun, agar kode aplikasi berfungsi, layanan mikro perlu berkomunikasi dengan cepat dan akurat, dan di sinilah peran penting arsitektur jaring layanan. Jaring layanan dirancang dengan cara yang memberi pengembang lebih banyak kontrol atas komunikasi antara layanan dalam aplikasi.
Pada tingkat yang paling mendasar, jaring layanan mengandalkan jenis komunikasi yang dikenal sebagai komunikasi berbasis proxy untuk meningkatkan pengelolaan dan kontrol aplikasi berbasis layanan mikro. Komunikasi berbasis proxy memiliki fitur server proxy (dikenal juga sebagai proxy) yang berfungsi sebagai perantara antara layanan mikro dan jaringan organisasi, memungkinkan lalu lintas dialihkan ke dan dari layanan melalui proxy. Kemampuan ini, yang dikenal sebagai komunikasi proxy jaringan, sangat penting untuk menjaga pengelolaan, pengamatan, dan keamanan banyak aplikasi.
Selain proxy, arsitektur jaring layanan bergantung pada 2 komponen utama yang memungkinkannya berfungsi: bidang kontrol dan bidang data.