Apa itu Cache Prompt?

Model bahasa besar (LLM) sangat kuat, tetapi mereka datang dengan dua tantangan utama biaya dan latensi. Setiap token yang diproses dikenakan biaya, dan ketika pengguna berulang kali menanyakan konteks yang sama, seperti dokumen besar, mereka menaikkan biaya dengan memicu perhitungan berlebihan.

Selain itu, latensi yang terkait dengan pemrosesan permintaan ini dapat menurunkan respons aplikasi Anda, yang mengarah ke pengalaman pengguna di bawah standar^[1]. Prompt caching muncul sebagai solusi utama untuk mengatasi tantangan ini.

Pada artikel ini, kita akan menjelajahi apa sebenarnya prompt caching, bagaimana perbedaannya dari caching konvensional, bagaimana hal itu dapat diterapkan dalam aplikasi AI, berbagai contoh penggunaan. Kami juga akan melihat manfaat dan peringatan untuk dipertimbangkan dengan prompt caching. 

Prompt caching adalah metode mudah untuk meningkatkan kecepatan dan efisiensi biaya LLM. Metode ini menyelesaikan peningkatan ini dengan menyimpan bagian prompt yang sering tidak berubah seperti konten instruksional atau pertimbangan materi referensi sehingga model tidak perlu memproses ulang token tersebut berulang kali. 

Misalnya, ketika Anda mengirim permintaan ke LLM (seperti "jelaskan apa itu kecerdasan buatan?"), model membaca seluruh prompt untuk memahami dan merespons. Jika Anda mengirim prompt yang sama lagi, itu mengulangi pemrosesan yang sama meningkatkan waktu dan biaya.

Dengan prompt caching, model menyimpan bagian berulang dari prompt setelah permintaan pertama. Ketika Anda mengirim ulang prompt yang sama, itu mengambil respons yang disimpan alih-alih memprosesnya kembali. Proses ini membuat respons lebih cepat, lebih efisien, dan hemat biaya, karena model tidak harus mengulang perhitungan yang sama untuk prompt yang identik.^[2]

Tujuan dan ruang lingkup:

• Prompt caching menyimpan prompt LLM berulang untuk menghindari perhitungan ulang dan mengurangi latensi.
• Caching konvensional menyimpan data atau sumber daya yang sering diakses (misalnya, halaman HTML, kueri database, respons API, gambar) untuk membuat akses masa depan lebih cepat.

Keandalan output:

• Prompt caching hanya berfungsi ketika prompt dan semua parameter (seperti suhu, top-p dan lainnya) tetap sama persis untuk setiap permintaan.
• Caching konvensional bersifat deterministik, yang berarti bahwa input yang sama selalu menghasilkan output yang sama (seperti hasil kueri atau gambar yang identik).

Kinerja:

• Prompt caching  mengurangi penggunaan token, biaya API, dan latensi ujung ke ujung untuk permintaan LLM berulang atau serupa.
• Caching konvensional meningkatkan kinerja aplikasi, menurunkan beban backend atau database dan mengurangi latensi jaringan.

Kedaluwarsa dan pembatalan:

• Prompt caching sering dikaitkan dengan pembaruan versi model atau siklus pelatihan ulang.
• Caching konvensional dikelola dengan menggunakan TTL (time-to-live), versi atau pembatalan manual saat data yang mendasarinya berubah.^[3]

Dalam prompt caching, bagian berulang dari prompt disimpan, sehingga dapat digunakan kembali dalam permintaan di masa mendatang, menghindari kebutuhan untuk mengirim ulang dan memprosesnya kembali.

Berikut panduan langkah demi langkah untuk cara kerjanya: 

1. Pembuatan kunci: Ketika prompt dikirimkan, sistem membuat kunci cache. 
   Caching exact‑match menggunakan teks prompt (atau bentuk hash atau dinormalisasi) dan dapat menyertakan parameter seperti nama model, suhu, atau prompt sistem. Ini hanya berfungsi ketika prompt dan semua pengaturan identik.
   Caching semantik, sebagai alternatif, menghasilkan penyematan prompt dan mencari entri yang serupa secara semantik. Jenis caching ini memungkinkan penggunaan kembali bahkan jika kata-katanya berubah. Kedua metode caching ini adalah pendekatan terpisah dengan kekuatan yang berbeda.
2. Pencarian cache: Kunci atau penyematan kemudian diperiksa terhadap penyimpanan cache, biasanya penyimpanan nilai kunci untuk cache yang lebih tradisional, atau basis data vektor untuk kecocokan semantik.
3. Cache hit and miss: Hit cache mengembalikan hasil penyimpan toko segera, menghindari pemrosesan ulang. Cache salah mengirim prompt ke model, lalu menyimpan output untuk waktu berikutnya.
4. Simpan hasilnya: Meskipun ada kesalahan cache, setelah LLM mengembalikan respons, output yang dihasilkan (dan terkadang penyematan atau metadata lainnya) akan disimpan di bawah kunci itu untuk digunakan di masa mendatang.
5. Pembatalan: Entri cache dapat kedaluwarsa berdasarkan waktu hidup (TTL) yang ditentukan server, pembaruan model, atau penyimpangan konten untuk menjaga jawaban tetap akurat dan tepat waktu.

LangChain menyediakan kerangka kerja yang fleksibel untuk menambahkan prompt caching ke dalam aplikasi LLM. Berbeda dengan sistem caching yang berdiri sendiri, LangChain adalah kerangka kerja terintegrasi untuk membangun aplikasi LLM. Ini membawa caching bersama dengan komponen lain yang diperlukan ke dalam satu solusi seperti rantai, memori, retrieval-augmented generation (RAG) dan alat integrasi.

Untuk mempelajari lebih lanjut tentang cara menerapkan prompt caching dengan menggunakan lang chain, klik tautan berikut:

• Portal dokumentasi interaktif: Prompt caching sangat efektif dalam sistem manajemen pengetahuan internal dengan menyimpan tanggapan terhadap pertanyaan yang sering diajukan tentang kebijakan organisasi, prosedur atau dokumentasi teknis. Ketika karyawan berulang kali mencari informasi serupa, tanggapan yang di-cache memberikan jawaban instan tanpa berulang kali menanyakan LLM. 
  
  
• Kampanye pemasaran: Prompt caching cepat merampingkan chatbot dan sistem otomatisasi dengan melakukan pra-komputasi dan menyimpan jawaban untuk pertanyaan umum. Misalnya, pertanyaan tentang diskon, spesifikasi produk, atau ketersediaan stok, dialirkan untuk memastikan bahwa pengguna diberikan tanggapan cepat terhadap pertanyaan umum. Selama masa lalu lintas pengguna yang tinggi, respons cache membantu menghindari panggilan LLM yang tidak perlu, dengan mengurangi biaya API yang tidak perlu dan mengurangi latensi.
  
  
• Sistem dukungan pelanggan: Pada saluran dukungan yang memungkinkan pelanggan mengirimkan pertanyaan, jawaban atas pertanyaan umum untuk pemecahan masalah, masalah manajemen akun, atau masalah penagihan dapat di-cache prompt. Ini akan mengarah pada tanggapan yang lebih cepat, konsistensi dengan tanggapan yang diberikan dan mengurangi ketergantungan pada pemrosesan LLM untuk jenis pertanyaan yang sama. Peningkatan ini dapat mengarah pada peningkatan efisiensi dan peningkatan kepuasan pelanggan.^[4]

• Pengurangan biaya: Hemat biaya API dengan menggunakan kembali pasangan prompt-response alih-alih memanggil LLM beberapa kali.
• Kecepatan: Menyampaikan respons yang di-cache memberikan jawaban langsung. Ini menghemat total waktu pemrosesan untuk kueri dan meningkatkan waktu respons.
• Penggunaan sumber daya cerdas: Jangan sia-siakan komputasi yang tidak perlu, dan cadangkan sumber daya untuk mengeksekusi kueri kompleks lainnya yang bervariasi.
• Kapasitas tak terbatas: Kelola lalu lintas tinggi dan kueri berulang secara wajar dan jaga agar aplikasi bergerak dengan lancar saat diskalakan.
• Tanggapan yang konsisten: Semua pertanyaan yang identik atau serupa menghasilkan respons yang sama, dari waktu ke waktu, melalui isyarat, membangun pengalaman yang dapat dipercaya dan dapat diandalkan bagi pengguna.
• Pengalaman pengguna: Mampu memberikan respons yang lebih cepat dan dapat diprediksi menghasilkan keterlibatan yang lebih lancar bagi pengguna yang lebih bahagia dalam aplikasi yang menghadap pelanggan.
• Mengurangi beban kerja server: Kurangi beban kerja server dan biarkan sistem Anda beroperasi dengan lebih efisien dengan menurunkan kueri yang dapat dijawab dengan respons cache.^[5]

Platform terkemuka menggunakan penyimpanan prompt caching yang cepat melalui penulisan cache dan manajemen retensi, sambil menggunakan ttl dan kontrol cache untuk mengelola output mereka dan menghormati tingkat, memastikan privasi data dan menggunakan harga atau biaya terkait dengan cache. Skema penyematan dan instruksi sistem dapat di-cache untuk digunakan dengan interaksi real-time untuk meningkatkan penggunaan alat di beberapa percakapan multiturn. 

Meskipun prompt caching dapat memiliki manfaat yang berharga, penting untuk tetap memperhatikan keterbatasan yang berkaitan dengan pengoptimalan dan kinerja. Beberapa pertimbangan utama meliputi: 

• Manajemen kueri dinamis atau kueri yang peka konteks: Meskipun prompt caching sering memiliki utilitas terbatas untuk kueri yang dinamis (dalam waktu atau dari input pengguna sebelumnya) atau kueri yang peka konteks, seperti kueri yang mungkin menggabungkan pembaruan data real-time atau percakapan multiturn berulang, kueri tersebut harus menghasilkan respons yang responsif terhadap informasi baru.
  
• Respons usang: Respons yang di-cache dapat menjadi usang dengan cukup cepat jika data atau konteks telah berubah, yang akan memberikan informasi yang salah atau tidak relevan sebagai respons terhadap kueri.
  
• Kompleksitas untuk kasus edge: Memodifikasi cache untuk mendukung penggunaan kembali prompt, atau untuk mitigasi tertentu, dapat menyebabkan lebih banyak masalah karena modifikasi meningkatkan kompleksitas desain sistem dan upaya implementasi.
  
• Tantangan dalam pemeliharaan cache: Manajemen cache yang efektif (misalnya, pengaturan kedaluwarsa atau batasan penyimpanan) dapat disertai dengan overhead operasional.^[6][7]

Prompt caching adalah strategi caching cerdas yang meningkatkan kinerja sistem berbasis AI seperti chatbot, asisten pengodean, dan saluran pipa RAG untuk meningkatkan kinerja dan efisiensi. Alih-alih membuat beberapa permintaan ke API dengan permintaan yang sama untuk prompt penuh atau prompt sistem, sistem memanfaatkan konten yang di-cache (misalnya, awalan prompt, awalan cache, konten statis) untuk mewakili penghematan data pada token input dan token keluaran.

Hasilnya adalah pengurangan jumlah panggilan API, pengurangan kesalahan cache dan peningkatan signifikan secara keseluruhan dalam latensi respons dan pengalaman pengguna. 

Prompt caching bekerja paling baik untuk sistem intrinsik yang didukung AI seperti chatbot, meningkatkan kinerja dengan memanfaatkan pesan pengguna, mengurangi permintaan API, dan secara dramatis meningkatkan tingkat hit cache melalui pembacaan cache yang ringkas.

Untuk menjalankan fungsi, atau menanggapi permintaan atau kueri berikutnya di aplikasi Anda; prompt caching menyimpan token prompt, token total, dan jumlah token, ditambah meningkatkan kemudahan pelacakan metrik. Dengan prompt caching, tim dapat melacak token prompt dan total token secara real time dan lanjut untuk menskalakan model bahasa besar dengan biaya, kecepatan, dan keandalan yang tepat waktu di seluruh skala global untuk contoh penggunaan AI generatif.