Belakangan ini, semakin banyak bisnis memakai AI untuk membalas chat pelanggan di WhatsApp, website, maupun marketplace. AI bisa menjawab dalam hitungan detik, kapan saja, untuk banyak pelanggan sekaligus. Masalahnya, AI juga bisa menjawab dengan percaya diri padahal jawabannya salah atau ngawur. Kondisi ini biasa kita kenal dengan halusinasi AI di customer service.
Dampaknya langsung terasa saat pelanggan menerima informasi harga, kebijakan, atau status pesanan yang keliru, lalu meminta bisnis menepatinya.
Artikel ini membahas apa itu halusinasi AI di customer service, contoh yang paling sering terjadi, hingga cara mengatasi AI di customer service yang sering halusinasi.
Apa Itu Halusinasi AI di Customer Service?
Halusinasi AI di customer service adalah kondisi ketika AI memberikan jawaban yang terdengar meyakinkan, tetapi tidak sesuai dengan fakta, data, atau kebijakan bisnis. Ini bukan salah ketik, AI benar-benar mengarang informasi yang tidak pernah ada di sumber datanya.
Penyebab dasarnya ada pada cara kerja model bahasa (large language model). Model ini menyusun jawaban dengan menebak rangkaian kata yang paling mungkin. Saat tidak tersedianya data yang cukup, AI cenderung mengisi kekosongan dengan jawaban yang terdengar masuk akal.
Risiko halusinasi ini lebih besar pada AI agent. Chatbot biasa hanya menjawab pertanyaan, sedangkan AI agent bisa menjalankan tindakan, seperti membuat tiket, mengubah status pesanan, atau memproses permintaan pelanggan. Saat ada AI agent berhalusinasi, yang salah bisa berupa tindakannya atau pengambilan keputusan.
Baca Juga: Cara Menggunakan Aplikasi AI untuk Pelaku UKM
Contoh Halusinasi AI di Customer Service
Halusinasi paling sering muncul pada topik yang banyak pelanggan tanyakan dan biasanya justru topik yang paling berisiko jika salah.
Mengarang Kebijakan Refund, Retur, atau Garansi
Ada customer yang bertanya apakah barang masih bisa retur setelah 14 hari. AI menjawab bisa, padahal batas retur toko hanya 7 hari. Kesalahan seperti ini sering terjadi karena kebijakan refund jarang tertulis lengkap dalam satu dokumen khusus atau SOP.
Salah Menyebut Harga, Promo, atau Stok
AI menyebut harga promo bulan lalu, atau menyatakan barang tersedia padahal stoknya sudah habis. Pelanggan yang terlanjur transfer tentu akan menagih barangnya.
Memberi Status Pesanan atau Pembayaran yang Keliru
“Pesanan Anda sudah dikirim,” padahal barang belum keluar gudang. Pada AI agent, kasusnya bisa lebih serius. AI menyatakan refund sudah dalam proses, padahal tidak ada proses apa pun di sistem.
Menjanjikan Kompensasi di Luar Wewenang
Untuk meredam kemarahan pelanggan, AI menawarkan voucher, gratis ongkir, atau ganti rugi yang niatnya menenangkan pelanggan. Tapi risikonya adalah janji tersebut bisa saja membebani bisnis Anda.
Baca Juga: Aplikasi Gemini AI: Chatbot AI dari Ekosistem Google untuk Bantu Produktivitas UKM
Apa Saja Penyebab Halusinasi AI di Customer Service?
Sebagian besar halusinasi di customer service berasal dari cara memberikan instruksi selain dari kecanggihan modelnya.
1. Knowledge Base Tidak Lengkap atau Sudah Kadaluwarsa
AI hanya bisa menjawab benar jika sumbernya benar. Jika FAQ belum memuat aturan retur terbaru, atau masih menyimpan promo yang sudah berakhir, AI akan memakai informasi lama itu. Kalau informasinya tidak ada sama sekali, AI menebak sendiri.
2. AI Tidak Tersambung ke Data Terbaru
Harga, stok, dan status pesanan berubah setiap hari. AI yang hanya perlu Anda berikan referensi dokumen saat setup tidak tahu perubahan tersebut, lalu menjawab berdasarkan data yang sudah basi.
3. Instruksi Terlalu Umum dan Tanpa Batasan Topik dan Pertanyaan Pelanggan Ambigu atau di Luar Cakupan
Banyak pengaturan AI untuk selalu membantu tanpa batasan yang jelas. AI tidak tahu topik yang boleh mereka jawab, dan tidak anda izinkan berkata “saya belum tahu”. Akibatnya, setiap pertanyaan tetap mereka jawab, termasuk pertanyaan yang jawabannya tidak tersedia.
Selain itu, pelanggan sering bertanya singkat, misalnya “masih bisa?” atau “kapan sampai?”. Tanpa konteks pesanan, AI terpaksa menebak maksudnya. Pertanyaan di luar cakupan, seperti produk yang tidak Anda jual, juga sering memicu jawaban karangan.
Baca Juga: Berkenalan dengan Agentic AI, The Next Level dari Agent AI
Dampak Halusinasi AI bagi Bisnis
Jawaban AI tetap sebagai jawaban bisnis. Kasus ini terjadi pada November 2022, ketika chatbot Air Canada memberi tahu seorang pelanggan kalau dia bisa membeli tiket dengan tarif normal terlebih dahulu, lalu mengajukan tarif khusus untuk penumpang yang sedang berduka (bereavement fare) dalam waktu 90 hari.
Aturan sebenarnya tidak mengizinkan klaim setelah melakukan pembelian tiket. Saat ada gugatan, Air Canada ber-statement kalau chatbot adalah “entitas terpisah” yang bertanggung jawab atas jawabannya sendiri.
Pada Februari 2024, tribunal di British Columbia menolak argumen tersebut dan memerintahkan Air Canada untuk membayar selisih tarif sebesar CAD 650,88 (setara sekitar Rp 7,55 juta berdasarkan kurs rata-rata Februari 2024), plus bunga dan biaya perkara.
Kerugian lain berupa pelanggan yang pergi. Pada April 2025, bot support perusahaan software Cursor yang bernama “Sam” menjelaskan bahwa pengguna yang ter-logout saat berganti perangkat terkena kebijakan login baru.
Kebijakan itu tidak pernah ada, dan penyebab aslinya adalah bug. Sejumlah pengguna telanjur membatalkan langganan sebelum co-founder Cursor meminta maaf secara terbuka.
Di Indonesia, risikonya bersinggungan dengan UU Perlindungan Konsumen. Pasal 7 mewajibkan pelaku usaha memberikan informasi yang benar, jelas, dan jujur, serta memberi kompensasi jika barang atau jasa tidak sesuai perjanjian.
Ada juga dampak yang sering luput, contohnya komplain bertambah. Tim CS harus meluruskan jawaban AI satu per satu, sehingga antrean tiket yang seharusnya berkurang justru makin panjang.
Baca Juga: Chatbot Customer Service: Contoh, Template & Cara Membuat
Cara Mengatasi Halusinasi AI di Customer Service
Halusinasi tidak bisa kita hilangkan 100%, yang bisa kita lakukan adalah memperkecil peluangnya dan memastikan kesalahan sebelum sampai ke pelanggan.
1. Batasi AI Hanya Menjawab dari Sumber Resmi Bisnis
Anda perlu mengatur AI agar hanya menjawab berdasarkan dokumen resmi, seperti FAQ, kebijakan refund, daftar harga, dan SOP. Teknik ini kita kenal sebagai grounding atau retrieval augmented generation (RAG).
Sebagai contoh, AI mencari jawaban di dokumen bisnis terlebih dahulu, baru menyusun kalimat. Jika jawabannya tidak ada di dokumen, AI tidak boleh menebak.
2. Sambungkan AI ke Data Operasional yang Selalu Diperbarui
Informasi yang sering berubah sebaiknya tidak perlu Anda tulis manual di knowledge base. Hubungkan AI ke sistem yang menyimpan data terbaru, misalnya CRM, sistem pesanan, atau inventori. Dengan begitu, AI membaca stok dan status pesanan yang sama dengan yang tim Anda lihat.
3. Tetapkan Batasan Topik dan Wewenang AI
Anda perlu menulis list hal yang tidak boleh AI jawab atau lakukan, misalnya nominal kompensasi, diskon di luar promo resmi, diagnosis masalah teknis, dan keluhan yang mengarah ke ranah hukum. Untuk AI agent, batasi juga tindakan yang boleh dijalankan tanpa persetujuan.
4. Ajarkan AI Mengaku Tidak Tahu dan Mengalihkan ke Manusia
Jawaban “Saya cek dulu ke tim kami, ya” jauh lebih aman daripada jawaban karangan. Tentukan pemicu pengalihan ke human agent, misalnya pertanyaan di luar knowledge base, pelanggan yang meminta bicara dengan orang, atau percakapan yang menyangkut uang. Pastikan catatan chat ikut terbawa, supaya pelanggan tidak perlu mengulang ceritanya.
5. Wajibkan Persetujuan Agen Customer Service untuk Jawaban Sensitif dan Perlu Handover Langsung
Untuk refund, kompensasi, dan keluhan berat, posisikan AI sebagai penyusun draf. AI merangkum masalah dan menyiapkan balasan, lalu agen CS menyetujui atau mengubahnya sebelum dikirim. Sebagian karyawan AI untuk customer service kini sudah bekerja dengan pola ini, sehingga balasan tetap cepat tanpa melepas kontrol dari tim.
6. Uji Sebelum Live dan Pantau Percakapan Secara Rutin
Sebelum menggunakan aplikasi AI untuk pelanggan, uji dengan 30 sampai 50 pertanyaan yang paling sering masuk, termasuk pertanyaan jebakan seperti promo yang sudah berakhir.
Setelah live, ambil sampel percakapan setiap minggu dan periksa jawabannya, sama seperti quality assurance customer service untuk agen CS. Setiap jawaban salah menunjukkan bagian knowledge base yang perlu Anda perbaiki.
Baca Juga: Aplikasi AI Gratis untuk Customer Service, Sales, & Marketer
Apa yang Harus Dilakukan jika AI Sudah Terlanjur Salah Jawab?
Sebaik apa pun persiapannya, AI tetap bisa salah. Saat itu terjadi, lakukan langkah berikut:
- Hubungi pelanggan secepatnya dan sampaikan informasi yang benar. Jangan menunggu pelanggan menagih.
- Putuskan apakah klaim dari AI ini realistis untuk Anda lakukan. Untuk nilai kecil, menepati janji sering lebih murah daripada kehilangan pelanggan atau berujung sengketa seperti kasus Air Canada.
- Catat kasusnya, mulai dari pertanyaan pelanggan, jawaban AI, sampai sumber kesalahannya.
- Perbaiki knowledge base atau batasan AI, lalu uji ulang dengan pertanyaan serupa.
Baca Juga: Apa Itu AI WhatsApp? Manfaat, Jenis, & Cara Menggunakan
Kesimpulan
Halusinasi AI di customer service terjadi ketika AI mengisi kekosongan informasi dengan jawaban karangan. Penyebab utamanya ada di tahap persiapan, yaitu knowledge base yang usang, data yang tidak tersambung, dan instruksi tanpa batasan. Karena itu, solusinya juga bisa Anda mulai dari sana.
AI customer service tetap bisa menjadi tambahan tim kerja untuk tim CS, asalkan jawaban atau responnya perlu Anda batasi pada sumber resmi, punya jalur ke human agent, dan dipantau secara rutin.
Dengan begitu, penggunaan AI jadi lebih terasa manfaatnya sebagai asisten dan tidak memberikan informasi yang salah kepada pelanggan.
Ada juga alternatif lain terutama jika tim Anda masih berskala kecil dan baru menambah beberapa staff baru, yaitu dengan menggunakan aplikasi CRM, kalau basis channel yang Anda dan tim gunakan adalah WhatsApp, maka yang lebih cook adalah aplikasi WhatsApp CRM.
Di CRM.ID, Anda bisa mencoba daftar gratis, dengan 1 channel WhatsApp dan 50.000 pesan/bulan, tim yang bisa menggunakan nomor WhatsApp tersebut pun tidak terbatas jika sudah terhubung dengan CRM.
*Artikel ini adalah hasil kerjasama antara CRM.ID dengan Solvion
- 10 Jasa Pengiriman Terpercaya dan Aman di Indonesia - 16 Oktober 2026
- Halusinasi AI di Customer Service: Penyebab dan Cara Mengatasinya - 16 Oktober 2026
- Digital Marketing Framework yang Wajib Dikuasai Business Owner (2026) - 15 Oktober 2026