【失敗談あり】AIチャットボットを自社サイトに導入して学んだ7つの教訓

導入の背景

問い合わせ対応に追われていた弊社（従業員8名のWebサービス会社）が、AIチャットボットをWebサイトに導入したのは昨年の春のことです。月に200件を超える問い合わせメールに1人のサポート担当が対応しており、返信が遅れてクレームになるケースも出ていました。

「ChatGPTのAPIを使えばチャットボットが作れる」という記事を読んで、すぐに導入を決断。しかし現実はそう甘くありませんでした。3ヶ月間の試行錯誤で学んだ7つの教訓を、包み隠さず公開します。

最初に設定したシステムプロンプトは「弊社の製品について丁寧に説明してください」だけでした。結果、チャットボットが存在しない機能を「あります」と答えてしまうハルシネーションが頻発。お客様から「サイトに書いてあることと違う」というクレームが3件来ました。

改善策：「あなたは〇〇社のサポートスタッフです。以下のFAQドキュメントのみを参照して回答してください。FAQに記載のない内容については『担当者に確認して折り返します』と答えてください」という具体的な制約を追加。ハルシネーションがほぼゼロになりました。

チャットボットに参照させるFAQドキュメントを整備しないまま導入したため、回答の精度が低く、顧客からのクレームが増えました。「料金はいくらですか？」という単純な質問にも正確に答えられない状態でした。

改善策：過去1年分の問い合わせメールを分析し、頻出質問トップ50をFAQとして整備。Notionで管理し、毎月更新するフローを作りました。FAQを参照させるようにしたところ、回答精度が劇的に向上しました。

複雑な問い合わせをAIが処理しきれず、顧客が諦めてしまうケースが続出。「担当者に繋ぐ」ボタンを設置したところ、顧客満足度が大幅に改善しました。

具体的には、AIが「この質問には担当者の確認が必要です」と判断した場合、自動でSlackに通知が飛ぶ仕組みを構築。30分以内に人間が対応するフローにしました。

3ヶ月間の試行錯誤を経て、以下の成果を達成しました：

失敗から学んだ最大の教訓は「AIは魔法ではなく、設計次第で全く違う結果になる」ということです。プロンプト設計、FAQの整備、人間への引き継ぎフロー——この3つを丁寧に作れば、中小企業でも十分に使えるチャットボットが構築できます。