オンライン限定記事
第15回
FAQの検索精度ってなんですか?
FAQサイトの構築・運用に詳しいハイウエアの樋口 恵一郎氏が、「よくある質問」にすべて応えます。
質問15
FAQの検索精度ってなんですか?
回答
ユーザーが、FAQを見つけられる率です。
簡潔な説明は上記のとおり。
詳細な説明は下記です。
『FAQサイトやFAQシステムでユーザーが検索したときに どれだけ適切、正確、かつ関連性の高い回答にたどり着けるかを示す指標で、単なる検索ヒット数ではなく、ユーザーが本当に知りたいことにたどり着ける率。』
しかし・・・。突っ込みどころがたくさんある説明だと思います。
検索精度(率)という「度合い」の説明に、適切、正確、関連性の高い、本当に知りたい、といった様々な「度合い」を入れ子にすると説明があいまいになるじゃないかと。
では計算式にしてはどうでしょうか。
FAQの検索精度(率)= FAQがクリックされた総数 ÷ FAQサイトのユーザーの検索行動の総数
この計算式を使うと、お使いのFAQ検索システムでもGoogle Analyticsでも、FAQ検索精度を簡単に導き出せます。
ところが! (ここからが重要です)
FAQ検索精度の定義はベンダーさんごとに違います。
上記の計算式と見解が異なることが多いのです。
見解が異なる原因は、冒頭の、詳細な説明が物語っています。
「適切」「正確」「関連性の高い」「本当に知りたい」といった度合いの見解がベンダーさんごとに異なるからだと思います。
ま、話を先に進めるために、いったんは良しとしておきましょう。
とはいえ、ベンダーさんは見解に応じた検索精度の計算式を持っているはずです。
検索率や検索精度を売り文句にしていることが多いからです。
もしあなたの会社がFAQ検索ツール(検索システム、AIチャットボット)の導入を検討中でしたら、候補ベンダーさんにFAQ検索精度の計算式を教えてもらうといいでしょう。
納得できる計算式が確立していることで、採用判断や安心材料にもなります。
また数値を使った計算式は、ロジカルなので関係者内での誤解を避けることができます。
たくさんのユーザーにFAQにたどり着いてもらいたいから、FAQの検索精度(率)は、高い方がいいです。それではどれぐらいの値なら、いいのでしょうか。
上記に示した計算式
FAQの検索精度(率)= FAQがクリックされた総数 ÷ FAQサイトで検索行動をした総数
だと計算上100%を超える場合もあります。
それでも100%に限りなく近い方がいいでしょう。
30%よりは100%の方がいいが、400%よりは100%の方がいい、という感じです。
30%より100%の方がいいというのは分かると思います。
400%よりは100%のほうがいいとはどういうことでしょうか。
こういうことです。
ユーザーの1回の検索行動(操作)で、一度にたくさんFAQが見つかることがあります。
するとユーザーはあれでもないこれでもないと、複数のFAQをクリックしまくる可能性があります。
上記の計算式の場合、検索精度(率)はどんどん上ることになります。