AIの回答に自社が出ているかを定点観測する方法｜監視する質問の作り方と結果の読み方

ChatGPTやAI Overviewsの回答に、自社の名前が出ているのか。検索順位のように一覧で確かめる方法がないため、LLMO対策の効果が分かりにくいと感じている担当者は多いはずです。

株式会社アマノートは、自社がAIの回答にどう扱われているかを、同じ質問を定期的に投げて記録する「定点観測」で追っています。本記事では、その運用で決めている記録の項目、監視する質問の作り方、結果の読み方を解説します。

AIの回答の定点観測で記録する項目

定点観測では、決めた質問を複数のAIに定期的に投げ、回答ごとに次の項目を記録します。

言及と引用は別々に記録します。社名が出てもリンクがなければサイトへの訪問にはつながらず、反対に自社のページが根拠に使われても、本文で社名が挙がるとは限らないためです。

AIの回答を定点観測する進め方

対象のAIを決める

当社では、ChatGPT（検索機能を使った回答）、GoogleのAI Overviews、Perplexity、Geminiの4つを対象にしています。自社の見込み客が使っていそうなAIから優先し、対象を途中で変えないようにします。

頻度と曜日を固定する

AIの回答は、同じ質問でも聞くたびに変わります。そのため、1回の結果ではなく、同じ条件で繰り返し記録した傾向を見ます。当社は週1回、同じ曜日の同じ時間帯に記録しています。

手作業で始めるか、計測ツールを使うか

質問が数件なら、各AIに手で質問し、回答と参照元のURLを表計算ソフトに貼り付けるだけでも始められます。質問やAIの数が増えると手作業では続かないため、複数のAIへの質問と記録を自動で行う計測ツールを使う方法もあります。ツールの多くは、質問数とAIの数に応じて費用が決まるため、「質問数 × AIの数 × 頻度」で月の計測量を見積もってから選びます。

ブランド名の表記ゆれをまとめて登録する

AIは、社名を正式名称で書くとは限りません。当社では「アマノート」「株式会社アマノート」「Amanaut」を同じ会社として数えています。記録するときも、表記ゆれを1つの会社として集計します。

定点観測で監視する質問の作り方

監視する質問は、検索キーワードではなく、実際にAIへ相談するときの文章で書きます。当社では、次の3点を意識しています。

自社が名前を挙げられるべき場面を書く

「LLMO対策とは」のような用語の質問では、会社名が回答に出ることはほとんどありません。「LLMO対策を依頼できるおすすめの会社を教えてください」「記事制作とLLMO対策をまとめて相談できる会社を探しています」のように、依頼先を探している場面の質問を中心にします。

自社の強みを条件に入れた質問も混ぜる

「自社でもオウンドメディアを運営しているSEO・LLMO会社はありますか？」のように、自社の特徴そのものを条件にした質問も入れておきます。当社では、この質問に対してChatGPTが、自社メディアを運営しているという当社サイトの記載を根拠に、アマノートを候補の一社として紹介しました。

同じ意図の言い換えを入れすぎない

似た質問を何件も登録すると、計測の手間や費用が増えるわりに、得られる情報は増えません。依頼先探し、費用、やり方、特定の条件（業界・規模）など、意図の異なる質問に分けて登録します。

AIの回答の定点観測結果の読み方

引用されたページから、AIが根拠にしている情報源を見る

「おすすめの会社」を尋ねる質問では、AIが根拠にしているのは、各社のサービスページよりも、第三者のサイトの比較記事であることが多くあります。どの記事が繰り返し引用されているかを見ると、自社が載るべき媒体の候補が分かります。

回答本文で、名前が挙がった理由を読む

件数だけでなく、回答の本文を読むと、AIがどんな情報を根拠に会社を紹介しているかが分かります。当社のケースでは、「編集力が強み」といった形容ではなく、「自社メディアを運営している」という確かめられる事実が根拠になっていました。サイトに書くべきなのは、形容よりも、第三者が確かめられる事実だと考えています。

AIごとの仕様の違いを踏まえる

Geminiは、回答の生成時にWeb検索を行った場合にしか参照元のURLを示さないことがあり、ほかのAIより引用が記録されにくい傾向があります。AIごとの数字をそのまま比べるのではなく、同じAIの中での変化を見ます。

サイトを変えた日と並べて記録する

記事の改稿や会社情報の追記など、サイト側で何かを変えた日は、定点観測の記録と同じ表に書き込みます。言及が増えたときに、どの変更の後だったかを確かめられるようにするためです。

AIの回答の定点観測に関するよくある質問

監視する質問は、あとから変えてもいいですか？

変えることはできますが、質問を変えると過去の記録と比べられなくなります。定点観測したい質問は変えずに残し、試したい質問は追加で登録するのが扱いやすい方法です。

何件くらいの質問から始めればいいですか？

当社では、1つのテーマにつき5〜7件ほどの質問から始めています。依頼先探し、費用、やり方、自社の強みを条件にした質問が、それぞれ1件以上入るようにします。

言及されるようになるまで、どれくらいかかりますか？

期間は決まっていません。AIが根拠にする記事やサイトの内容が変わり、それが検索に反映されてから回答に表れるため、サイトを変えてから数週間は記録を続けて判断します。

まとめ：AIの回答は、同じ質問で繰り返し記録して傾向を見る

• 言及・引用・紹介のされ方・引用されたページ・回答本文を分けて記録する
• 対象のAI、頻度、曜日を固定し、1回の結果では判断しない
• 監視する質問は、依頼先を探す場面や自社の強みを条件にした相談文で作る
• 引用されたページと回答本文から、AIが何を根拠にしているかを読む

株式会社アマノートは、自社のAIでの見え方を定点観測しながら、LLMO対策を支援しています。自社がAIにどう紹介されているかを把握したい場合は、LLMOコンサルティングの現状診断からご相談いただけます。