AI Expertは、ITチームの問題を迅速に特定し解決できるようにすることで、ネットワークの運用、最適化、監視をより容易にします。GenAIを活用し、技術文書の広範なデータベースを分析して、関連するネットワーク関連の問題に対して正確でカスタマイズされた回答を提供します。 

AI Expertの立ち上げは、ユーザーニーズを満たすツールの有効性と効率性を厳密に評価するという、エキサイティングな旅の始まりでもありました。私たちが構築しているAIシステムとユーザーがどのように関わるかについての確立された青写真がないため、私たちは、展開が継続するにつれて数千に達すると予想される成長中のユーザーベースから洞察を集めることを目指してきました。当初から、私たちは達成したい一連の評価基準とKPIを設定していました。それには、全体的な採用率（アクティビティのあるユーザー数と全ユーザー数）、使用頻度（週ごとの使用頻度、やりとりや質問の数）、やりとりの質（暗黙的および明示的なフィードバック）、そして特にやりとり自体の正確性、完全性、明瞭性、およびやりとりの無害性などが含まれます。 

最初の1か月：エンゲージメントとゲーミフィケーション 

Tech Previewの最初の月に、私たちは、知識の習得やネットワーク上で質問された内容にきわめてパーソナライズされた応答を提供するなど、ユーザー体験を大きく変える強力な会話型インターフェースを導入しました。さらに、このシステムは、あらゆるやり取りにおいて、ユーザーが最も望ましい結果を得られるよう導きます。無限に続くドキュメントを漁ったり、キーワード検索に頼ったりする時代は終わりました。10万以上のトピックをナレッジベースに追加した後、ユーザーは会話を開始するだけで、当社の膨大な技術文書リポジトリからカスタマイズされた回答を得ることができ、正確で実行可能な回答を提供します。 

当初の課題のひとつは、ユーザーの行動や利用パターンに偏りが生じないようにしながら、いかにしてユーザーの積極的な参加を促すかということでした。最初は特定のトピックをテストするようにユーザーに促すことを検討しましたが、すぐに、これは現実のシナリオにおけるシステムの使用状況を反映していないことに気づき、そのアイデアは断念しました。最終的に、私たちはユーザーのインタラクションの信憑性を維持しながらエンゲージメントを促進するために、ゲーミフィケーション戦略を採用しました。多くのユーザーはシステムの新しい機能だけで動機づけられていましたが、Tシャツやその他の楽しい賞品など、日ごとおよび月ごとの参加報酬を提供することで、さらなる興奮が加わりました。さらに、地域間の競争や、パワーユーザー（システムを利用するだけでなく、各インタラクション後にフィードバックを提供するユーザー）を強調するリーダーボードにより、最初の数週間は常に高いレベルの活動が維持されました。この取り組みは、組織と参加者に最新ニュースとコンペティションの受賞者を常に知らせるマーケティングコミュニケーション計画によっても強化されました。 

プレビューの初日から、システムの機能を探求しようとするユーザーの積極的な参加が見られました。システムを利用可能にしたユーザーの87%が、最初の1ヶ月間にシステムを利用しました。これは、当社の目標であった75%を上回る数字です。この初期の利用の急増は心強いものでしたが、本当に際立っていたのは、その後の数週間にわたって観察された一貫した利用状況でした。ユーザーの約50%がアクティブユーザーとして分類され、少なくとも週に1回はシステムを利用しました。これは当社の期待に沿うものでした。その結果、週末を除いては、毎日8%のアクティブユーザーがシステムを利用するという安定した利用状況が得られました。この安定したやりとりは、単なる好奇心だけでなく、技術プレビュー段階にあるにもかかわらず、正確でタイムリーな情報を提供するツールの能力にユーザーがますます慣れ、自信を深めるにつれ、日々の業務でツールへの信頼が高まっていることを反映していると、私たちは考えています。 

正確さが重要：回答に対するフィードバック 

最初の1ヶ月間は、応答の正確性と品質に関する包括的なフィードバックを集め、評価することに重点的に取り組みました。 当社の目標は、すべてのやりとりの少なくとも10%について明確なフィードバックを得ることでしたが、実際には16%と大幅に上回りました。 この時点で、ユーザーがゲームに参加するだけでなくフィードバックを提供することで、より高いスコアを獲得できるようになったため、この成功にゲーミフィケーションが貢献したと考えています。初期の結果では、精度と満足度の両方が高いレベルを示し、すべてのやりとりの92.2%が中立またはポジティブなものでしたが、真の精度は、特に反復的なやりとりと継続的なフィードバックを通じて応答が進化し改善する生成AIシステムにおいて、98%以上の目標を達成するための継続的な改善から得られるものであると理解しています。 

 下図に示されているように、これらの洞察を効果的に捉えるために、ユーザーが各回答の質を評価できる詳細な評価メカニズムを導入しました。これらの評価は、単純な満足度スコアにとどまらず、出力における具体的な長所と短所を浮き彫りにする構造化された実行可能なフィードバックを提供します。このフィードバックを活用することで、文書の検索方法やランク付けなど、システムのアルゴリズムを微調整し、文脈の理解力を高め、最終的に全体的な精度を向上させるなど、的を絞った改善を行うことができます。この反復プロセスは、ユーザーの期待に応えるだけでなく、それを上回るシステムを構築し、進化させていく上で不可欠です。 

当社のフィードバック収集は、単に正しい回答を検証するだけのものではありませんでした。同様に重要なのは、回答が不明瞭、不完全、不正確、あるいは有害である場合を特定することでした。この種のフィードバックは、多種多様なユーザーからの問い合わせやシナリオに対してシステムがどのように機能するのかという現実的な洞察を提供してくれるため、非常に貴重です。このフィードバックにより、システムが問い合わせを誤解釈したり、文脈を理解できなかったり、さらなる説明が必要な回答を生成したりする可能性がある領域を特定することができます。 

 ドキュメント化を超えて：業務データの統合 

技術文書化が強固な基盤を提供してきたとはいえ、それはまだ始まりに過ぎません。システムの真の力が発揮されるのは、運用データの取り込みを開始した次のプレビュー段階です。リアルタイムのネットワーク環境をナレッジベースに統合することで、静的な技術マニュアルを超える文脈に特化した推奨を行う能力を大幅に強化しています。 

今後の展望 

このブログを書いている時点で、ユーザーはすでに1,000人を超え、さらに拡大し、より幅広いユーザーをプロセスに取り込んでいます。この成長を続ける多様なオーディエンスは、システムを改良し、強化し続ける上で、さらに貴重な洞察を提供してくれるでしょう。さらに、機能と知識の拡大により、参加率を常に高い水準で維持できることが期待されます。 

7月に開始したこの旅で、私たちの予測が現実のものとなるか、また、どのような教訓を学び、共有できるかを一緒に見ていきましょう。