最初のブログでは、2024年7月にExtremeの従業員およびパートナーを対象に段階的なTech Previewとしてデビューした画期的なツール、Extreme AI Expertの立ち上げについてご紹介しました。ITチームの強化を目的として設計されたExtreme AI Expertは、ネットワークの問題を特定し解決するプロセスを合理化し、ネットワークの運用、最適化、監視を容易にします。生成AIの力を活用することで、このツールは技術文書の広範なデータベースを分析し、ネットワーク関連の課題に的確なカスタマイズされたソリューションを提供します。
2つ目のブログでは、Tech Previewの最初の1か月間に得られた初期の洞察と教訓について考察しました。ユーザーの関与、フィードバックの収集、システムの正確性について、貴重な教訓を得ることができました。ゲーミフィケーション戦略、地域ごとのコンテスト、一貫したコミュニケーションにより、当初の目標を上回る参加者を集めることができ、システムを改善するための実行可能な洞察を集めるための体系的なフィードバックの仕組みを提供することができました。真のユーザー交流を促進し、回答の正確性を継続的に改善することが、信頼を構築し、採用を促進する鍵であることが分かりました。さらに、初期の評価指標では、ユーザーが Extreme AI Expert を日常のワークフローに統合するにつれ、その依存度が高まっていることが示されました。
技術文書のデータ基盤を基に、運用データをナレッジベースに統合することで、Tech Previewの新たなエキサイティングな段階に入りました。このリアルタイムのネットワーク環境の統合により、より深いレベルのシステム能力が解放され、静的な技術文書の限界を超える文脈に特化した推奨を提供できるようになりました。この進歩により、実世界のデータが、ダイナミックなネットワーク状況に合わせた実行可能な洞察を提供するシステムの能力をどのように強化するかについて、貴重な教訓を得ることができました。これらの新たな教訓は、Extreme AI Expertの進化を形作り、複雑なシナリオに正確かつ適切に対応する能力をさらに向上させています。
3か月後、私たちは大幅な改善を達成し、肯定的なフィードバック率を97%にまで高め、現在では97%のやりとりが中立または肯定的なものとなり、人間と同等の精度の目標値に近づいています。このマイルストーンは、否定的なフィードバックの件数を半分に減らすことができたという点で非常に重要です。
しかし、私たちが進歩するにつれ、従来の品質保証(QA)から、より正確で効果的な品質測定のための暗黙的なフィードバックメカニズムの採用へと、私たちの焦点は移行しつつあります。感情分析などのツールを使用することで、ユーザーがしばしば回避または無視する明示的なフィードバックに頼らずに回答を評価することができます。これは、Microsoft Teamsの通話で星5つの評価を無視したり、急いでクリックしてスキップしたりすることに似ています。ユーザーからの明示的なフィードバックは有益ですが、表面的なことが多く、真のインプットというよりも、プロンプトを無視する傾向があります。
そのため、より深い理解を得るために、私たちはユーザーの会話行動を詳細に分析しています。例えば、言い換えや明確化の試み、突然の会話の停止、突然の話題の変更などです。これらの行動はすべて、ユーザーがシステムとどの程度スムーズかつ効果的に関わっているかを測る上で不可欠な指標となります。全体的な不正確率は1.57%(追加の問い合わせは0.23%)と低かったものの、まだ改善の余地があります。これらの行動は、システムの流動性と有効性の重要な指標となり、ユーザーが摩擦を感じたり、より明確な情報を必要とする可能性がある領域を浮き彫りにします。これらのパターンを研究することで、ユーザーニーズを予測し、シームレスな体験を提供し、より直感的なやりとりを促進するシステムの能力を向上させる機会を特定することができます。
さらに、期待は常に変化し続けるため、ユーザーとの継続的なコミュニケーションが極めて重要であると判断しました。例えば、3週間以上新しいリリースがなかった期間には、ユーザーが停滞を感じたときに活動が低下したため、特定の分野での採用率が低下していることに気づきました。生成AIの急速な技術革新により、ほぼ毎週のように、頻繁なアップデートと新機能への期待が高まっています。こうした需要に応えるため、Extreme Networksは、このダイナミックな業界のリズムに歩調を合わせ、常に一歩先を行くことを目指しています。当社のアプローチは、独自の手法と顧客の運用データを組み合わせることで、OpenAIのChatGPTやGeminiのような既製の生成型AIソリューションをはるかに超える精度と関連性を提供します。このカスタマイズされた戦略は、当社を差別化するだけでなく、進化するユーザーのユニークなニーズに効果的に対応するのにも役立ちます。
例えば、利用可能な技術文書を使用した回答の比較では、Extreme AI Expertが提供する精度と詳細性の高さが際立っています。私が「Extreme AP5020の主な機能は何ですか?」というざっくりとした質問をしたところ、ChatGPTは正しい答えを出しましたが、包括性は低く、一方、Extreme AI Expertははるかに詳細でニュアンスのある回答を出しました。
さらに、ChatGPTはExtreme Networksのウェブサイトから一般的なソースを参照しているのに対し、Extrme AI Expertは、インストールガイドやデータシートなど、より適切なリソースから情報を引き出し、より的を絞った関連性の高い回答を提供しています。
各プラットフォームにExtremeCloud IQの構成について直接質問したところ、Extreme AI ExpertはExtremeCloud IQユーザーガイドの最新バージョン24.4.0を参照しているのに対し、ChatGPTは古いバージョン23.4.0を参照していることが分かりました。これは、Extreme AI Expertの主な利点を浮き彫りにしています。独自の方法論により、Extremeのドキュメントの多くが一般公開されている場合でも、より正確なドキュメント管理と、最新かつ最も関連性の高いリソースを照会する能力を確保することができます。
このブログでも前述の通り、現在、ネットワーク環境から抽出した運用データを使用しています。Extreme AI Expertに、過去24時間で接続されたWi-FiクライアントのOSのトップをパーセンテージで示してもらったところ、次のような回答が返ってきました。
ChatGPTに同じ質問をすると、期待通りの回答が返ってきました。これはChatGPTを否定するものではなく、公開システムではリアルタイムで運用データにアクセスできないというだけのことです。
Extreme AI Expertは、わずか3か月で大きな進歩を遂げ、ネットワークとセキュリティ運用の未来に向けた強固な基盤を築きました。リアルタイムの運用データの統合、独自の手法の活用、ユーザー行動の分析により、システムの精度が向上しただけでなく、進化するITチームのニーズにシームレスに対応できるようになりました。このアプローチは、拡張アナリティクスの基盤を提供し、ユーザーがデータとやりとりし、そこから洞察を得る方法に新たな体験をもたらします。民主化されたアプローチでは、データ専門家である必要も、関与する必要もなくなりました。
ここまでの旅の過程で学んだこと、すなわちユーザーからのフィードバック、エンゲージメント戦略、パフォーマンス比較などから得た教訓は、ツールの改良に役立っています。 今後も革新を続けるにあたり、当社の焦点は、効率性を高め、業務を簡素化する正確で実行可能な洞察をITチームに提供することにあります。 この旅はまだ終わりではなく、Extreme AI Expertの能力をさらに強化していく中で、今後どのようなことが待ち受けているのかを心待ちにしています。今後の進歩には、ダブルクリックAIエージェント、マルチエージェントアーキテクチャ、エージェントワークフローなどが含まれます。これらの革新により、新たなユースケースが解き放たれ、単一の大型言語モデル(LLM)だけでは不可能なレベルの精度が達成されるでしょう。