近頃IT分野で最もホットなテーマはChatGPTですが、その代表が生成 AIです。ChatGPTは2022年11月に公開されましたが、ジェニファーソフトは、生成 AIと APMの接点を研究し、JENNIFERアシスタントを開発しました。今回はJENNIFERアシスタントを開発する時に感じた生成 AIが APMに与えるポイントについて説明します。

APMマーケットでも革新競争が始動

APMマーケットでも OpenAIが提供する APIをモニタリングし、コストと活用に関するモニタリングデータを提供することや、大規模言語モデル(LLM)でデータを解析できる初期バージョンが出始めています。未だ、初期段階であるため、完成度は高いとは言えませんが、LLMの発展と共に機能の完成度も少しずつ向上するものと推測されます。

JENNIFERアシスタントで生成AIの可能性を実験中

JENNIFERはお客様とエンジニアのために、多様なドキュメントを提供しています。ドキュメントが充実すると、その分かり易さからユーザ価値も高まります。JENNIFERが提供するドキュメントはグローバルユーザのために作成され、内容とその量は膨大です。しかし、ドキュメントの量が多いため、探すのが大変とのご指摘を頂く場合もあります。また、一つ一つ目次を確認しながらドキュメントを探すことが大変だから、ドキュメントを見ないこともあるようです。もし、生成 AIが答えを探してくれるならば、このような問題を解決できると考え、JENNIFERアシスタントを試験的に開発しました。

JENNIFERアシスタントは、段階的なリリースで進めています。ChatGPTを使用した経験があればお分かりでしょうが、全ての質問で回答を正確に得ることはできません。そのため、回答の正確度を高めるためのチューニングを進めています。

Webページで開発されたJENNIFERアシスタントの現バージョンの初期画面です。サンプルにある質問を選択するか、それを参考にして新しい質問を入力することができます。

JENNIFERアシスタントはオンラインサービスで提供

JENNIFERはインストール型ソフトウエア(オンプレミス)で提供しますが、JENNIFERアシスタントはオンラインサービスで提供します。その理由は次の通りです。

• 大規模言語モデル(LLM)をインストール型で提供する場合、導入環境にAI学習用のサーバを追加導入しなければなりません。
• JENNIFERアシスタントでは継続的なアップデートのため、 JENNIFERアシスタントのコンテンツと機能のアップデートが必須です。
• JENNIFERアシスタントはモバイル環境でも簡単にアクセスできるように、使用中の業務環境で活用できなければなりません。

JENNIFERアシスタントの基本的な機能

JENNIFERアシスタントで最も優先する機能は、質問に正確に回答することです。JENNIFERアシスタントの回答の特徴は、回答を生成する時に根拠となる関連ヘルプのリンクも同時に提供することです。根拠となるドキュメントを確認すれば、その回答が適切であるか判断でき、回答が十分ではないと判断する場合は、リンクを選択して内容を直接確認できます。

JENNIFERアシスタントへの質問と回答の例です。 ① ユーザが入力した質問を表示します。 ② AIがヘルプを要約して回答を生成します。 ③ 回答を生成する時に参照したヘルプリンクを提示するのでリファレンスを確認できます。 ④ 回答に追加で疑問があれば、再度質問ができます。

製品の習熟度を考慮して、マルチ言語で回答

JENNIFERアシスタントは、製品の習熟度が高いエンジニアとJENNIFERを初めて使用するエンドユーザまで考慮しています。また、日本語、英語、韓国語の質問と回答をサポートするため、システムでは言語に応じて別々にログインできる機能を追加しました。

① ログインをすると質問と回答の記録を確認できます。 ② ユーザによる、より専門的なドキュメントを基に回答を生成します。 ③ 言語設定で、どの言語で回答するかを設定できます。

JENNIFERアシスタントは段階的なリリースを進めながら、エンジニアのユーザを対象に無償のログインアカウントを提供します。エンジニアは製品の習熟度が高いため、全てのドキュメントを対象に詳細設定の内容も回答します。そのため、時には回答に誤りもありますが、フィードバックにより改善しているため、使用しているエンジニアの方からの積極的なフィードバックを期待しています。

生成 AIは本当に適用できるか？

現在のJENNIFERアシスタントは誤った回答をする場合もあります。そのため、ユーザからの学習があると思います。大変な労力をかけて作成した膨大なドキュメントを正確に理解して、マルチ言語で24時間いつもユーザの力になる有能なメンバーは作れません。また、次のような限界も明確なため、APM機能全体に生成 AIを完璧に適用することはもう少し検討が必要です。

• 誤った回答を100%防止することは難しいため、100%信頼が必要な作業に適用することは難しいです。JENNIFERアシスタント　ヘルプの場合でも重要な質問であれば生成 AIの応答を一度は疑ってレファレンスの内容を再度確認する必要があります。
• オンプレミスの環境で新しいAIサーバ導入が必要です。そのため、生成 AIが与える価値が、サーバ導入コストより高いと評価できることが重要です。また、必要によりオプションで提供する方法を考えなければなりません。

JENNIFERは新しい技術との楽しい出会いを準備中

JENNIFERはアプリケーションモニタリング(APM)の本質について長い時間かけて研究して参りました。同時にユーザがより簡単で分かり易くモニタリングできることが重要と考えています。

生成AIにより、 これを達成することができるならば当然導入すべきで、自社での巨大言語モデルや、 マルチモーダルインターフェースを仮定したユーザシナリオの導入も排除しません。特に、JENNIFERの強みであるリアルタイム性と連携してユーザの問題解決に集中し、より本質に近い価値を提供できるように考えています。JENNIFERはより発展したモニタリング体験を改善するために努力していますが、継続的な関心と応援をよろしくお願いいたします。