「【第7回】IoT製品の脆弱性対処を、漏れなく、迅速に」はこちら＞
ネットワーク運用に向けた検証における仕様情報探索の重要性
——お二人は生成AIを活用して、ネットワーク検証者の情報探索の支援に取り組まれているようですが、プロジェクトを開始した経緯などを聞かせてください。
渡邉
はい。ネットワーク検証業務では、ネットワークを構成する機器仕様情報探索のクオリティが非常に重要な意味を持ちます。例えば運用においてはインシデント発生時、迅速に原因を特定し復旧への行動をとるために、1秒でも早く類似事例や対応方法などの情報を入手する必要があります。またネットワークの設定変更に伴う作業などでは、スピードもさることながら、機器の設定方法や使用コマンドなど正確な情報の取得が求められます。
これまで多くの場合、検証者は、機器のマニュアルや設計書、障害履歴、ログなどが格納されたファイルサーバーに検索をかけ、必要な情報を探索していましたが、それは決して効率的とは言えない状況でした。例えば日立社内の調査では、導入前の機器が正しく機能するかを検証する作業において検証チーム全体で週に平均で約15時間を情報探索に割き、それは業務全体の約35％に及んでいました。また担当者のスキルによっては、さらに時間がかかることや、間違った情報との混同の可能性もありました。
こうした現状を改善すべく、検索アルゴリズムの改善などさまざまな試みがなされる中、2020年頃生成AIが登場します。私たちは機会あるごとにその新しい技術を試していましたが、いまから2年ほど前に、日立グループにおいて生成AI徹底活用プロジェクトがスタートし、グループで自由に使える生成AI共通基盤が構築されました。生成AIを使えばネットワーク検証者の仕様情報探索を改善できると考えていた私たちは、環境が整ったことも相まって、今回の取り組みをスタートしました。
仕様情報探索に要する時間を約90％削減
——それでは、取り組みの内容について具体的に教えてください。
中西
現在、我々の部隊では大きく2つの情報探索高度化のユースケースが運用されています。
まず、「障害対応窓口」のユースケースです。これは、お客さまの問い合わせを受けた窓口担当者が、そのメールをコピーして所定のエリアに貼り付けると、生成AIが類似事例を探し出し、その情報に基づいてお客さまへの回答内容を提案するというものです。担当者は、生成AIの提案をしっかりと見直したうえでお客さまに回答しますが、回答を作成する際に生成AIはどの類似事例を参照したか、根拠を表示しますので、担当者は見直し作業も効率的に行うことができます。
仕組みとしては、RAGを活用しています。約500件のインシデント履歴を格納した外部知識DBを用意し、汎用LLM がその情報をもとに問い合わせに対して回答します。
実証では、障害の問い合わせに対して経験の浅い担当者が、類似事例を検索して対処内容を確認するまでに要する時間を、このツールを使った場合と使わない場合とで計測し、比較しました。上限を20分と決めて計測しましたが、ツールを使わない場合は、10件の問い合わせに対して10件とも、20分を過ぎても作業を終えられませんでした。一方で使った場合には、1件につき平均約2分で作業を終了することができました。
障害対応窓口に向けたインシデント履歴探索のユースケースの画面。
渡邉
もうひとつは、「ネットワーク機器ドキュメント質疑応答」のユースケースです。
ネットワーク検証者は、さまざまな局面でネットワーク機器の仕様書やマニュアルを参照します。例えば機器検証では、担当者がラボ環境*でさまざまな試験を行いますが、その際、頻繁にドキュメントに検索をかけ、機器の仕様や設定方法などを確認ながら、作業を行います。しかも海外のベンダーが出すドキュメントは英語であり、その翻訳にも少なからず時間がかかります。先程も、その情報探索に要する時間をチーム全体で合計すると週に約15時間に及ぶというお話をしました。
このユースケースでは、担当者が、質問を日本語で入力すると、生成AIが各種ドキュメントの情報に基づいて、約3秒で、しかも日本語の自然言語で回答するというものになります。もちろんハルシネーション対策として、プロンプト拡張と参照元の明示も行います。このツールの導入により、当部の検証担当者が1週間に情報探索にかける時間は、従来の10分の1の約1.5時間に短縮することができ、他の業務に割ける時間が増えました。
仕組みとしてはやはりRAGを使っています。外部知識DBには約6万ページに及ぶネットワーク機器の仕様書やマニュアルなどのドキュメントを格納し、汎用LLM はこの情報をもとに回答します。現在、1日に平均457件の質問に回答しており、ネットワーク検証者にとって欠かせないツールとなっています。
＊ ラボ環境：アプリケーションの開発およびテストに使用できる仮想マシンと物理マシンのコレクション
約6万ページに及ぶドキュメントから、約3秒で欲しい情報をピックアップ。
RAGは導入しただけでは効果は出ない
——すばらしい成果ですね。取り組みは最初から順調に進んだのですか。
渡邉
最初は、RAGの外部知識DBに各種ドキュメントをそのまま格納し、生成AIを使ってみましたが、回答の内容が薄かったり、そもそも的を外していたり、業務で利用する域には全く届いていませんでした。実際に回答精度を計測してみると約47％という評価でしたが、RAGを導入しただけでは期待した効果は出ない、ということはすでに理解していましたので、私たちはすぐに回答精度を上げるための試行錯誤を開始しました。
中西
例えば、文字列がマッチした言葉を拾うキーワード検索と、意味ベースで文章を拾うベクトル検索を掛け合わせたハイブリッド検索の適用。また、短文のプロンプトをより具体的な内容にリライトするプロンプト拡張技術や、検索クエリに対して補足語を追加するクエリ拡張技術の実装などさまざまな施策を実行しました。
それぞれ効果を得ることができましたが、回答精度の向上に最も寄与したのは、ベクトル化の品質を上げるためのチャンキングやマークダウン形式への変換など、きめ細かなドキュメントの前処理でした。
——次回は、ベクトル化の前処理について聞いていきたいと思います。
渡邉 仁（わたなべ ひとし）
株式会社 日立製作所 マネージド＆プラットフォームサービス事業部
エンジニアリングサービス第1本部 テレコムネットワークインテグレーション部
主任技師
入社後、通信キャリアのモバイル系通信ネットワークのインフラ建設事業をSEとして支援。その後、通信インフラの建設、設計関連業務のDXに取り組む。手順書、運用マニュアル、設定ファイルなど各種ドキュメントの作成の自動化などに携わるなかで、生成AIへの知見を深め、現在、ネットワーク運用高度化に向けた業務全般への生成AI活用を推進。
中西 映之（なかにし ひでゆき）
株式会社 日立製作所 マネージド＆プラットフォームサービス事業部
エンジニアリングサービス第1本部 テレコムネットワークインテグレーション部
主任技師
入社後、通信キャリア向けネットワーク・ハードウェアの設計に従事。方式検討からFPGAなどの回路設計までハードウェア設計全般に携わる。その後、モバイル系通信機器の開発に取り組んだ後、これまで開発した機器の保守業務に移行。保守の高度化に取り組む中で、生成AIによるインシデント履歴の活用を推進し、現在その領域をネットワーク運用業務全般に拡大している。
PDF形式のファイルをご覧になるには、Adobe Systems Incorporated （アドビシステムズ社）のAdobe Acrobat Readerが必要です。
