生成AI活用のフロントランナー
【第11回】鉄道の安全をAIエンジニアリングで次のステージへ（後編）

エスノグラファーが収集した現場の知見をLLMへ

——エスノグラファーが収集した日立の熟練者の知見は、AIエージェントの回答精度向上に大きく貢献しました（関連記事）。このデータをLLMにどのような形で取り込むのが最適か——その検討が最も試行錯誤した工程だったそうですね。

細包
熟練者の知見をLLMの出力に活かすために、私たちはファインチューニングやRAG*²、コンテキストエンジニアリングなど、あらゆる手法を検討し、可能性を一つずつ検証していきました。
初期段階では、LLMに新しいデータを追加学習させて特定領域に最適化させるファインチューニングを検討しましたが、結果として適用は見送りました。ATOSは多種多様な装置が統合された複雑なシステムであり、トラブルパターンも多様です。そのため、学習データが特定の装置やトラブルに偏ると、ハルシネーションのリスクが高まる可能性がありました。ただし、特定の装置に領域を限定して試行した際にファインチューニングの有効性を確認しており、現在も適用可能性の検証を続けています。
＊2　RAG：Retrieval-Augmented Generation／検索拡張生成

奥田
検証の結果、現場の知見データの取り込みには、コンテキストエンジニアリングを適用しています。コンテキストエンジニアリングとは、プロンプトエンジニアリングを発展させた、LLMに与える情報全体を体系的に設計・最適化する技術です。このコンテキストエンジニアリングによって、タスクの実行に必要な情報を適切に統合することでLLMの判断ミスを抑制し、正しい行動を選択できる可能性を上げることができます。
今回、私たちの狙いは日立の熟練者がたどった思考プロセスをLLMになぞらせることです。このようにLLMを論理的に制御したい場合には、コンテキストエンジニアリングによって適切な指示を適切なタイミングで与えることが、最も精度向上の近道であることを検証により確認しました。しかし現場の知見の取り込みは初めての試みであり、成果が出るまで根気強く改善を繰り返す必要がありました。

山室
エスノグラファーが作成したデータは、アラート発生から対応完了までの熟練者の思考プロセスが一連のセットとなっています。初期段階では、このデータをセット単位でそのままLLMに読ませましたが、期待した回答は得られませんでした。検証を進めると、前半の指示が後半に比べて軽視されやすい傾向が見られ、コンテキストの長さが出力精度に大きく影響することが分かってきました。
ひとつのデータのセットには「特定アラート発生時に疑うべき装置」「装置状態に応じた参照ドキュメント」「確認結果に基づく対応」など、多段階の分岐が含まれています。そこで私たちは、この分岐構造を分解し、ステップ単位でLLMに処理させる方式に変更しました。その結果、LLMは期待した回答を生成し、実運用への適用に向けた手応えを得ることができました。

吉田
LLMが参照・活用する過去の事例や手順書など既存のドキュメントは、RAGを用いて、外部データベースから取り込む仕組みにしています。それに伴って、LLMがそのままでは扱えないPowerPointのデータなどをテキスト化する作業が大量に発生しました。中でも最も工数がかかったのは、システム構成図をLLMが理解できるよう構造化する作業です。システム構成図の構造化は生成AIで行うには現状、精度に課題があり、最終的には手作業で対応しました。
ただ、AIファーストの時代を迎えた今、今後はあらゆるデータを最初からAIネイティブな形式で整備しておくことが、開発効率を高めるうえで実は欠かせない要素になると感じており、私たちも今回の知見を生かし、その仕組み化に取り組む用意をしています。

ATOS、そして社会インフラシステムの未来にAIができること

——今回のATOSにおけるAIエージェント開発には、皆さんはどのような想いで臨み、また、その過程でどのような気づきや学びを得ることができましたか。

山室
LLM活用技術に関して各コミュニティで議論・研究が行われ、私たちも最新技術の導入を積極的に進めてきましたが、期待どおりの回答を得るには、設計段階の工夫と実装における継続的な最適化が必要である事を実感しました。こうして蓄積した業務知識とAI技術を効果的に結びつける知見をATOSプロジェクトはもちろんOT（制御・運用技術）分野にも広く展開し、AIが現場の判断を支え知の継承に寄与する社会の実現に向けて、今回の協働成果をさらなる発展へとつなげていきたいと考えています。

奥田
試行錯誤を重ねる中で、AIエージェントの精度は着実に高まっていきました。その進化は、適切な技術の積み上げはもとより、私たち開発チームそれぞれがATOSというシステムを深く知っていく過程とも同調していたように思います。業務への深い理解なくして単に生成AIを導入しても効果は得られない——このことはこの取り組みでの大きな気づきのひとつであり、LLMシステム開発の魅力でもあると感じています。

吉田
日立は、ATOSの誕生以来四半世紀にわたり、その開発と保守に継続的に携わってきました。厳密な制御が求められる社会インフラの分野では、生成AIの導入は容易ではありません。それでも今回、一定の成果を収めることができたのは、JR東日本と日立が「究極の安全をめざす」という価値観を共有し、同じ方向を見据えて歩んできたからだと感じています。
今後もJR東日本と緊密な連携を続けながら、安全を最優先に、共にプロジェクトを前進させていきたいと考えています。

細包
使われないシステムは作らない——どのプロジェクトでも同じですが、今回もその想いを強く持って開発を進めています。そのために、私たち自身がどれほど良いと思っても、ユーザーの指摘があれば真摯に受け止め、現場に寄り添った開発を続けること。そして、要件に対して解決できる部分と難しい部分を包み隠さず伝え、JR東日本との信頼の協創関係をいっそう強固にしていくことを大事にしています。
ATOSのAIエージェントの実現は、鉄道の安定運行にとどまらず、OT分野全体が直面する「熟練者の知見をいかに継承するか」という課題の解決に向けた重要な一歩になると考えています。私たちはこれからも「社会インフラの安定稼働にAIができることは何か」を考えながら、このプロジェクトに真摯に取り組んでまいります。

細包 愛子（ほそかね あいこ）
日立製作所　デジタルシステム＆サービス
AI＆ソフトウェアサービスビジネスユニット
マネージド＆プラットフォームサービス事業部
AIサービス本部 生成AIサービス開発部 AIサービスG

自然言語処理を中心としたデータ分析案件に従事。報告書などのテキストデータ分析案件に従事。報告書などのテキストデータを活用したトラブル対応支援のAIサービス開発に参画。2024年より生成AIサービス開発部に異動し、業務特化型LLMの開発や適用を推進中。

奥田 太郎（おくだ たろう）
日立製作所　デジタルシステム＆サービス
AI＆ソフトウェアサービスビジネスユニット
デジタル事業開発統括本部 Data＆Design
GenAIソリューション＆ビジネス
GenAIソリューションG

メーカーでエンジニアとしての経歴を持つ。日立では、機械学習モデルをAPIとしてクラウド上にデプロイするサーバレスアーキテクチャのテンプレート設計・開発や、電力分野向けのデータ分析支援や分析などを通じた価値提案を実施。近年では、生成AIの技術検証支援(RAGシステム精度検証、生成AIプロトタイプ開発支援)を実施。

山室 みどり（やまむろ みどり）
日立製作所　デジタルシステム＆サービス
AI&ソフトウェアサービスビジネスユニット
デジタル事業開発統括本部 Data＆Design
GenAIソリューション＆ビジネス GenAIソリューションG

エネルギー関連企業にて設備保守業務を経験した後、データ分析や機械学習モデル構築を通じて、社内課題の解決と現場業務の効率化を推進。 その後、日立製作所のGenerative AI事業推進センタに従事し、鉄道事業をはじめとするさまざまな産業領域において、生成AI活用のユースケース設計からプロトタイプ開発まで担当。

吉田 息吹（よしだ いぶき）
日立製作所　デジタルシステム＆サービス
社会ビジネスユニット　インフラ制御システム事業部
交通制御システム本部　ATOSセンタ

システムエンジニアとして、運行管理システムの列車制御システム設計開発に従事し、システムの検討から機能設計、試験、現地インストール、保守まで幅広く経験。現在は、運用・保守におけるAIエージェント開発プロジェクトへの参画や、インフラ向けシステム開発の高効率化に向けた生成AI活用推進にも取り組んでいる。