New Relicインシデントインテリジェンス - AI駆動型問題管理の実践ガイド

大規模システム環境では、一つの根本原因が複数のアラートを生成し、運用チームが大量の通知に埋もれてしまうという課題が頻繁に発生します。New Relicインシデントインテリジェンスは、機械学習とパターン分析を活用して、関連するアラートの自動統合、ノイズ削減、予測的問題検知を実現するAI駆動型管理システムです。従来の静的なルールベース管理を超えて、動的な学習とパターン認識により、運用効率の向上と対応時間の短縮を実現します。この記事では、インシデントインテリジェンスの仕組みから実装方法、実践的な運用戦略まで、詳しく解説します。

インシデントインテリジェンスの概要と価値

インシデントインテリジェンスは、従来のアラート管理の3つの主要課題を解決します。

解決する3つの課題

課題1: アラート嵐（Alert Storm）

大規模障害が発生すると、関連する数十～数百のアラートが同時に発火し、本当の問題が何かを把握できなくなります。

従来の問題

データベースがダウン → 全アプリケーションからエラーアラート → 100個以上のアラートが数分で発火
運用チームは個々のアラートを確認し、関連性を手動で判断
根本原因の特定に30分以上かかることも

インテリジェンスによる解決

関連する100個のアラートを1つのIssueに自動統合
「データベース接続エラー」という根本原因を特定
問題把握が数分以内に完了

課題2: 誤検知によるノイズ

一時的なネットワーク遅延やスパイクにより、重要でないアラートが頻発し、チームが疲弊します。

従来の問題

短時間のCPUスパイクで毎日数十件のアラート
本当に重要な問題のアラートが埋もれる
アラート疲れによりチームが通知を無視し始める

インテリジェンスによる解決

過去のパターンから「通常の変動範囲」を学習
本当に異常な状態のみをアラート
誤検知率を50～80%削減

課題3: コンテキスト不足

アラート通知だけでは、問題の影響範囲や対処方法が不明確です。

従来の問題

「APIレスポンスタイムが3秒超過」という通知のみ
影響を受けるユーザー数、関連サービス、過去の類似問題が不明
対応者が1から調査を開始

インテリジェンスによる解決

影響を受けるエンティティとユーザー数を自動集計
関連するログ、トレース、メトリクスを自動収集
過去の類似インシデントと対応履歴を提示

インシデントインテリジェンスの核となる価値

自動相関と統合では、異なるシステムやサービスから発生する関連アラートを自動的に識別し、単一のインシデントとして統合管理します。時間ベース、地理的、サービス依存関係、過去のパターン学習など、複数の相関アルゴリズムを組み合わせて、精度の高いグループ化を実現します。

ノイズ削減と優先順位付けにより、重要度の低いアラートや一時的な変動による誤検知を自動的にフィルタリングします。過去の対応履歴とビジネス影響度を学習し、真に重要な問題に運用チームが集中できる環境を提供します。

予測的異常検知では、統計的時系列分析とIsolation Forestアルゴリズムを使用して、通常の振る舞いから逸脱する兆候を早期に検出します。問題が深刻化する前の予防的対応が可能になり、システムの可用性が向上します。

コンテキスト豊富な情報提供として、インシデント発生時に関連するメトリクス、ログ、トレースデータを自動的に収集し、根本原因分析を支援します。過去の類似インシデントの対応履歴も提示され、経験の浅いエンジニアでも迅速な対応が可能です。

自動相関機能の詳細

自動相関は、インシデントインテリジェンスの中核機能として、複雑なシステム環境での問題管理を革新的に改善します。

4つの相関アルゴリズム

New Relicは4つの相関手法を組み合わせて、高精度なインシデント統合を実現します。

1. 時間ベース相関（Temporal Correlation）

同じ時間帯に発生したアラートを分析し、共通の原因による問題を特定します。

仕組み

5分以内に発生したアラートを関連候補として識別
アラート発生の時系列パターンを分析
カスケード障害の因果関係を推定

適用例

14:32:10 - Database connection timeout (複数アプリから)
14:32:15 - API response time spike (5個のサービス)
14:32:20 - Queue depth increase (メッセージキュー)
14:32:25 - Error rate spike (10個のエンドポイント)

→ すべて「Database接続問題」という1つのIssueに統合

効果カスケード障害やインフラストラクチャレベルの問題で、複数サービスに影響する場合の統合管理に最適です。

2. 地理的相関（Geographic Correlation）

同一データセンターやリージョンで発生する問題を関連付けます。

仕組み

エンティティの地理的情報（リージョン、データセンター、ゾーン）を解析
同一ロケーションのアラートを優先的に関連付け
ネットワーク障害や地域的な問題を検出

適用例

us-east-1 リージョン:
  - EC2インスタンス 10台でCPU異常
  - RDSデータベースで接続エラー
  - ELBでヘルスチェック失敗

→ 「us-east-1 リージョン問題」として統合

効果クラウド環境のリージョン障害やデータセンター単位の問題で、影響範囲を正確に把握できます。

3. サービス依存関係相関（Service Dependency Correlation）

アプリケーションとインフラストラクチャの依存関係マップに基づいて、上位サービスと下位サービスの問題を関連付けます。

仕組み

New Relic Service Mapsの依存関係データを利用
下位サービスの問題が上位サービスに波及することを検出
根本原因を特定し、症状アラートを抑制

適用例

依存関係: WebApp → API Gateway → Auth Service → Database

Database の障害発生:
  ↓
Auth Service でエラー増加
  ↓
API Gateway でタイムアウト
  ↓
WebApp でユーザーエラー

→ 根本原因「Database障害」を特定し、
   他は症状として1つのIssueに統合

効果マイクロサービスアーキテクチャで、根本原因と症状を区別し、効率的な対応を促進します。

4. パターン学習相関（Machine Learning Correlation）

ランダムフォレストアルゴリズムと決定木学習を使用して、過去のインシデント履歴から学習したパターンに基づいて類似の問題を自動的にグループ化します。

仕組み

過去90日間のインシデント履歴を分析
アラートの組み合わせパターン、対応履歴、手動での統合/分離を学習
組織固有の環境特性を反映した相関ルールを自動生成

学習要素

どのアラートが同時に発生する傾向があるか
どのエンティティが相互に影響するか
過去に人間が統合したインシデントのパターン
解決までの時間と対応手順の類似性

適用例

学習したパターン:
「夜間バッチジョブ実行時は、CPU使用率とメモリ使用率が
 同時に上昇するが、これは正常動作」

→ このパターンに一致する場合は統合せず、
   通常と異なるパターンの場合のみアラート

効果組織固有のシステム構成や運用パターンを学習し、精度の高い相関分析を実現します。

相関精度の向上メカニズム

教師あり学習モデルは、運用チームのフィードバックを継続的に学習します。

フィードバックループ:

システムが自動的にインシデントを統合
運用チームが「正しく統合」または「誤って統合」を評価
評価データを学習モデルにフィードバック
次回から精度が向上

誤った統合例:

システムの判断: 「APIエラー」と「データベース遅延」を統合
運用チームの評価: 「これらは別問題」
学習結果: 類似パターンでは統合しないように調整

カスタム相関ルールにより、組織固有のシステム構成や業務要件に応じた相関ロジックを追加できます。

例: マイクロサービス「OrderService」の全インスタンスのアラートは常に統合

IF alert.serviceName == "OrderService"
THEN correlate all instances into single issue

機械学習による自動分析と人間の専門知識を組み合わせた最適化が可能です。

相関設定の実装例

New Relic UIでの設定手順:

Alerts & AI → Incident Intelligence → Settingsに移動
Correlation Logicタブで相関アルゴリズムを選択:
- ✅ Time-based correlation（デフォルト有効）
- ✅ Geographic correlation（推奨）
- ✅ Service dependency correlation（マイクロサービス環境で推奨）
- ✅ Machine learning correlation（90日以上のデータがある場合に有効化）
Correlation Aggressiveness（相関の積極性）を調整:
- Conservative: 明確に関連するもののみ統合（誤統合を最小化）
- Moderate: バランス型（推奨）
- Aggressive: 広範囲に統合（アラート数を最小化）
Feedback Trainingを有効化し、チームのフィードバックを学習

ノイズ削減とインテリジェントフィルタリング

大規模システムでは、膨大なアラートのノイズ削減が運用効率に直結します。

インテリジェントフィルタリングの3つの手法

1. 重要度ベースフィルタリング

過去の対応履歴とビジネス影響度を学習し、真に重要なアラートを優先的に表示します。

学習要素

アラート発火後の対応有無（対応されたアラートは重要）
解決までの時間（迅速に対応されたアラートは緊急度が高い）
エスカレーション履歴（エスカレートされたアラートは重要）
ビジネス時間帯との相関（営業時間中のアラートは影響大）

適用例

アラートA: 本番APIエラー率5% → 過去に即座対応 → 重要度: High
アラートB: 開発環境CPU 80% → 過去に未対応 → 重要度: Low

→ アラートAのみを即座通知、Bは日次サマリーで報告

2. 頻度ベース抑制（Flapping Detection）

短時間に大量発生する類似アラートを統合し、運用チームの負荷を軽減します。

フラッピング検知

同一条件で5分以内に10回以上の開閉を繰り返す場合を検出
最初の1回のみ通知し、その後は抑制
状態が安定したら通知再開

適用例

14:00:00 - CPU > 80% (アラート発火)
14:00:30 - CPU < 80% (アラート解消)
14:01:00 - CPU > 80% (アラート再発火)
14:01:30 - CPU < 80% (再度解消)
... 10回繰り返し

→ 「CPUフラッピング検出」として1つの通知のみ送信

3. 依存関係フィルタリング

下位システムの問題による上位サービスのアラートを自動的に抑制します。

仕組み

サービス依存関係マップを参照
下位サービスのインシデントが存在する場合、上位サービスの関連アラートを抑制
根本原因解決後、抑制を自動解除

適用例

依存関係: Webapp → Database

1. Databaseで「接続エラー」インシデント作成
2. WebappでAPI応答not found (この 症状アラートを自動抑制)
3. Databaseインシデント解決
4. Webapp症状アラートの抑制解除

→ 運用チームは「Database接続エラーのみ対応すれば良い

動的しきい値調整

学習ベース最適化により、システムの正常な振る舞いパターンを継続的に学習し、動的にアラートしきい値を調整します。

学習プロセス

過去30日間の正常時データを収集
時間帯別・曜日別の変動パターンを分析
95パーセンタイル値を基準にしきい値を自動調整
季節性やトレンドを考慮した予測範囲を確立

適用例（ECサイトのトラフィック監視）:

従来の固定しきい値: 1000 RPM で常にアラート

動的しきい値:
- 平日 12:00-13:00: 800 RPM（ランチタイムピーク）
- 平日 15:00-16:00: 300 RPM（閑散時間）
- 土曜 20:00-21:00: 1500 RPM（週末ピーク）

→ 各時間帯の正常範囲を学習し、真の異常のみ検出

ノイズ削減効果の測定

インシデントインテリジェンス導入前後の比較例:

指標	導入前	導入後	改善率
月間アラート数	3,000件	800件	73%削減
誤検知率	45%	12%	73%改善
平均対応時間	25分	8分	68%短縮
重要問題の見逃し	5件/月	0件/月	100%改善

予測的異常検知の実装

機械学習による予測的異常検知は、従来の事後対応型監視から予防的監視への転換を可能にします。

異常パターンの学習手法

ベースライン学習

正常時のシステム振る舞いを継続的に学習し、統計的に有意な逸脱を検出します。

学習対象

トラフィックパターン（リクエスト数、同時接続数）
リソース使用率（CPU、メモリ、ネットワーク）
レスポンスタイム（P50、P95、P99）
エラー率の変動範囲

異常検出の仕組み

過去7日間の同時刻データ:
12:00のレスポンスタイム平均: 250ms ± 50ms（標準偏差）

本日12:00のレスポンスタイム: 500ms
→ 平均 + 5標準偏差を超過 → 異常と判定

季節性とトレンド分析

長期的な変動パターンを考慮した異常検知を行います。

季節性の考慮

月初/月末パターン（経理システムの負荷増）
年末年始パターン（ECサイトのセールピーク）
夏季/冬季パターン（空調制御システム）

トレンドの分離

ビジネス成長による段階的な負荷増加は正常
急激な変化は異常として検出

適用例

ECサイトの年間トラフィックパターン:
- 平常時: 1,000 RPM
- 夏季セール: 3,000 RPM（正常な季節変動）
- クリスマス: 5,000 RPM（正常な季節変動）

急に10,000 RPMに増加
→ 季節性を考慮してもトレンドから逸脱 → 異常検出
  （DDoS攻撃やバイラル拡散の可能性）

多変量異常検知

複数のメトリクスの相関関係を分析し、単独では正常範囲内でも、組み合わせで異常となるパターンを検出します。

Isolation Forestアルゴリズム

複数の特徴量（CPU、メモリ、ディスクI/O、ネットワーク）を同時に評価
通常とは異なる組み合わせパターンを検出

適用例

単独では正常:
- CPU使用率: 60%（正常範囲: 50-70%）
- メモリ使用率: 70%（正常範囲: 60-80%）
- ディスクI/O: 800 IOPS（正常範囲: 500-1000 IOPS）

しかし組み合わせパターンが異常:
通常の組み合わせ: CPU高い→メモリ高い
異常パターン: CPU低い→メモリ高い→ディスクI/O極端に高い

→ メモリリークの可能性を早期検出

予測的アラートの実装

劣化傾向の早期検知

パフォーマンスの段階的悪化を検出し、問題が深刻化する前に警告を発します。

検知対象

レスポンスタイムの徐々な増加（過去7日間で20%悪化）
エラー率の緩やかな上昇（週次で2倍に増加）
リソース使用率の段階的増加（メモリリークの兆候）

NRQL例（レスポンスタイムのトレンド分析）

sql

SELECT 
  average(duration) AS 'Current',
  average(duration) - derivative(average(duration), 7 days) AS 'Trend'
FROM Transaction
WHERE appName = 'production-api'
SINCE 30 days ago
COMPARE WITH 7 days ago

アラート設定

Trendが正（悪化傾向）で、7日間で20%以上増加した場合にWarning
30%以上増加した場合にCritical

障害予測

過去の障害パターンから学習し、類似の状況が発生した場合に予防的な警告を発します。

学習内容

過去の障害発生前の30分間のメトリクスパターン
リソース枯渇までの時間推定
キャパシティプランニングへの活用

実装例（ディスク容量予測）:

過去のデータ分析:
- ディスク使用率が90%に達してから満杯まで平均3時間
- 毎日平均5GBずつ増加

現在の状況:
- ディスク使用率: 85%
- 増加ペース: 1GB/時間

予測:
- 5時間後に90%到達
- 8時間後に満杯の可能性

→ 「ディスク容量不足の予測アラート」を発行
   運用チームは計画的にクリーンアップや容量追加を実施

効果測定とROI

インシデントインテリジェンスの価値を定量化し、継続的な改善を実施するための指標と方法について説明します。

主要パフォーマンス指標（KPI）

1. ノイズ削減率

計算式

ノイズ削減率 = (導入前のアラート数 - 導入後のアラート数) / 導入前のアラート数 × 100%

目標値 60%以上の削減

測定方法

導入前の1ヶ月間のアラート数を記録
導入後の1ヶ月間のアラート数を比較
月次でトレンドを追跡

2. インシデント統合精度

計算式

統合精度 = 正しく統合されたインシデント数 / 全統合インシデント数 × 100%

目標値 90%以上

測定方法

運用チームによる統合結果の評価（正しい/誤り）
週次でサンプリング評価（全体の10%程度）

3. 平均解決時間（MTTR: Mean Time To Resolution）

計算式

MTTR = インシデント解決までの合計時間 / インシデント数

目標値 導入前比で30%以上短縮

改善要因

根本原因の迅速な特定
コンテキスト情報の自動収集
過去の類似問題の対応履歴参照

4. 予防的検出率

計算式

予防的検出率 = 障害発生前に検出されたインシデント数 / 全インシデント数 × 100%

目標値 20%以上

測定対象

劣化傾向の早期警告
リソース枯渇の予測
パフォーマンス劣化の予兆検知

ROI試算例

中規模組織（運用チーム10名）での導入効果試算:

コスト削減

アラート対応時間の削減:
- 導入前: 3,000件/月 × 15分/件 = 750時間/月
- 導入後: 800件/月 × 8分/件 = 107時間/月
- 削減時間: 643時間/月

時間コスト換算（1時間あたり5,000円と仮定):
- 月間削減額: 643時間 × 5,000円 = 3,215,000円
- 年間削減額: 3,215,000円 × 12 = 38,580,000円

障害影響の削減

MTTR短縮による影響:
- 導入前の平均MTTR: 45分
- 導入後の平均MTTR: 20分
- 短縮時間: 25分

重大障害のビジネス影響（1分あたり10万円と仮定):
- 年間重大障害: 12回
- 1回あたりの被害軽減: 25分 × 10万円 = 250万円
- 年間被害軽減: 250万円 × 12 = 3,000万円

合計ROI

年間効果: 38,580,000円 + 30,000,000円 = 68,580,000円
New Relic Incident Intelligence 追加コスト: 約1,000,000円/年

ROI = (68,580,000 - 1,000,000) / 1,000,000 × 100% = 6,758%
投資回収期間: 5日

導入と運用のベストプラクティス

インシデントインテリジェンスを効果的に活用するための段階的アプローチと運用戦略を紹介します。

段階的導入の3フェーズ

Phase 1: パイロット運用（1～2ヶ月）

重要度の高い1～2個のサービスに限定して導入し、効果を評価します。

実施内容:

本番環境の中核サービスを選定
時間ベース相関のみ有効化（最もシンプル）
相関の積極性は Moderate に設定
チームからのフィードバックを積極的に収集

評価指標:

ノイズ削減率の測定
誤統合/未統合の発生頻度
チームの受け入れ度

Phase 2: 拡大導入（3～4ヶ月）

効果が確認されたら、対象サービスを拡大し、高度な機能を有効化します。

実施内容:

全本番サービスに拡大
地理的相関、サービス依存関係相関を有効化
機械学習相関を有効化（データが90日以上ある場合）
カスタム相関ルールを追加

調整作業:

相関の積極性を調整（Conservative ←→ Aggressive）
フィードバックループの確立
週次レビュー会議の実施

Phase 3: 最適化運用（5ヶ月以降）

継続的な学習と改善により、精度を向上させます。

実施内容:

予測的異常検知の有効化
多変量異常検知の設定
外部システム（ServiceNow、Jiraなど）との統合
自動レメディエーションの検討

継続的改善:

月次でKPIレビュー
四半期ごとにROI評価
新しい相関ルールの追加

チーム教育とプロセス統合

教育プログラム

概要セッション（1時間）: インシデントインテリジェンスの価値と仕組み
ハンズオントレーニング（2時間）: UIの使い方、フィードバック方法
トラブルシューティング研修（1時間）: よくある問題と対処法

プロセス変更

インシデント対応手順の更新（自動統合を前提とした手順）
エスカレーション基準の見直し（重要度が自動判定される）
ポストモーテムへのAI分析結果の活用

まとめ

New Relicインシデントインテリジェンスは、AI技術を活用して従来のアラート管理の課題を解決し、効率的で精度の高いインシデント管理を実現します。自動相関、ノイズ削減、予測的異常検知により、運用チームの生産性向上とシステムの可用性向上を両立できます。

重要なポイントとして、4つの相関アルゴリズム（時間/地理/依存関係/機械学習）を組み合わせることで高精度な統合が可能であること、ノイズ削減により誤検知を60～80%削減し、真に重要な問題に集中できること、予測的異常検知で問題が深刻化する前に予防的対応が可能であること、段階的導入（パイロット→拡大→最適化）により着実に効果を実現できることを覚えておいてください。

次のステップとして、通知チャネルとの統合について学習し、インテリジェンス機能の価値をさらに拡張していきましょう。

関連記事: New Relicアラート概要関連記事: 通知チャネル設定関連記事: アラートポリシー設定ガイド

New Relicインシデントインテリジェンス - AI駆動型問題管理の実践ガイド ​

インシデントインテリジェンスの概要と価値 ​

解決する3つの課題 ​

インシデントインテリジェンスの核となる価値 ​

自動相関機能の詳細 ​

4つの相関アルゴリズム ​

1. 時間ベース相関（Temporal Correlation） ​

2. 地理的相関（Geographic Correlation） ​

3. サービス依存関係相関（Service Dependency Correlation） ​

4. パターン学習相関（Machine Learning Correlation） ​

相関精度の向上メカニズム ​

相関設定の実装例 ​

ノイズ削減とインテリジェントフィルタリング ​

インテリジェントフィルタリングの3つの手法 ​

1. 重要度ベースフィルタリング ​

2. 頻度ベース抑制（Flapping Detection） ​

3. 依存関係フィルタリング ​

動的しきい値調整 ​

ノイズ削減効果の測定 ​

予測的異常検知の実装 ​

異常パターンの学習手法 ​

ベースライン学習 ​

季節性とトレンド分析 ​

多変量異常検知 ​

予測的アラートの実装 ​

劣化傾向の早期検知 ​

障害予測 ​

効果測定とROI ​

主要パフォーマンス指標（KPI） ​

1. ノイズ削減率 ​

2. インシデント統合精度 ​

3. 平均解決時間（MTTR: Mean Time To Resolution） ​

4. 予防的検出率 ​

ROI試算例 ​

導入と運用のベストプラクティス ​

段階的導入の3フェーズ ​

チーム教育とプロセス統合 ​

まとめ ​

New Relicインシデントインテリジェンス - AI駆動型問題管理の実践ガイド

インシデントインテリジェンスの概要と価値

解決する3つの課題

インシデントインテリジェンスの核となる価値

自動相関機能の詳細

4つの相関アルゴリズム

1. 時間ベース相関（Temporal Correlation）

2. 地理的相関（Geographic Correlation）

3. サービス依存関係相関（Service Dependency Correlation）

4. パターン学習相関（Machine Learning Correlation）

相関精度の向上メカニズム

相関設定の実装例

ノイズ削減とインテリジェントフィルタリング

インテリジェントフィルタリングの3つの手法

1. 重要度ベースフィルタリング

2. 頻度ベース抑制（Flapping Detection）

3. 依存関係フィルタリング

動的しきい値調整

ノイズ削減効果の測定

予測的異常検知の実装

異常パターンの学習手法

ベースライン学習

季節性とトレンド分析

多変量異常検知

予測的アラートの実装

劣化傾向の早期検知

障害予測

効果測定とROI

主要パフォーマンス指標（KPI）

1. ノイズ削減率

2. インシデント統合精度

3. 平均解決時間（MTTR: Mean Time To Resolution）

4. 予防的検出率

ROI試算例

導入と運用のベストプラクティス

段階的導入の3フェーズ

チーム教育とプロセス統合

まとめ