ログの保存とコスト管理
ログ管理において、コストと可視性のバランスを取ることは非常に重要です。Datadogでは、Ingest(取り込み) と Index(保存) を分離して管理できます。
インデックスと除外フィルター (Exclusion Filters)
全てのログを取り込みますが、検索・分析用にDatadog内に保存(インデックス化)するログは選別できます。
- インデックス化: 高速な検索、分析、ダッシュボード表示が可能。コストがかかります。
- 除外(Exclusion): インデックス化せず、メトリクス生成やLive Tailのみに使用。コストを抑えられます。
例: status:info レベルのアクセスログは除外し、エラ―ログのみインデックス化する。
アーカイブ (Archives)
インデックス化しなかったログも含め、全てのログを自社のクラウドストレージ(Amazon S3, Azure Blob Storage, Google Cloud Storage)に転送・保存できます。 これにより、コンプライアンス要件(長期間のログ保存)を安価に満たすことができます。
Rehydration (リハイドレート)
アーカイブした過去のログを、必要になった時だけDatadogに復元(Rehydrate)して分析することができます。例えば、半年前のセキュリティインシデント調査が必要になった場合などに便利です。
出典: Datadog Docs - Log Indexes出典: Datadog Docs - Log Archives