New Relicログ転送設定の完全ガイド - 効率的なログ収集の実装 ​

New Relicのログ監視機能を活用するためには、アプリケーションやインフラストラクチャから生成されるログデータを効率的にNew Relicプラットフォームに転送する必要があります。本記事では、様々なログ転送方法の設定手順と、実運用における最適化手法について詳しく解説します。

ログ転送の基本概念 ​

New Relicへのログ転送は、ログデータをソースシステムからNew Relicプラットフォームに送信するプロセスです。このプロセスには、ログの収集、前処理、フォーマット変換、送信という4つの主要なステップが含まれます。

ログ転送の方式 ​

New Relicでは、以下の主要な転送方式を提供しています。

Infrastructure Agentによる直接転送は、最も簡単で効率的な方法です。既にInfrastructure Agentが導入されている環境では、追加のツールを導入することなくログ転送を開始できます。

APM Agentによる統合転送では、アプリケーションレベルでのログ収集とAPMデータの自動関連付けが可能です。この方式により、Logs in Contextの機能を最大限に活用できます。

外部ログシッパーとの統合では、Fluentd、Logstash、Filebeatなど、既存のログ処理ツールを活用してNew Relicにデータを送信します。

Infrastructure Agentによるログ転送 ​

Infrastructure Agentを使用したログ転送設定は、最も基本的で推奨される方法です。

基本設定の実装 ​

Infrastructure Agentの設定ファイルにログ転送設定を追加します。

yaml
logs:
  - name: app-logs
    file: /var/log/app/*.log
    attributes:
      service: webapp
      environment: production

この設定により、アプリケーションログファイルが自動的に監視され、New Relicに送信されます。

複数ログソースの設定 ​

実際の環境では、複数のログソースを監視する必要があります。アプリケーションログ、システムログ、Webサーバーログなど、それぞれに適切な属性を設定することで、効果的な分類と検索が可能になります。

APM Agentとの統合 ​

APM Agentを使用した統合により、アプリケーションのパフォーマンスデータとログデータを自動的に関連付けできます。

設定手順 ​

各言語のAPM Agentでログ転送を有効にするには、エージェントの設定ファイルまたは環境変数で適切な設定を行います。この設定により、アプリケーションから直接New Relicにログデータが送信され、トランザクショントレースと自動的に関連付けられます。

自動相関機能 ​

APM Agentによるログ転送では、トランザクションID、スパンID、エラー情報などが自動的にログエントリに追加されます。これにより、問題が発生した際の調査が大幅に効率化されます。

ログフォーマットと構造化 ​

効果的なログ監視のためには、適切なフォーマットと構造化が重要です。

JSON形式の活用 ​

JSON形式のログは、自動的にパースされフィールドとして抽出されます。これにより、検索性と分析性能が大幅に向上します。

カスタムフィールドの追加 ​

ビジネスロジックに応じたカスタムフィールドを追加することで、より詳細な分析とフィルタリングが可能になります。サービス名、バージョン、環境情報などの追加により、運用効率が向上します。

セキュリティとプライバシー ​

ログ転送におけるセキュリティとプライバシー保護について説明します。

データの暗号化 ​

New Relicへのログ転送は、すべてHTTPS（TLS）で暗号化されます。転送中のデータは安全に保護され、中間者攻撃などのリスクから守られます。

機密情報の除去 ​

機密情報が含まれる可能性のあるログフィールドを特定し、適切な除去やマスキング処理を実装します。クレジットカード番号、パスワード、個人識別情報などの自動検出と処理が重要です。

パフォーマンス最適化 ​

大量のログデータを効率的に転送するためのパフォーマンス最適化手法について説明します。

バッチ処理の最適化 ​

ログエントリをバッチで送信することで、ネットワーク効率とAPI呼び出しコストを最適化できます。適切なバッチサイズと送信間隔の設定により、リアルタイム性とコスト効率のバランスを取ります。

サンプリング戦略 ​

すべてのログを送信するのではなく、重要度に応じたサンプリング戦略を実装します。エラーログは100%送信し、デバッグログは一定割合でサンプリングするなど、効果的な制御が可能です。

監視とトラブルシューティング ​

ログ転送システム自体の監視とトラブルシューティングについて説明します。

転送状況の監視 ​

Infrastructure AgentやAPM Agentの統計情報を監視することで、ログ転送の健全性を確認できます。転送遅延、エラー率、データ損失などの指標を継続的に追跡します。

よくある問題と解決方法 ​

ファイル権限の問題、ディスク容量不足、ネットワーク接続の問題など、よくある問題の診断と解決方法を理解しておくことが重要です。

運用ベストプラクティス ​

本番環境でのログ転送運用におけるベストプラクティスを説明します。

ログレベルの適切な設定 ​

開発、ステージング、本番環境それぞれに適切なログレベルを設定することで、必要な情報を確保しながらコストを制御できます。

定期的なメンテナンス ​

ログファイルのローテーション設定、古いログファイルの自動削除、設定ファイルの定期的な見直しなど、継続的なメンテナンスが重要です。

コスト管理と最適化 ​

New Relicへのログ転送に関連するコストを効率的に管理する方法について説明します。

データ量の制御 ​

不要なログデータの送信を避けることで、データ取り込みコストを削減できます。ログレベルの調整、フィルタリング設定、サンプリング戦略により、コスト効率を向上させます。

保存期間の最適化 ​

ログデータの保存期間をビジネス要件に応じて設定することで、ストレージコストを最適化できます。重要なログは長期保存し、一般的なログは短期保存するなど、階層化された保存戦略を実装します。

まとめ ​

New Relicへのログ転送設定は、効果的なログ監視の基盤となる重要な要素です。Infrastructure AgentやAPM Agentを活用した統合により、シンプルで効率的なログ収集が可能になります。

適切なセキュリティ設定とプライバシー保護により、企業レベルでの安全な運用を実現できます。パフォーマンス最適化とコスト管理により、大規模環境でも経済的で効果的なログ管理が可能です。

定期的な監視とメンテナンスにより、継続的な運用改善と安定性の確保を実現できます。これらのベストプラクティスを適用することで、包括的なログ監視システムを構築し、システムの可視性と運用効率を大幅に向上させることができます。

次のステップとして、Logs in Context機能の詳細設定について学んでいきましょう。APMデータとログデータの自動的な関連付けにより、より効果的な問題分析と根本原因特定を実現する方法を解説していきます。

関連記事: New Relic Logs in Context設定ガイド関連記事: Fluentdを使用したNew Relicログ統合