ログパイプラインと処理 ​

生ログ（テキストデータ）を検索・分析可能な構造化データに変換するのが Pipeline の役割です。

Pipelineの構成要素 ​

  1. Parser (パーサー): Grokパターンを使用して、ログメッセージから属性（attribute）を抽出します。
  2. Remapper (リマッパー): 抽出した属性を標準属性（http.status_code など）にマッピングします。
  3. Url Parser: URLパラメータを自動的に分解します。
  4. User-Agent Parser: ブラウザやOS情報を抽出します。

Grokパターンの例 ​

カスタムログフォーマットのパース例：

text
2025-12-31 10:00:00 INFO [UserID:123] Login successful

Grokパターン:

%{DATESTAMP:timestamp} %{LOGLEVEL:level} \[UserID:%{NUMBER:user_id}\] %{GREEDYDATA:message}

機密情報のマスキング ​

セキュリティ強化のため、クレジットカード番号やメールアドレスなどの機密情報を自動的に隠蔽（マスキング）できます。

json
{
  "type": "mask_sequences",
  "name": "Mask Emails",
  "replace_placeholder": "[email]",
  "pattern": "[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\\.[a-zA-Z0-9-.]+"
}

出典: Datadog Docs - Pipelines