Datadog入門 第2部 - セットアップと基本設定の完全ガイド ​

# アカウント作成の基本情報
URL: https://www.datadoghq.com/
提供プラン:
  - Free Trial: 14日間フル機能
  - Pro Plan: $15/host/月
  - Enterprise Plan: $23/host/月
  
必要情報:
  - 会社メールアドレス（個人用不可）
  - 会社名と部署
  - 監視予定システムの規模
  - 主な利用目的（DevOps、Security、Business等）

# 利用可能リージョンと特徴
US1 (us1.datadoghq.com):
  - 所在地: バージニア州
  - 特徴: 最大のリージョン、全機能利用可能
  - 遅延: 日本から約180ms
  - 推奨: グローバル企業、機能優先

US3 (us3.datadoghq.com):
  - 所在地: オレゴン州
  - 特徴: 中規模リージョン
  - 遅延: 日本から約120ms
  - 推奨: 西海岸ユーザー

US5 (us5.datadoghq.com):
  - 所在地: オレゴン州
  - 特徴: 新しいリージョン、高性能
  - 遅延: 日本から約120ms
  - 推奨: 新規ユーザー

EU1 (app.datadoghq.eu):
  - 所在地: アイルランド
  - 特徴: GDPR準拠、ヨーロッパ企業向け
  - 遅延: 日本から約300ms
  - 推奨: EU法規制対象企業

AP1 (ap1.datadoghq.com):
  - 所在地: 東京（AWS ap-northeast-1）
  - 特徴: 日本国内データ、低遅延
  - 遅延: 日本から約10-20ms
  - 推奨: 日本企業、データ主権重視

選択基準:
  法的要件: データ所在地規制がある場合は該当リージョン必須
  パフォーマンス: 低遅延が重要な場合はAP1
  機能性: 最新機能を優先する場合はUS1/US3
  コスト: リージョンにより若干価格差あり

重要な制限事項:
  - リージョン変更は後から不可能
  - データは他リージョンに移行できない
  - APIエンドポイントが異なる
  - 一部機能の提供時期に差がある

移行が必要な場合:
  - 新しいアカウントを作成
  - 設定を手動で再構築
  - データの再収集が必要
  - ダウンタイムが発生

# 組織階層の設計例
Organization: "Company Corp"
  └── Sub-Organizations (オプション):
      ├── "Production Environment"
      │   ├── Teams: Backend, Frontend, DevOps
      │   └── Access: 本番環境のみ
      ├── "Staging Environment" 
      │   ├── Teams: QA, Development
      │   └── Access: ステージング環境のみ
      └── "Development Environment"
          ├── Teams: All Developers
          └── Access: 開発環境のみ

メリット:
  - 環境別のアクセス制御
  - チーム別の権限管理
  - データの論理的分離
  - コスト分析の精度向上

# 推奨設定パターン
1. 単一組織モデル（小規模・中規模）:
   Organization: "Company Monitoring"
   Teams:
     - Admin: 管理者権限
     - DevOps: インフラ・アプリ監視
     - Development: アプリケーション監視
     - Security: セキュリティ監視
     - ReadOnly: 参照のみ

2. 複数組織モデル（大規模・複雑な構造）:
   Parent Org: "Enterprise Corp"
   Child Orgs:
     - "Production Monitoring"
     - "Non-Production Monitoring" 
     - "Security Operations"
     - "Business Intelligence"

3. 地理的分散モデル:
   Parent Org: "Global Company"
   Child Orgs:
     - "APAC Operations"
     - "EMEA Operations"
     - "Americas Operations"

# Datadogの標準ロール
Admin:
  権限:
    - 組織設定の変更
    - ユーザー管理
    - ダッシュボード作成・編集・削除
    - アラート設定
    - インテグレーション管理
    - API キー管理
  用途: システム管理者、DevOpsリーダー

Standard:
  権限:
    - ダッシュボード作成・編集
    - アラート設定
    - データ参照
    - 一部インテグレーション設定
  制限:
    - ユーザー管理不可
    - 組織設定変更不可
  用途: 一般開発者、運用担当者

Read Only:
  権限:
    - データ参照のみ
    - ダッシュボード閲覧
    - 公開データの確認
  制限:
    - 編集・設定変更一切不可
  用途: 経営層、監査担当者

# カスタムロール設計例
Security Analyst:
  permissions:
    - "security_monitoring_findings_read"
    - "security_monitoring_rules_read"
    - "security_monitoring_signals_read"
    - "logs_read_data"
    - "dashboards_read"
    - "monitors_read"
  restrictions:
    - "no_infrastructure_write"
    - "no_apm_config_write"

Development Team Lead:
  permissions:
    - "dashboards_write"
    - "monitors_write"
    - "apm_config_write"
    - "logs_read_data"
    - "metrics_read"
  restrictions:
    - "no_user_management"
    - "no_billing_access"

Business Analyst:
  permissions:
    - "dashboards_read"
    - "custom_metrics_read"
    - "rum_events_read"
    - "logs_read_index_data"
  restrictions:
    - "no_infrastructure_access"
    - "no_security_data"

# APIキーの分類
API Keys:
  用途: Datadog Agent、カスタムメトリクス送信
  権限: データ送信専用（書き込みのみ）
  形式: 32文字の英数字
  例: "abcd1234efgh5678ijkl9012mnop3456"
  
Application Keys:
  用途: Datadog API、ダッシュボード操作
  権限: データ読み取り・設定変更
  形式: 40文字の英数字
  例: "abcd1234efgh5678ijkl9012mnop3456qrst7890"

Service Account Keys:
  用途: CI/CD、自動化スクリプト
  権限: 特定サービスアカウントに紐づけ
  形式: 専用トークン
  メリット: ユーザー依存なし、監査可能

# キー管理戦略
1. 環境別キー分離:
   production_api_key: 本番環境専用
   staging_api_key: ステージング環境専用
   development_api_key: 開発環境専用
   
2. 用途別キー分離:
   infrastructure_key: インフラ監視用
   application_key: アプリケーション監視用
   security_key: セキュリティ監視用
   automation_key: 自動化・CI/CD用

3. アクセス制御:
   - 必要最小限の権限付与
   - 定期的なキーローテーション（3-6ヶ月）
   - 使用していないキーの無効化
   - キー使用状況の定期監査

4. セキュリティ対策:
   - 環境変数での保存
   - ハードコード禁止
   - Git履歴への含有防止
   - シークレット管理ツール活用

# SAML設定例（Okta統合）
Identity Provider: Okta
SSO URL: https://company.okta.com/app/datadog/exk1234567890/sso/saml
Entity ID: https://app.datadoghq.com/account/saml/metadata
X.509 Certificate: [証明書内容]

属性マッピング:
  Email: user.email
  First Name: user.firstName
  Last Name: user.lastName
  Role: user.role

Just-in-Time Provisioning:
  有効: ✅
  デフォルトロール: Standard
  チーム自動割り当て: ✅

設定手順:
  1. Datadog Organization Settings → Security → SAML
  2. Identity Provider情報入力
  3. 属性マッピング設定
  4. テストログイン実行
  5. 本番適用

# MFA設定オプション
Time-based One-Time Password (TOTP):
  対応アプリ:
    - Google Authenticator
    - Microsoft Authenticator
    - 1Password
    - Authy
  
  設定手順:
    1. User Settings → Security → Two-Factor Authentication
    2. QRコード読み取り
    3. 確認コード入力
    4. リカバリーコード保存

SMS Authentication:
  対応地域: 主要国対応
  注意事項: SIMスワップ攻撃リスク

Hardware Security Keys:
  対応規格: FIDO2/WebAuthn
  推奨デバイス:
    - YubiKey 5 Series
    - Google Titan
    - Feitian ePass

強制ポリシー設定:
  Admin Users: MFA必須
  Standard Users: MFA推奨
  Read Only Users: MFA任意

# 監査ログカテゴリ
Authentication Events:
  - ユーザーログイン/ログアウト
  - MFA認証成功/失敗
  - パスワード変更
  - API認証イベント

Configuration Changes:
  - ダッシュボード作成/編集/削除
  - アラート設定変更
  - インテグレーション設定
  - ユーザー権限変更

Data Access:
  - ログデータアクセス
  - メトリクスクエリ実行
  - ダッシュボード閲覧
  - API呼び出し履歴

Security Events:
  - 疑わしいログイン試行
  - 権限昇格の試み
  - 大量データアクセス
  - 異常なAPI使用

# Agent構成要素詳細
Agent Core:
  役割: 中央制御とメトリクス収集
  機能:
    - システムメトリクス（CPU、メモリ、ディスク、ネットワーク）
    - カスタムメトリクス受信（StatsD、DogStatsD）
    - ヘルスチェックとサービス発見
    - インテグレーションの実行

Trace Agent:
  役割: APMデータ処理
  機能:
    - トレースデータの受信（8126/tcp）
    - スパンの前処理と最適化
    - サンプリング制御
    - 分散トレーシング情報の集約

Log Agent:
  役割: ログ収集と転送
  機能:
    - ファイルテーリング
    - Syslog受信
    - コンテナログ収集
    - ログフィルタリングと変換

Process Agent:
  役割: プロセス監視
  機能:
    - 実行中プロセス一覧
    - プロセスメトリクス
    - ネットワーク接続情報
    - コンテナプロセス追跡

Security Agent:
  役割: セキュリティ監視
  機能:
    - ファイルシステム監視
    - ネットワーク活動監視
    - プロセス実行監視
    - セキュリティルール評価

# Datadog Agent バージョン比較
Agent 7.x (推奨):
  リリース: 2019年〜現在
  Python Version: Python 3.8+
  特徴:
    - 現行メインバージョン
    - 最新機能対応
    - 高性能・低リソース消費
    - セキュリティ強化
  
  サポートOS:
    - Linux: RHEL 7+, Ubuntu 16.04+, Debian 9+
    - Windows: Server 2016+, Windows 10
    - macOS: 10.14+
    - コンテナ: Docker、Kubernetes
  
  推奨環境:
    - 新規導入
    - 現代的なインフラ
    - セキュリティ重視環境

Agent 6.x (レガシーサポート):
  リリース: 2017年〜2023年
  Python Version: Python 2.7/3.8
  特徴:
    - 安定バージョン
    - 基本機能対応
    - 限定的な新機能追加
  
  推奨環境:
    - レガシーシステム
    - 安定性最優先
    - 段階的移行期間

選択基準:
  新規導入: Agent 7.x 一択
  既存環境更新: 
    - テスト環境で7.x検証
    - 段階的にバージョンアップ
  レガシー環境:
    - 6.x で当面運用
    - 移行計画の策定

# /etc/datadog-agent/datadog.yaml （Linux）
# C:\ProgramData\Datadog\datadog.yaml （Windows）
# /opt/datadog-agent/etc/datadog.yaml （macOS）

## 基本認証設定
api_key: your_api_key_here
site: datadoghq.com  # またはap1.datadoghq.com

## ホスト設定
hostname: web-server-01
hostname_resolution: true  # ホスト名自動解決
tags:
  - environment:production
  - team:backend
  - service:web-api
  - version:1.2.3

## データ収集設定
# ログ収集
logs_enabled: true
logs_config:
  container_collect_all: true
  force_use_http: false
  use_compression: true
  compression_level: 6

# APM設定
apm_config:
  enabled: true
  max_traces_per_second: 10
  analyzed_spans:
    web-api|http.request: 1.0  # 全トレースを分析
    payment-service|payment.process: 0.5  # 50%サンプリング

# プロセス監視
process_config:
  enabled: "true"
  container_collection:
    enabled: true

## ネットワーク設定
# プロキシ設定（必要に応じて）
proxy:
  http: http://proxy.company.com:8080
  https: http://proxy.company.com:8080
  no_proxy:
    - localhost
    - 127.0.0.1
    - company.local

## セキュリティ設定
# 機密データのスクラビング
log_processing_rules:
  - type: exclude_at_match
    name: exclude_debug_logs
    pattern: 'DEBUG.*'
    
  - type: mask_sequences
    name: mask_credit_cards
    pattern: '\d{4}-\d{4}-\d{4}-\d{4}'
    replace_placeholder: "****-****-****-****"

## パフォーマンス設定
# リソース制限
resources:
  container:
    memory: 512Mi
    cpu: 0.5

# 収集間隔設定
min_collection_interval: 15  # 秒
max_collection_interval: 30

## 高度な設定
# インテグレーション自動検出
listeners:
  - name: docker
  - name: kubelet
  - name: kubernetes

config_providers:
  - name: docker
    polling: true
  - name: kubelet
    polling: true

# カスタムメトリクス設定
dogstatsd_config:
  dogstatsd_port: 8125
  non_local_traffic: true
  dogstatsd_tags:
    - "custom:tag"

# /etc/datadog-agent/conf.d/postgres.d/conf.yaml

## PostgreSQL 基本設定
init_config:

instances:
  # プライマリデータベース
  - host: localhost
    port: 5432
    username: datadog
    password: "secure_password"
    dbname: production
    
    # SSL設定
    ssl: require
    
    # 収集対象テーブル
    relations:
      - relation_name: "users"
        schemas:
          - "public"
      - relation_name: "orders"
        schemas:
          - "public"
          - "analytics"
    
    # カスタムメトリクス
    custom_queries:
      - query: "SELECT COUNT(*) as active_users FROM users WHERE last_login > NOW() - INTERVAL '1 day'"
        columns:
          - name: "active_users"
            type: "gauge"
        tags:
          - "query:active_users"
    
    # タグ設定
    tags:
      - "environment:production"
      - "database:primary"
      - "team:backend"

  # 読み取り専用レプリカ
  - host: readonly.db.company.com
    port: 5432
    username: datadog_readonly
    password: "readonly_password"
    dbname: production
    
    options:
      statement_timeout: 5000
    
    tags:
      - "environment:production"
      - "database:replica"
      - "readonly:true"

## ログ収集設定
logs:
  - type: file
    path: "/var/log/postgresql/postgresql-*.log"
    source: postgresql
    service: "postgres-primary"
    
    # ログパーシング
    log_processing_rules:
      - type: multi_line
        name: postgres_multiline
        pattern: '\d{4}-\d{2}-\d{2}\s+\d{2}:\d{2}:\d{2}'
        
      - type: exclude_at_match
        name: exclude_debug
        pattern: 'DEBUG'

# /etc/datadog-agent/conf.d/redisdb.d/conf.yaml

init_config:

instances:
  # Redis マスター
  - host: redis-master.company.com
    port: 6379
    password: "redis_password"
    
    # データベース指定
    db: 0
    
    # SSL/TLS設定
    ssl: true
    ssl_certfile: /opt/redis/ssl/client.crt
    ssl_keyfile: /opt/redis/ssl/client.key
    ssl_ca_certs: /opt/redis/ssl/ca.crt
    
    # 監視対象コマンド
    command_stats: true
    
    # カスタムタグ
    tags:
      - "environment:production"
      - "redis_role:master"
      - "cache_type:session"

  # Redis レプリカ
  - host: redis-replica.company.com
    port: 6379
    password: "redis_password"
    db: 0
    
    tags:
      - "environment:production" 
      - "redis_role:replica"
      - "cache_type:session"

## Redis ログ収集
logs:
  - type: file
    path: "/var/log/redis/redis-server.log"
    source: redis
    service: "redis-cache"
    
    # ログレベル設定
    log_processing_rules:
      - type: exclude_at_match
        name: exclude_debug
        pattern: '\[DEBUG\]'

# Datadog Agent が自動収集するメトリクス
CPU Metrics:
  - system.cpu.user: ユーザープロセスCPU使用率
  - system.cpu.system: カーネルCPU使用率
  - system.cpu.idle: アイドルCPU使用率
  - system.cpu.wait: I/O待機CPU使用率
  - system.cpu.stolen: 仮想化オーバーヘッド
  - system.load.1: 1分間の平均負荷
  - system.load.5: 5分間の平均負荷
  - system.load.15: 15分間の平均負荷

Memory Metrics:
  - system.mem.total: 総メモリ量
  - system.mem.free: 空きメモリ
  - system.mem.used: 使用中メモリ
  - system.mem.usable: 利用可能メモリ
  - system.mem.cached: キャッシュメモリ
  - system.mem.buffered: バッファメモリ
  - system.swap.total: 総スワップ領域
  - system.swap.used: 使用中スワップ

Disk Metrics:
  - system.disk.total: ディスク総容量
  - system.disk.used: ディスク使用量
  - system.disk.free: ディスク空き容量
  - system.io.r_s: 読み取りIOPS
  - system.io.w_s: 書き込みIOPS
  - system.io.rkb_s: 読み取りスループット（KB/s）
  - system.io.wkb_s: 書き込みスループット（KB/s）

Network Metrics:
  - system.net.bytes_rcvd: 受信バイト数
  - system.net.bytes_sent: 送信バイト数
  - system.net.packets_in.count: 受信パケット数
  - system.net.packets_out.count: 送信パケット数
  - system.net.packets_in.error: 受信エラーパケット
  - system.net.packets_out.error: 送信エラーパケット

Process Metrics:
  - system.processes.running: 実行中プロセス数
  - system.processes.sleeping: スリープ中プロセス数
  - system.processes.zombie: ゾンビプロセス数
  - system.processes.stopped: 停止中プロセス数
  - system.processes.total: 総プロセス数

# /etc/datadog-agent/datadog.yaml

# グローバル収集間隔設定
min_collection_interval: 15  # 最小15秒間隔

# インテグレーション別間隔設定（conf.d/system_core.d/conf.yaml）
init_config:

instances:
  - min_collection_interval: 10  # システムコアメトリクスは10秒間隔
    
    # 特定メトリクスの有効/無効
    tags:
      - "monitoring:detailed"

# カスタムチェック例: /etc/datadog-agent/checks.d/custom_disk_usage.py
from datadog_checks.base import AgentCheck
import subprocess
import json

class CustomDiskUsageCheck(AgentCheck):
    def check(self, instance):
        # ディスク使用率を詳細取得
        result = subprocess.run(['df', '-h', '--output=source,pcent,target'], 
                              capture_output=True, text=True)
        
        for line in result.stdout.strip().split('\n')[1:]:  # ヘッダーをスキップ
            parts = line.split()
            if len(parts) >= 3:
                filesystem = parts[0]
                usage_percent = int(parts[1].rstrip('%'))
                mountpoint = parts[2]
                
                # カスタムメトリクス送信
                self.gauge(
                    'custom.disk.usage_percent', 
                    usage_percent,
                    tags=[
                        f'filesystem:{filesystem}',
                        f'mountpoint:{mountpoint}',
                        'check:custom_disk_usage'
                    ]
                )
                
                # 閾値アラート用メトリクス
                if usage_percent > 90:
                    self.gauge('custom.disk.critical', 1, 
                             tags=[f'mountpoint:{mountpoint}'])
                else:
                    self.gauge('custom.disk.critical', 0, 
                             tags=[f'mountpoint:{mountpoint}'])

# 設定ファイル: /etc/datadog-agent/conf.d/custom_disk_usage.d/conf.yaml
init_config:

instances:
  - min_collection_interval: 60  # 1分間隔
    tags:
      - "custom_check:disk_usage"
      - "team:infrastructure"

# 1. Nginx設定ファイル修正（/etc/nginx/nginx.conf）
server {
    listen 81;
    server_name localhost;
    
    location /nginx_status {
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        allow ::1;
        deny all;
    }
}

# 2. Nginx再起動
sudo nginx -t && sudo systemctl reload nginx

# 3. Datadog設定: /etc/datadog-agent/conf.d/nginx.d/conf.yaml
init_config:

instances:
  - nginx_status_url: http://localhost:81/nginx_status/
    
    # タグ設定
    tags:
      - "environment:production"
      - "service:web"
      - "nginx_role:loadbalancer"
    
    # SSL設定（HTTPS監視の場合）
    # tls_verify: false
    # ssl_cert: /path/to/cert.pem
    # ssl_key: /path/to/key.pem

# 4. ログ収集設定
logs:
  - type: file
    path: "/var/log/nginx/access.log"
    source: nginx
    service: "nginx"
    
    # アクセスログパーシング
    log_processing_rules:
      - type: multi_line
        name: nginx_access_logs
        pattern: '\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}'
  
  - type: file
    path: "/var/log/nginx/error.log"
    source: nginx
    service: "nginx"
    log_level: "error"

# 1. Apache設定ファイル修正
# /etc/apache2/mods-enabled/status.conf
LoadModule status_module modules/mod_status.so

<Location "/server-status">
    SetHandler server-status
    Require local
    # Require ip 127.0.0.1
</Location>

<Location "/server-info">
    SetHandler server-info
    Require local
</Location>

# 2. Datadog設定: /etc/datadog-agent/conf.d/apache.d/conf.yaml
init_config:

instances:
  - apache_status_url: http://localhost/server-status?auto
    apache_user: datadog
    apache_password: password  # Basic認証を設定した場合
    
    tags:
      - "environment:production"
      - "service:web"
      - "apache_role:frontend"

# 3. ログ収集
logs:
  - type: file
    path: "/var/log/apache2/access.log"
    source: apache
    service: "apache"
    
  - type: file  
    path: "/var/log/apache2/error.log"
    source: apache
    service: "apache"
    log_level: "error"

# 1. MySQL ユーザー作成
# mysql -u root -p
CREATE USER 'datadog'@'localhost' IDENTIFIED BY 'secure_password';
GRANT REPLICATION CLIENT ON *.* TO 'datadog'@'localhost';
GRANT PROCESS ON *.* TO 'datadog'@'localhost';
GRANT SELECT ON performance_schema.* TO 'datadog'@'localhost';

# パフォーマンススキーマ有効化確認
SHOW VARIABLES LIKE 'performance_schema';

# 2. Datadog設定: /etc/datadog-agent/conf.d/mysql.d/conf.yaml
init_config:

instances:
  - server: localhost
    port: 3306
    user: datadog
    pass: secure_password
    
    # 追加オプション
    options:
      replication: true
      galera_cluster: false
      extra_status_metrics: true
      extra_innodb_metrics: true
      extra_performance_metrics: true
      schema_size_metrics: true
      disable_innodb_metrics: false
      
    # 監視対象データベース
    databases:
      - production_db
      - analytics_db
    
    # カスタムクエリ
    queries:
      - query: "SELECT COUNT(*) as total_users FROM users"
        columns:
          - name: "total_users"
            type: "gauge"
        tags:
          - "query:user_count"
          
      - query: "SELECT COUNT(*) as pending_orders FROM orders WHERE status = 'pending'"
        columns:
          - name: "pending_orders"
            type: "gauge"
        tags:
          - "query:pending_orders"
    
    tags:
      - "environment:production"
      - "database:mysql"
      - "role:primary"

# 3. MySQL ログ収集設定
logs:
  - type: file
    path: "/var/log/mysql/error.log"
    source: mysql
    service: "mysql"
    log_level: "error"
    
  - type: file
    path: "/var/log/mysql/mysql-slow.log"
    source: mysql
    service: "mysql-slow-queries"
    log_processing_rules:
      - type: multi_line
        name: mysql_slow_query
        pattern: '# Time:'