Prometheus資料清除

今天一早收到通報Grafana在昨天晚上就沒有資料

查了一下主機 硬碟爆了連使用ansible進去更新

都沒辦法建立暫存檔

要清理Prometheus的metrics資料 只能透過admin api處理

預設web admin api是沒有enable

1.需要在prometheus加入啟動web admin api

  docker-compose.yml

  prometheus:

    image: prom/prometheus:latest

    command:

      - '--config.file=/etc/prometheus/prometheus.yml'

      - '--storage.tsdb.retention=7d' //設定資料只保留7天

      - '--web.enable-admin-api' //啟動

      - '--web.enable-lifecycle'

  改了docker-compose.yml 只要重新啟動就會生效

2.在主機上透過curl呼叫 admin api執行刪除metrics

  指定job資料刪除

  curl -X POST -g 'http://localhost:9090/api/v1/admin/tsdb/delete_series?match[]={job="要刪除的job名稱"}'