[Grafana, Prometheus] 서버 상태 모니터링 하기

개요
본문
마무리

개요

점점 더 많은 도커 컨테이너들이 추가되어 가고 있다.

portainer summary

portainer를 통해서 도커 컨테이너들을 관리하고 있는데 현재 26개의 컨테이너가 활성화 되어있는 것을 확인할 수 있었다.

슬슬 메모리가 부족하거나 하는 이슈가 발생할 때가 되지 않았을까 싶었던지라 상태 모니터링을 할 수 있으면 좋겠다 생각이 들었다.

서버 모니터링에 대해서 찾다보니 그라파나와 프로메테우스 조합을 소개하는 글들을 볼 수 있었는데, 마침 지난번에 로그 시스템을 구축하면서 그라파나를 설치한 상태였기 때문에 프로메테우스를 추가하여 모니터링을 해보면 어떨까 생각이 들었다. (프로메테우스에 대한 이름은 들어보았지만, 사용해본적은 없기에 맘에 드는 조합이였다고 할 수 있다.)

[Java] spring boot 프로젝트에 loki 추가해서 로그 수집하기

본문

Server Monitoring using Prometheus and Grafana

위 글을 주로 참고하였고, 나의 상황에 맞게 수정하였다.

Prometheus docker compose 구성하기

나의 경우에는 grafana 와 관련된 부분은 이미 구성이 되어있기 때문에 prometheus 와 관련된 부분만 추가적으로 구성하였다. grafana의 docker-compose.yaml 구성이 궁금하면 위의 링크를 참조하면 된다.

version: "3"

volumes:
  prometheus-data:
    driver: local

networks:
  prometheus:
    driver: bridge

services:
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    restart: unless-stopped
    volumes:
      - ./config:/etc/prometheus/
      - prometheus-data:/prometheus
    networks:
      - prometheus
    ports:
      - "9090:9090"
  node_exporter:
    image: quay.io/prometheus/node-exporter:latest
    container_name: node_exporter
    command:
      - "--path.rootfs=/host"
    pid: host
    ports:
      - "9100:9100"
    restart: unless-stopped
    volumes:
      - "/:/host:ro,rslave"
    networks:
      - prometheus

참고로 Node Exporter는 하드웨어 와 운영체제 메트릭을 수집하는 프로메테우스 수집기라고 한다.

이후, 안내에 따라 config/prometheus.yml 을 생성하여 아래 내용을 추가하였다.

global:
  scrape_interval: 15s

  external_labels:
    monitor: "codelab-monitor"

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets: ["prometheus:9090"]
  - job_name: "node_exporter"
    static_configs:
      - targets: ["node_exporter:9100"]