Grafana & graphite 그리고 모니터링 #06.

CentOS 7.x 버전에 설치하기.

 

이전에 기록했던 CentOS 6.x 버전에 설치하기대로 설치가 안된다.

 

1. Docker 설치

 

  

1

yum install docker

cs

2. pip upgrade

 

  

1

pip install --upgrade pip

cs

3. Docker 설정 변경

 

   /etc/sysconfig/docker 파일에서 다음 그림과 같이 설정을 수정

4. Docker 시작하기.

  

1 2 3

systemctl enable docker.service systemctl start docker.service systemctl status docker.service

cs

5. Docker image build.

 

  

1

docker build -f ./Dockerfile --tag graphite:1.0 ./

cs

6. Rpmdb checksum is invalid: dCDPT(pkg checksums): libXext.x86_64 0:1.3.3-3.el7 - u

   하지만, 실패 ㅠㅠ

   여러가지 해결 방법이 존재한다.

7. 해결 방법

 

   제일 처음에 다음과 같이 Docker overlay fs 추가하거나,

  

1

RUN yum -y install yum-plugin-ovl

cs

   다른 방법으로

  

1

RUN yum install -y graphite-web;yum clean all

cs

   혹은

  

1

RUN rpm --rebuilddb && yum install -y graphite-web

cs

  

Grafana docker upgrading.

기억력이 감퇴해서 매번 검색해야 하는 머리를 위해.

거대 프로젝트가 아니라 우리는 Database로 sqlite를 사용합니다.

1. 최선의 방법.

   Installing using Docker 문서를 천천히 읽고 container를 생성할 때 database와 환경
   설정 변수 경로를 host에 맵핑 시키기만 하면 backup / restore 과정이 없어도 됩니다.

  

1 2 3 4

$ docker run -d -p 3000:3000 \     -v /var/lib/grafana:/var/lib/grafana \     -e "GF_SECURITY_ADMIN_PASSWORD=secret" \     grafana/grafana

cs

2. 업그레이드

  

1 2 3 4

docker pull grafana docker stop my-grafana-container docker rm my-grafana-container docker run --name=my-grafana-container --restart=always -v /var/lib/grafana:/var/lib/grafana

cs

3. 1번 방법으로 설치하지 않았을 경우.

   sqlite의 경우 grafana.db를 백업해야 합니다. 보통 /var/lib/grafana/grafana.db 경로에
   위치해 있고 설정 파일의 경우 /etc/grafana/grafana.ini 경로에 있습니다.
   설정 파일의 경우엔 버전에 따라 다를 수 있으므로 백업 후 그대로 복구하지 않고
   비교해보고 진행합니다.

   그 외 다른 Database를 사용하는 경우 백업은 Upgrading Grafana 문서를 참조합니다.

  

Docker container 그리고 VI.

Debian 계열로 만들어진 이미지를 사용하는 경우 편집기 때문에 애를 먹어서 간단하게 정리해본다.

1. Update.

   2번 명령으로 설치가 안되는 경우 진행.

  

1

sudo apt-get update

cs

2. Install.

  

1

sudo apt-get install vim-full

cs

How Should I Get Application Configuration into my Docker Containers?

어떻게 다양한 환경에 배포할 수 있을까?

서버를 다 만들고 배포할 때 지금까지는 동일한 환경에서 배포가 가능했다.
그런데 다른 환경에 배포를 하게 되면서 일부 설정이 틀려져야만 하는 상황이 발생한 것이다.
이 글은 인터넷에서 찾은 블로그 게시물을 간단하게 요약한 것임을 밝힙니다.

원문은 How Should I Get Application Configuration into my Docker Containers? 링크를 통해 확인 가능합니다.

1. 지금까지 해왔던 방법.

   이미지를 만들 때 설정 파일을 같이 포함한다.
   그럼 설정이 달라야 하는 서버에 배포하는 경우엔 어떻게 할까?
   우선 컨테이너를 실행한 뒤, 설정 파일을 변경한 후 컨테이너를 재시작.

   장점:

      ■ 설정 파일을 임의로 변경하지 않는 한 모든 컨테이너는 동일하다.

   단점:

      ■ 설정 변경을 위해 docker image를 새로 빌드하거나 우리의 경우처럼 컨테이너를

         직접 수정해야 한다.

2 - 1. 환경 변수로 전달.

   일반적으로 많이 사용되는 방법.

  

1

docker run -e SETTING1=foo -e SETTING2=bar ... <image name>

cs

   장점:
      ■ 1번 방법에 비해 좀 더 동적인 설정이 가능해진다.

   단점:
      ■ 개발 / 서비스 버전의 컨테이너가 변수에 의해 다른 행동을 할 수 있다.
      ■ nginx/apache의 virtual host configuration과 같이 key/value로 정의하기 어려운
         설정이 존재한다.

2 - 2. 환경 변수로 전달.

   2 - 1 방법과 비슷하지만 컨테이너가 시작될 때 직접 전달하는 방법이 아니라
   Consul 또는 etcd처럼 네트웍을 통해서 KV store설정을 사용하는 방법.
   KV store의 경우 계층적 구조를 가질 수도 있기 때문에 key/value 형태의 단순 환경 변수
   전달에 비해 훨씬 더 많은 것들이 가능해진다.
   심지어 confd 같은 경우 KV store가 변경되면 응용 프로그램을 자동으로 재시작 해준다.

   장점:
      ■ 지금까지 이야기했던 방법 중 제일 동적이고 많은 것들을 할 수 있다.

   단점:
      ■ KV store같은 외부 의존성이 생긴다.

3. Docker Volume을 통해 host 파일을 사용.

   이 방법도 기존에 사용하고 있던 방법.

  

1

docker run -v /home/ships/my_statsd_config.conf:/etc/statsd.conf hopsoft/graphite-statsd

cs

   장점:
      ■ 임의의 설정 문제로 컨테이너를 변경할 필요가 없습니다.

   단점:
      ■ 배포시 Docker와 별개로 Host OS에 설정 파일을 배포해야 하고 그런 경우
         Ansible, Chef, 또는 Puppet 같은 관리 도구가 별도로 필요할 수 있습니다.

4. 결론.

   경우에 맞게 설정이 얼마나 복잡하고 동적이어야 하는지에 따라 결정.
   배포는 언제나 문제고 어렵다

Docker & iptables.

iptables...

개발 PC의 경우엔 방화벽이나 보안이나 특별히 신경쓰지 않는 편이라 ...

1. 서비스 환경.
   Docker 서비스 및 Container가 실행되면서 iptables에 필요한 항목을 자동 추가하는데,
   미리 정의되어 있던 항목에 의해 우선순위에 밀려 적용이 되지 않는 경우가 발생한다.
   이 경우에 iptables를 적용하고 iptables 서비스를 재시작하는 경우 Docker 서비스가
   추가해놓은 설정들이 모두 사라지는 문제가 발생한다.

   그래서 자동으로 추가하지 않도록 하자는 게시물도 존재.

   Docker and IPtables

   어찌 되었던 다행스럽게도 시스템 운영 및 관리는 개발자가 하는게 아니라는...

Grafana & graphite 그리고 모니터링 #05.

그런데 그래프가 하루만 그려진다.

모든 준비가 끝나 예쁜 그래프를 보면서 모니터링을 잘 할 수 있을거라 생각했지만...

1. 하루 살이.

   위 그림과 같이 이틀 동안의 그래프를 보도록 설정하고 데이터는 이미 충분히 오랫동안
   수집하고 있는 상태지만 다음 그림과 같이 보인다.

2. storage-schemas.conf.

   파일 이름과 같이 whisper database를 위한 schema를 정의하는 파일입니다.
   파일을 열어보면 앞 부분에 친절하게 적혀 있듯이 위에서부터 순서대로 적용되게 되어
   있어 파일 제일 뒤에 내용을 추가하면 적용되지 않습니다.
   이유는 [default_1min_for_1day] 항목에서 모두 만족하기 때문에 그 다음 항목이 적용
   대상인지 확인할 필요가 없기 때문입니다.

   어쨌든, 그럼 우리가 필요한 schema를 정의해 보도록 합니다.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

# Schema definitions for Whisper files. Entries are scanned in order, # and first match wins. This file is scanned for changes every 60 seconds. #  [name] #  pattern = regex #  retentions = timePerPoint:timeToStore, timePerPoint:timeToStore, ...   # Carbon's internal metrics. This entry should match what is specified in # CARBON_METRIC_PREFIX and CARBON_METRIC_INTERVAL settings [carbon] pattern = ^carbon\. retentions = 60:90d   [sample] pattern = ^sample\. retentions = 60s:1d,5m:7d,30m:1y   [default_1min_for_1day] pattern = .* retentions = 60s:1d Colored by Color Scripter

cs

   그리고 graphite container를 재시작 해보지만 역시나 하루만 보이게 됩니다.

3. 해결 방법.

   Whisper database는 rrd와 마찬가지로 최초 schema에 맞춰 database를 생성하고 그 상태
   그대로 유지합니다. 일반적으로는 whisper database file을 삭제하고 재시작 하게 되면
   schema 변경에 맞춰 적용되겠지만 고맙게도 whisper-resize(.py) 라는 도구를
   지원합니다.

   http://github.com/graphite-project/whisper

   위 사이트를 방문해서 whisper-resize에 대한 설명을 확인해 보면 다음과 같이 되어
   있습니다.

   Usage: whisper-resize.py path timePerPoint:timeToStore [timePerPoint:timeToStore]*

   timePerPoint and timeToStore specify lengths of time, for example:

   60:1440      60 seconds per datapoint, 1440 datapoints = 1 day of retention
   15m:8        15 minutes per datapoint, 8 datapoints = 2 hours of retention
   1h:7d        1 hour per datapoint, 7 days of retention
   12h:2y       12 hours per datapoint, 2 years of retention


   Options:
     -h, --help            show this help message and exit
     --xFilesFactor=XFILESFACTOR
                           Change the xFilesFactor
     --aggregationMethod=AGGREGATIONMETHOD
                           Change the aggregation function (average, sum, last,
                           max, min)
     --force               Perform a destructive change
     --newfile=NEWFILE     Create a new database file without removing the
                           existing one
     --nobackup            Delete the .bak file after successful execution
     --aggregate           Try to aggregate the values to fit the new archive
                           better. Note that this will make things slower and use
                           more memory.

   그럼 이제 graphite container에 접속해서 whisper database 수정을 해보자.

1

whisper-resize ./5032.wsp 60s:1d 5m:7d 30m:1y

cs

   이제 다음 그림과 같이 그래프의 왼쪽 영역에도 나오기 시작한다.

Grafana & graphite 그리고 모니터링 #04.

Local storage에 데이터 저장하기.

Docker container가 자동 시작 되었지만 데이터가 container에 저장되게 되어 있어서,
성능 및 유지 보수 관점에서 문제가 된다. 데이터를 host에 저장하자.

1. Run shell script.

1 2 3 4 5 6

#!/bin/sh   carbon-cache --config=/etc/carbon/carbon.conf start chown -R carbon:carbon /var/lib/carbon/rrd/ chown -R carbon:carbon /var/lib/carbon/whisper/ python /usr/lib/python2.7/site-packages/graphite/manage.py runserver 0:8000

cs

   이전 글에서 없었던 4, 5번 라인이 추가되었다. 이게 좀 웃긴데 container를 실행할 때
   --volume 옵션을 사용해서 host에 저장하게 되면 container의 경로의 소유자가 강제로
   root로 변경된다. 하지만 carbon의 기본 계정은 carbon이 되고 따라서 데이터가 저장될
   경로의 소유자도 carbon이어야 시계열 데이터가 정상적으로 저장이 된다.


2. Docker build script.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

# VERSION 1.0 FROM centos:7.2.1511 MAINTAINER ships <ships@darts.kr>   RUN yum install -y epel-release RUN cp /usr/share/zoneinfo/Asia/Seoul /etc/localtime   RUN useradd pxuser ADD ./Run.sh /home/pxuser/ RUN chmod +x /home/pxuser/Run.sh   RUN yum install -y python-carbon RUN yum install -y graphite-web   RUN django-admin syncdb --settings=graphite.settings --noinput   EXPOSE 8000 VOLUME ["/var/lib/carbon/rrd", "/var/lib/carbon/whisper"]   WORKDIR /home/pxuser/ CMD ["./Run.sh"] Colored by Color Scripter

cs

   이전 글과 비교해서 특별한 것은 없고 작업 경로의 Run.sh이 실행 권한이 없을 경우
   이미지에 복사된 스크립트도 실행 권한이 없어서 실행이 안되는 문제를 해결하기 위해
   실행 권한을 부여하는 것과 저장소 관련 명령어 정도가 추가 되었다.


3. Docker run.

   이제 volume 옵션을 주고 실행하면 준비는 끝.

1 2 3 4

docker run -d -p 5338:2003 \                             -v /var/lib/carbon/rrd:/var/lib/carbon/rrd \                             -v /var/lib/carbon/whisper:/var/lib/carbon/whisper \                             --name graphite graphite:1.0 Colored by Color Scripter

cs