[2-3차 프로젝트] Grafana 알림 기능 사용하기

✅ 개요

Grafana에서는 알림 기능을 제공한다.

로그 데이터의 추이에 따라 특정 조건이 만족되면 알림을 보내는 형식인데 이메일, 슬랙, 텔레그램 등 다양한 채널로 알림을 받을 수 있다.

이를 통해 애플리케이션 문제 상황에 대한 신속한 대응이 가능하다.

 

✅ 알람 요구사항

나는 이전의 대시보드에서 설정한 항목 중 API 별 오류 발생 수를 체크하는 부분이 있었다.

이와 연계해서 특정 발생 횟수가 넘으면 이메일로 알람을 받을 수 있도록 설정해보겠다.

 

✅ Alert Rule 만들기

1️⃣ 쿼리 정의하기

sum by(Path) (count_over_time({job="logs", log_level=~"warn|error"} 
| logfmt | Path != `` [1h]))

1시간 이내에 들어온 예외 로그들 중 API Path를 기준으로 발생횟수를 알아내는 쿼리문이다.

 

2️⃣ 알람 조건 설정하기

오류가 1시간 이내에 5번이상 발생하면 알람이 오도록 설정해두었다.

 

3️⃣ 알람 규칙 설정하기

 

Evalutaion Group만들기

설정한 알림 규칙을 검사할 주기를 설정할 수 있다.

현재 1시간 동안 발생한 오류를 검사하고 있으므로 1시간으로 설정했다.

 

Pending period 설정하기

알람 조건을 만족했을 때 보류 시간을 지정할 수 있다. 해당 시간이 지나도 여전히 조건을 만족하면 알림을 보낸다.

오류에 대해서는 굳이 보류 시간을 정하지 않아도 될 것 같아 None으로 설정했다.

 

✅ 결과 확인

✅ 참고 자료

Creating alerts with Grafana | Grafana for Beginners Ep 11