매일 아침 9시,
장애 보고서가 먼저 와 있다

밤새 쌓인 경보와 로그를 에이전트가 먼저 읽고, 출근 전에 한 쪽짜리 보고서를 채팅방에 올린다.

문제

물결페이 SRE팀은 밤사이 울린 경보를 아침마다 사람이 모았습니다. 당번이 9시 반까지 로그를 뒤지고, 재시작된 컨테이너를 세고, 채팅방에 보고서를 올리는 데 평균 43분이 걸렸습니다.

더 큰 문제는 놓치는 경보였습니다. 같은 오류가 서른 번 울리면 그 밑에 묻힌 한 번짜리 경보가 보이지 않았고, 한 주에 4건 정도가 다음 날에야 발견됐습니다.

구성

당번 노트북의 부두 터미널에 서버 셋을 붙였습니다. 로그 망원경은 지난 18시간의 오류 줄만 고르고, 컨테이너 관리인은 읽기 전용으로 재시작 기록을 읽고, 채팅방 연결은 결과를 #sre-아침 채널에 한 번 올립니다.

# 부두 터미널 — ~/.budu/servers.toml
[servers.log-scope]
command = "log-scope"
args = ["--since", "18h", "--level", "error"]

[servers.container-keeper]
command = "container-keeper"
args = ["--read-only"]

[servers.chat-bridge]
url = "https://chat-bridge.example/mcp"
channel = "#sre-아침"

결과

• 43분6분아침 보고서 작성
• 40주당 놓친 경보
• 3붙인 서버

“보고서를 쓰던 30분이 보고서를 읽고 고치는 5분이 됐어요. 에이전트가 틀리면 그 줄만 지우면 됩니다.”

배운 것

1. 쓰기 권한은 하나만. 읽는 서버와 쓰는 서버를 나누니 사고가 날 자리가 채팅방 한 곳으로 줄었습니다.
2. 시간 창을 좁게. 로그를 18시간으로 자르자 보고서가 한 쪽 안에 들어왔습니다.
3. 같은 오류는 묶어서. 서른 번 울린 오류를 한 줄로 묶어야 한 번짜리 경보가 보입니다.