켜 두기만 해도, 일한 것처럼 보였다

'빌더의 일기' 두 번째 편입니다. 이번엔 숫자 이야기입니다. 정확히는, 제가 숫자를 너무 쉽게 믿었던 이야기입니다.

장면 1 — 숫자가 이상했다

활동 지표를 보다가 뭔가 걸렸습니다. 분명히 한동안 안 쓴 것 같은 계정인데, 활동 일자가 계속 최근으로 찍혀 있었습니다. 처음엔 "그냥 어쩌다 한 번 더 켰나 보지" 하고 넘겼습니다. 그런데 비슷한 패턴이 한두 곳이 아니었습니다.

장면 2 — 로그를 열어보니, "쓴 게 아니라 켜둔 것"이었다

로그를 추적해보니 원인은 생각보다 단순했습니다. 앱을 켜 두기만 해도, 아무 작업도 시키지 않아도, 백그라운드에서 주기적으로 찍히는 행이 있었습니다. 토큰도 안 쓰고 비용도 0인, 그냥 "살아있다"는 신호에 가까운 행이었습니다. 문제는 그 행과 "실제로 뭔가를 시킨" 행이 같은 테이블, 같은 집계 경로를 타고 있었다는 겁니다. 집계하는 쪽에서 둘을 가를 필터가 없었습니다.

그러니 "활동한 날"이 실제로는 "앱이 켜져 있던 날"에 가까웠습니다. 사용자 입장에선 아무것도 안 했는데, 저희 지표에서는 그날도 활동한 걸로 잡혔던 겁니다. 숫자가 거짓말을 한 게 아니라, 제가 숫자에게 틀린 질문을 하고 있었던 겁니다.

장면 3 — 기준을 다시 세웠다

기준을 하나로 정했습니다. 실제 사용은 토큰을 실제로 소모한 행으로만 센다. 토큰 없이 찍히는 행은 "켜져 있었다"는 것만 말해줄 뿐, "썼다"는 증거가 아니다. 이 기준을 지표를 읽는 모든 자리에 똑같이 적용했습니다 — 한 곳만 고치고 나머지는 복붙해서 쓰던 예전 방식이면 또 어딘가에서 같은 구멍이 생길 게 뻔했기 때문입니다.

기준을 바꾸자 숫자는 당연히 내려갔습니다. 보기엔 안 좋은 변화처럼 보일 수 있습니다. 그런데 저는 그걸 나쁜 소식이라고 생각하지 않습니다. 부풀려진 숫자로 안심하다가 나중에 더 크게 어긋나는 것보다, 지금 작은 숫자가 맞는 숫자인 게 훨씬 낫습니다.

오늘의 한 줄

켜져 있다는 건 신호일 뿐, 쓰고 있다는 증거가 아니다.