3분 요약
한 줄로: 측정은 시범 운영이 끝난 뒤가 아니라 시작하기 전에 한다. 바꾸기 전 숫자(기준선)가 없으면 바뀐 뒤 숫자는 아무 의미가 없다.
도입은 했는데 효과는 못 본 회사가 대부분이다. 킨드릴 조사에서 기업의 57%가 AI를 배포했지만 목표를 달성한 곳은 11%였다A. 오픈AI 조사에서는 선도 기업과 보통 기업의 AI 사용량 격차가 8.3배였다A.
네 가지를 잰다. ① 시간(건당 몇 분) ② 양(같은 사람이 몇 건) ③ 품질(오류·재작업) ④ 비용(라이선스·토큰·사람). 하나만 재면 속는다.
가장 흔한 착각은 "시간이 줄었다"다. 한국은행 분석에서 생성형 AI로 주당 1.5시간이 줄었지만 처리량은 그대로였다B. 줄어든 시간이 다른 성과로 바뀌지 않으면 회사 입장에서는 효과가 없다.
업체가 낸 숫자는 반만 믿는다. "처리 시간 90% 단축"은 대부분 업체 자체 집계다. 이 브리핑은 그런 숫자에 C를 붙인다.
1단계: 기준선 잡기
기준선은 "바꾸기 전에 이 일이 어떻게 돌아가고 있었나"를 숫자로 적은 것이다.
잡는 방법 세 가지.
| 방법 | 어떻게 | 장점 | 단점 |
|---|---|---|---|
| 시스템 기록 | 결재·티켓·처리 시스템에서 시작·종료 시각을 뽑는다 | 정확하다 | 기록이 없는 일이 많다 |
| 시간 기록 | 실무자가 2주간 업무별 소요 시간을 적는다 | 어떤 일이든 잴 수 있다 | 귀찮아서 대충 적는다 |
| 관찰 | DS가 옆에서 직접 잰다 | 숨은 단계가 보인다 | 표본이 작다 |
실무 원칙. - 최소 2주, 가능하면 한 달. 월말·분기말처럼 바쁜 시기를 포함한다. - 평균만 보지 말고 중앙값과 가장 오래 걸린 건을 같이 적는다. 몇 건이 평균을 끌어올린다. - 시범 운영 집단과 비슷한 비교 집단을 하나 정해 둔다. 같은 기간 비교 집단도 좋아졌다면 AI 효과가 아닐 수 있다.
2단계: 무엇을 잴까 — 네 가지 지표
① 시간 — 건당 소요 시간
가장 쉽고 가장 많이 인용된다. 6개월간 브리핑에 실린 대표 사례다.
| 회사 | 업무 | 전 | 후 | 등급 |
|---|---|---|---|---|
| TD은행 | 주택담보대출 심사 준비 | 15시간 | 3분 | A |
| 코오롱인더스트리 | 선적서류 처리 | 4시간 | 5초 | B |
| NH농협은행 | PF 보고서 작성 | 5일 | 4시간 | B |
| KT | 고객 의견 분석 | 8시간 | 10분 | B |
| 토스뱅크 | 상담 연결 | 5분 이상 | 30초 | B |
| 한국수력원자력 | 원전 기술서류 검토 | — | 90% 단축 | C |
출처: TD · 코오롱 · 농협 · KT · 토스뱅크 · 한수원
주의. "15시간 → 3분"은 에이전트가 일하는 시간이다. 사람이 결과를 확인하는 시간이 빠져 있는 경우가 많다. 건당 시간은 사람 시간 + 기계 시간 + 기다린 시간으로 나눠 적는다.
② 양 — 처리량과 업무 구성
시간이 줄면 같은 사람이 더 많은 건을 처리해야 효과가 남는다.
- 그랩은 데이터 분석 에이전트를 들인 뒤 분석가가 맡는 단순 업무(데이터 준비·알림·리포트) 비중이 2월 44%에서 6월 30%로 내려갔다B. 줄어든 비중만큼 분석가가 무슨 일을 더 했는지가 다음 질문이다.
- 1Password는 코딩 에이전트를 쓴 개발자 집단에서 생산성이 20.9% 개선됐다(C, 오픈AI 발표). 생산성을 "코드 변경 요청 처리 시간"으로 정의했다. 정의가 다르면 회사끼리 비교할 수 없다.
③ 품질 — 오류율과 재작업
속도만 재면 품질이 떨어진 것을 놓친다.
- 에이전트 결과를 사람이 고친 비율(수정률)
- 고객 민원·재문의 비율
- 감사·검토에서 지적된 건수
평가를 통과한 AI 에이전트 절반이 실제 고객 사고를 냈다는 보도도 있다B. 시험 데이터에서 잘 되는 것과 현장에서 잘 되는 것은 다르다. 시범 운영 기간에는 표본을 뽑아 사람이 다시 검토하는 절차를 둔다.
④ 비용 — 라이선스, 토큰, 사람
AI 비용은 고정비(좌석당 라이선스)와 변동비(쓴 만큼 내는 토큰)로 나뉜다. 2026년 하반기에는 변동비가 문제가 됐다.
- 메타는 엔지니어별 AI 토큰 예산 상한을 검토한다고 밝혔고B, 마이크로소프트는 엔지니어의 AI 도구 지출에 한도를 두며 "최대한 많이 쓰는 것이 목표가 아니다"라고 알렸다B.
- 가트너는 토큰 단가는 내려가도 에이전트 작업 하나당 추론 비용은 2028년까지 5배 넘게 늘 것으로 봤다B. 에이전트는 한 번 일할 때 모델을 여러 번 부르기 때문이다.
DS가 챙길 것. 효과 보고서에 건당 AI 비용을 꼭 넣는다. "건당 시간 80% 단축, 건당 토큰 비용 1,200원"처럼 써야 경영진이 확산 예산을 판단할 수 있다.
3단계: ROI 계산 — 예시
아래 숫자는 설명을 위해 만든 가상의 예시다.
과제: 계약서 1차 검토 (법무팀 4명) 기준선: 건당 90분, 월 200건 → 월 300시간 시범 후: 에이전트 초안 + 사람 검토 25분, 월 200건 → 월 83시간 줄어든 시간: 월 217시간 사람 비용: 시간당 5만 원으로 잡으면 월 1,085만 원 AI 비용: 라이선스 4명 × 월 5만 원 + 토큰 건당 800원 × 200건 = 월 36만 원 도입 비용: FDE·DS 투입 2개월 3,000만 원(한 번) 회수 기간: 3,000만 ÷ (1,085만 − 36만) ≈ 3개월
이 계산이 성립하려면 조건이 하나 붙는다. 줄어든 217시간을 무엇에 쓰는지 정해야 한다. 같은 4명이 더 많은 계약을 보든, 이전에 외주로 맡기던 일을 가져오든, 채용 계획을 줄이든. 2편의 ⑤ 업무 재설계가 이걸 정하는 단계다.
숫자가 속이는 다섯 가지 경우
| 경우 | 어떻게 속나 | 막는 법 |
|---|---|---|
| 기계 시간만 잼 | "15시간 → 3분"에 사람 검토 시간이 빠짐 | 사람·기계·대기 시간을 나눠 적는다 |
| 열심히 쓰는 사람만 잼 | 시범 참가자가 원래 잘하는 사람 | 비교 집단, 무작위 배정 |
| 시간만 잼 | 빨라졌지만 오류 증가 | 품질 지표를 같이 잰다 |
| 업체 숫자 그대로 인용 | 측정 방법을 모름 | 정의·표본·기간을 묻는다. 모르면 C |
| 사용량을 성과로 착각 | "에이전트 3,000개 운영" | 사용량이 아니라 결과를 잰다 |
마지막 경우가 2026년에 특히 많았다. 클릭업은 인력 22%를 줄이며 사내 에이전트 3,000개를 투입했다고 했고B, UBS는 직원이 만든 개인 에이전트가 1만 2,700개라고 밝혔다B. 개수는 확산의 신호일 뿐 효과의 증거는 아니다.
실패에서 배우기
성공 사례만큼 실패 사례가 중요하다. 실패는 발표되지 않기 때문에 더 귀하다.
- 맥밀런 출판사는 행사까지 열며 직원에게 권하던 사내 AI 비서 NOA를 조용히 접었다B. 안전한 환경이라는 점은 강조했지만, 직원이 실제로 쓸 이유를 만들지 못한 것으로 보인다.
- 메타의 저커버그는 지난 4개월간 에이전트 개발이 예상만큼 빨라지지 않았다고 사내에서 인정했다B.
- 리플릿은 기본 모델을 앤트로픽에서 오픈AI로 바꿨다. CEO는 비용, 파트너십, 성능을 함께 따진 결정이라고 했다B. 모델은 바뀔 수 있다. 측정 체계는 모델이 바뀌어도 그대로 쓸 수 있게 만든다.
실패의 공통점. 성공 기준이 처음부터 없었거나, 도구를 깔고 업무를 안 바꿨거나, 비용을 안 쟀다.
DS의 측정 체크리스트
- [ ] 시범 전 2주 이상 기준선을 쟀다
- [ ] 비교 집단을 정했다
- [ ] 시간·양·품질·비용 네 가지를 모두 잰다
- [ ] 건당 시간을 사람·기계·대기로 나눴다
- [ ] 줄어든 시간을 어디에 쓸지 정했다
- [ ] 건당 AI 비용을 계산했다
- [ ] 업체가 낸 숫자의 정의와 측정 방법을 확인했다
다음 편
4편 「엔지니어와 대화하기」에서는 RAG·에이전트·MCP·평가 같은 말을 FDE와 대등하게 쓰는 법을 다룬다. 측정에서 "품질이 떨어졌다"가 나왔을 때 원인이 어디인지 FDE와 함께 찾으려면 이 말들이 필요하다.
출처
이 편이 인용한 기사는 모두 AX 브리핑 지난 호에 실렸다. 괄호 안은 신뢰 표시(A 공식 자료 · B 언론 보도 · C 업체 주장).
- 2026-06-25 · 킨드릴 조사, 기업 57% AI 배포했지만 목표 달성은 11% A nasdaq.com
- 2026-08-12 · 오픈AI 조사, 선도 기업과 보통 기업 AI 사용량 격차 8.3배 A openai.com
- 2026-06-08 · 한은 "생성형 AI로 주 1.5시간 줄었지만 처리량은 그대로" B hankyung.com
- 2026-08-17 · 그랩, 분석 에이전트로 단순 분석 업무 비중 44%에서 30%로 B infoq.com
- 2026-09-08 · 1Password, 코덱스 도입 후 엔지니어 생산성 21% 개선 C openai.com
- 2026-07-11 · 평가 통과한 AI 에이전트, 절반이 고객 사고 냈다 B venturebeat.com
- 2026-07-14 · 메타, 엔지니어별 AI 토큰 예산 상한 검토 B techcrunch.com
- 2026-08-04 · 마이크로소프트, 사내 AI 사용에 예산 한도 도입 B 404media.co
- 2026-08-17 · 가트너, 에이전트 작업당 추론비용 2028년까지 5배 이상 증가 전망 B techstrong.ai
- 2026-05-25 · 클릭업, 인력 22% 줄이고 에이전트 3000개 투입 B finance.yahoo.com
- 2026-11-02 · UBS 직원 개인 AI 에이전트 1만2700개, 운영 과제 608건 B fintechnews.ch
- 2026-10-29 · 맥밀런, 잔치까지 열었던 사내 AI 비서 조용히 폐기 B letsdatascience.com
- 2026-07-03 · 저커버그, 에이전트 개발 기대만큼 빨라지지 않았다고 인정 B siliconangle.com
- 2026-10-18 · 리플릿, 기본 모델을 앤트로픽에서 오픈AI로 바꿨다 B techcrunch.com