스타트업부터 중견기업까지, 에이전트를 운영하는 팀이 Kairos를 씁니다
고객사 로고 자리 · 실제 고객사 로고로 교체
1.0관찰
모든 실행을
단계별로 추적합니다
계획부터 응답까지, 에이전트가 거친 모든 단계가 밀리초 단위 트레이스로 남습니다. 어디서 느려졌는지, 토큰을 어디에 썼는지 실행이 끝나기 전에 보입니다.
- 실시간 트레이스진행 중인 실행도 지금 어느 단계에 있는지 바로 확인합니다.
- 토큰·비용 집계실행, 에이전트, 팀 단위로 토큰과 비용을 나눠 봅니다.
- 실패 재현실패한 실행을 같은 입력과 도구 응답으로 다시 돌려 원인을 찾습니다.
2.0통제
위험한 행동은
승인 없이 나가지 않습니다
외부 메일 발송, 결제 API 호출, 개인정보 조회. 에이전트가 할 수 있는 일을 정책 한 줄로 정하고, 바꾸기 전에 영향받는 에이전트부터 확인하세요.
- 권한 범위에이전트마다 쓸 수 있는 도구와 데이터를 나눕니다.
- 승인 흐름금액, 수신 대상, 시간대 조건에 따라 담당자 승인을 받습니다.
- 변경 영향 미리보기저장하기 전에 지난 7일 실행 기준으로 영향을 계산합니다.
- 외부 메일 발송승인 필요
- 결제 API 호출50만원 초과 시 승인
- 고객 개인정보 조회마스킹 후 허용
- 사내 문서 검색허용
- 데이터 삭제항상 차단
영향받는 에이전트지난 7일 실행 기준
5개 · 기존 3개
승인 요청 주 25건 → 56건 예상
- 정산 리포트 에이전트결제 API · 주 21건
- 구매 요청 처리결제 API · 주 14건
- 광고비 집행 도우미결제 API · 주 4건
- 환불 처리 도우미결제 API · 주 11건승인 필요로 전환
- 출장비 정산결제 API · 주 6건승인 필요로 전환
3.0개선
바꾸기 전에,
숫자로 비교합니다
프롬프트나 모델을 바꾸면 같은 평가셋으로 기존 버전과 나란히 돌립니다. 정확도가 오르고 비용이 내려갔는지 확인한 뒤에 배포하세요.
- 실제 사례로 만든 평가셋운영 중인 실행에서 고른 사례로 평가셋을 만들고 계속 늘립니다.
- 회귀 감지한 지표라도 나빠지면 배포 전에 알려 줍니다.
프롬프트 v18 평가
eval_1029 · 평가셋 4,340건
| 지표 | v17현재 배포 | v18후보 | 변화 |
|---|---|---|---|
| 정확도높을수록 좋음 | 91.2% | 94.3% | +3.1%p |
| 환각 비율낮을수록 좋음 | 3.6% | 1.8% | −1.8%p |
| p95 지연낮을수록 좋음 | 2.84s | 2.31s | −0.53s |
| 1천 건당 비용낮을수록 좋음 | ₩4,570 | ₩3,870 | −15.3% |
속도
⌘K 하나로
에이전트 찾기, 실패한 실행 재시도, 정책 열기까지. 손을 키보드에서 떼지 않고 처리합니다. ⌘ 키가 없는 키보드에서는 Ctrl+K를 누르세요.
- ⌘K열기
- ↑↓이동
- ↵실행
- esc닫기
신뢰
에이전트가 늘어도
관제 화면은 느려지지 않습니다
트레이스 표시 지연 예시 수치
180ms
실행 단계가 끝난 뒤 관제 화면에 나타나기까지 걸리는 시간, p95 기준
출처 표기 자리 · 예: 내부 측정, 최근 30일
가동률 예시 수치
99.95%
트레이스 수집 API 기준, 최근 90일
출처 표기 자리 · 예: 공개 상태 페이지
처리량 예시 수치
1.2억 스팬/일
하루 동안 수집하고 저장하는 실행 단계 수
출처 표기 자리 · 예: 운영 대시보드 집계
예시 수치 · 실제 데이터와 출처로 교체
고객 이야기
“에이전트가 마흔 개를 넘기자 어디서 무엇이 실패하는지 아는 사람이 없었습니다. 지금은 실패한 실행을 같은 입력으로 바로 다시 돌려 보고, 결제나 외부 메일 같은 위험한 호출은 승인 없이 나가지 않습니다.”
체인지로그
전체 업데이트 보기2주마다 운영 현장에서 필요했던 기능을 내보냅니다.
-
승인 정책 버전 관리
정책을 바꾸기 전과 후를 나란히 비교하고, 문제가 생기면 이전 버전으로 바로 되돌립니다.
-
평가 결과 자동 비교
새 프롬프트나 모델을 올리면 기존 버전과 정확도·비용·지연을 같은 평가셋으로 비교합니다.
-
메신저에서 바로 승인
승인 요청이 오면 메신저 알림에서 내용을 확인하고 승인하거나 반려합니다.