AI 자동화, 어디까지 맡기고 어디서 사람이 승인해야 할까

1. 개요: 자동화의 핵심은 속도가 아니라 책임 가능한 흐름입니다

AI 자동화는 잘 쓰면 반복 업무를 크게 줄입니다. 하지만 고객 앞에서 틀린 답을 보내거나, 환불 조건을 잘못 안내하거나, 권한 있는 데이터를 엉뚱하게 바꾸면 속도는 장점이 아니라 피해 확산 장치가 됩니다.

Air Canada 챗봇 사건은 이 경계를 잘 보여줍니다. 고객은 챗봇 안내를 믿고 항공권을 구매했지만, 실제 정책은 달랐고, 결국 회사가 잘못된 웹사이트 챗봇 안내에 대한 책임을 졌습니다. 문제는 AI가 사람처럼 보였다는 점이 아니라 회사가 고객에게 제공한 정보였다는 점입니다.

따라서 자동화 설계는 "사람이 검토한다"는 말에서 끝나면 부족합니다. 어떤 결과는 자동 처리하고, 어떤 결과는 승인 대기열로 보내고, 어떤 결과는 아예 AI가 실행하지 못하게 막는지를 업무 단위로 정해야 합니다.

2. 자동화해도 되는 영역: 되돌릴 수 있고 검토 가능한 중간 업무

첫 자동화 후보는 최종 결정이 아니라 결정 전 단계입니다. 고객 문의를 유형별로 분류하고, 상담 이력을 요약하고, 환불 가능성에 필요한 자료를 체크하고, 이메일 초안을 만들고, 누락된 주문번호를 표시하는 일은 사람의 검토를 전제로 자동화하기 좋습니다.

COPC의 2026년 고객 경험 리서치도 같은 방향을 보여줍니다. 고객은 AI를 무조건 거부하는 것이 아니라, 문제가 해결되고 AI임을 알고 있으며 필요할 때 사람에게 자연스럽게 이어질 때 더 잘 받아들입니다. 반대로 AI에서 사람으로 넘어갈 때 맥락이 끊기는 지점이 가장 약한 연결고리로 반복됩니다.

Reddit 고객지원 논의에서도 같은 불만이 반복됩니다. 봇이 대화를 했는데 상담원에게 넘어간 티켓에는 맥락이 없고, 고객이 이메일, 주문번호, 문제 설명을 다시 말해야 한다는 경험입니다. 이 경우 자동화는 업무를 줄인 것이 아니라 고객과 상담원 모두에게 일을 다시 만든 것입니다.

• 문의 유형 분류: 배송, 환불, 견적, 불만, 기술 문제
• 상담 이력 요약: 고객이 이미 말한 내용과 확인된 사실
• 누락 체크: 주문번호, 날짜, 결제수단, 첨부자료
• 초안 작성: 사람이 고쳐 보낼 이메일, 견적 설명, 내부 메모
• 위험 신호 표시: 고액, 법적 표현, 민감정보, 반복 불만, VIP 고객

3. 사람이 승인해야 하는 영역과 근본적인 이유

사람 승인 경계가 필요한 근본적인 이유는 AI가 아직 완벽하지 않아서만이 아닙니다. 더 깊은 이유는 책임, 되돌림, 맥락, 신뢰, 법적 의무가 모두 조직의 몫이기 때문입니다. AI가 문장을 만들 수 있어도, 그 문장이 회사의 약속이 되는 순간 책임은 회사와 담당자에게 남습니다.

첫째, 책임 소재입니다. EU AI Act는 고위험 AI 시스템에 대해 자연인이 효과적으로 감독할 수 있어야 하고, 위험과 자율성, 사용 맥락에 맞는 감독 조치가 필요하다고 봅니다. NIST AI RMF도 AI를 설계, 개발, 배포, 사용하는 조직이 위험을 관리하고 신뢰 가능한 사용을 운영화해야 한다고 설명합니다.

둘째, 되돌릴 수 없는 행동입니다. 결제, 환불, 계약 발송, 계정 정지, 데이터 삭제, 가격 변경, 고객 고지처럼 실행 뒤 파급이 생기는 일은 자동화의 마지막 단계를 사람이 잡아야 합니다. X의 자동화 규칙도 자동 행동에는 사용자 동의, 기대에 맞는 투명성, 개인정보 요청 제한, AI 자동 답변의 사전 승인 같은 조건을 둡니다. 플랫폼 정책 차원에서도 자동 실행은 "기술적으로 가능"과 "운영적으로 허용"이 다릅니다.

셋째, 맥락과 예외입니다. 고객이 화가 난 이유, 장기 거래 관계, 내부에서만 아는 보상 기준, 브랜드 톤, 계약상 예외는 데이터베이스에 깔끔하게 들어 있지 않은 경우가 많습니다. 사람이 승인하지 않으면 AI는 말이 되는 평균 답변을 만들 수 있지만, 지금 이 고객에게 맞는 답변인지는 놓칠 수 있습니다.

넷째, 과신입니다. 2024년 Computers in Human Behavior에 실린 실험 연구는 사람들이 AI 조언이 이용 가능한 맥락 정보와 자신의 판단에 반해도 과도하게 따를 수 있음을 보였습니다. 그래서 사람 승인도 그냥 버튼 하나가 되면 부족합니다. 검토자는 출처, 변경점, 위험 신호, 거절 권한을 함께 가져야 합니다.

• 돈이 움직이면 사람이 승인합니다: 환불, 청구, 할인, 정산, 결제
• 법적 의미가 있으면 사람이 승인합니다: 계약, 약관, 클레임, 권리 포기
• 고객에게 발송되면 사람이 승인합니다: 사과문, 보상 안내, 공개 답변
• 민감정보를 다루면 사람이 승인합니다: 개인정보, 결제정보, 건강, 법률, 내부 인사 정보
• 되돌리기 어렵다면 사람이 승인합니다: 삭제, 차단, 권한 변경, 가격 변경, 대량 발송

4. 커뮤니티에서 반복되는 실패 패턴: 사람은 있는데 통제는 없는 상태

커뮤니티에서 가장 많이 보이는 실패는 "human-in-the-loop"라는 말은 붙어 있지만 실제로는 사람이 통제하지 못하는 구조입니다. Reddit의 AI 거버넌스 논의에서는 사람이 최종 출력만 보면 stale customer state, 누락된 정책 예외, 오래된 재고 상태, 숨은 의존성 실패 같은 원인을 놓칠 수 있다는 우려가 나옵니다.

또 다른 반복 패턴은 AI가 스스로 어떤 건을 사람에게 올릴지 판단하는 구조입니다. 사람이 모든 것을 보면 업무량이 터지고, AI가 위험하다고 판단한 것만 보면 위험 판정 자체를 AI에게 맡기는 문제가 생깁니다. 그래서 승인 경계는 모델의 자신감 점수 하나로 두면 안 됩니다.

X 공개 논의에서도 기업 AI agent 실패를 모델 실패보다 checkpoint와 governance 실패로 보는 관점이 반복됩니다. 이번 조사에서는 X 원문 페이지는 도구에서 본문을 직접 추출하지 못했지만, 공식 oEmbed로 일부 본문을 확인했고, 동일 주제는 X 자동화 정책과 Reddit 토론, 공식 규제 자료와 교차 확인했습니다.

• 봇이 상담을 했지만 사람에게 넘어갈 때 transcript가 사라진다
• AI가 위험도를 스스로 낮게 판단해 사람에게 올리지 않는다
• 사람은 최종 문장만 보고 근거 문서나 변경 이력을 보지 못한다
• 승인자는 거절 권한이 없고 빠른 처리 압박 때문에 사실상 도장을 찍는다
• 실패 로그가 고객 불만 뒤에야 발견되고, 사전 관측 지표에는 잡히지 않는다

5. 좋은 AI 업무흐름의 형태: 자율성보다 경계가 먼저입니다

좋은 AI 업무흐름은 한 번에 완전 자동화를 목표로 하지 않습니다. 먼저 읽기 전용으로 시작하고, 다음에는 초안과 분류를 맡기고, 그다음 승인 대기열을 만들고, 마지막으로 낮은 위험의 반복 업무만 자동 실행합니다.

승인 화면에는 AI 결과만 있으면 안 됩니다. 원문, 근거 문서, AI가 사용한 고객 정보, 바뀐 필드, 예상 리스크, 되돌림 방법, 담당자 메모가 함께 있어야 합니다. 사람이 "맞는 것 같다"가 아니라 "이 근거라면 승인해도 된다"를 판단할 수 있어야 합니다.

특히 고객지원 자동화에서는 handoff 자체가 제품입니다. 사람이 받는 티켓에는 고객이 이미 말한 내용, AI가 확인한 내용, AI가 실패한 이유, 다음 권장 행동이 붙어 있어야 합니다. 그래야 AI는 상담원을 대체하지 못하더라도 상담원이 다시 시작하지 않게 만듭니다.

• Read-only: AI가 읽고 요약하지만 쓰기 권한은 없습니다
• Draft-only: AI가 초안을 만들고 사람만 발송합니다
• Approve-to-act: AI가 실행 후보를 만들고 승인 뒤 실행합니다
• Auto-act with audit: 낮은 위험 업무만 자동 실행하고 전부 로그를 남깁니다
• Blocklist: 법률, 환불, 계정, 민감정보, 대량 발송은 기본 차단합니다

6. AI 발전과 함께 사람도 발전해야 하는 이유

AI가 발전하면 사람의 일이 사라지기만 하는 것이 아니라, 사람이 해야 할 일의 기준도 올라갑니다. 예전에는 직접 문장을 쓰는 능력이 중요했다면, 이제는 좋은 입력을 만들고, 근거를 확인하고, 예외를 판단하고, 시스템이 놓친 맥락을 찾아내는 능력이 더 중요해집니다.

KPMG와 University of Melbourne의 2025년 글로벌 AI 신뢰 조사에서는 AI 리터러시와 교육 부족이 신뢰와 책임 있는 사용의 핵심 문제로 나옵니다. WEF Future of Jobs 2025도 AI와 빅데이터 같은 기술 역량이 빠르게 중요해지는 동시에, 분석적 사고, 리더십, 회복탄력성, 인간 중심 역량이 계속 중요하다고 봅니다.

사람이 발전하지 않으면 두 가지 위험이 생깁니다. 하나는 AI를 무조건 불신해 좋은 자동화 기회를 놓치는 것입니다. 다른 하나는 AI가 그럴싸하게 만든 결과를 너무 쉽게 승인하는 것입니다. 앞으로 필요한 사람은 AI를 이기는 사람이 아니라, AI가 잘하는 일과 하면 안 되는 일을 구분하고, 회사의 책임 있는 운영 구조로 묶는 사람입니다.

7. 실행 체크리스트: 첫 자동화 전에 이 질문부터 답합니다

자동화 후보를 고를 때는 기술 난이도보다 실패 비용을 먼저 봐야 합니다. 업무가 작고 반복적이며 원문과 결과를 비교할 수 있고, 틀렸을 때 피해가 작고, 사람이 고칠 수 있다면 좋은 첫 후보입니다. 반대로 돈, 법, 민감정보, 고객 신뢰가 걸리면 자동 실행이 아니라 승인 대기열부터 만들어야 합니다.

Guildex가 보는 첫 AI 도입의 목표도 여기에 있습니다. 어떤 업무를 자동화할지보다 어떤 업무를 절대 자동화하면 안 되는지, 어떤 단계에서 사람이 승인해야 하는지, 어떤 데이터를 모아 다음 개선으로 이어갈지를 먼저 정리합니다.

• 이 업무가 틀렸을 때 고객, 돈, 법, 계정, 개인정보에 영향이 있는가
• AI가 본 근거와 사람이 보는 근거가 같은가
• 사람이 승인 화면에서 원문, 변경점, 위험 신호를 볼 수 있는가
• 거절, 수정, 되돌림, 에스컬레이션 경로가 있는가
• AI가 사람에게 넘길 때 고객이 같은 설명을 반복하지 않아도 되는가
• 승인자의 수정 내용이 다음 규칙과 지식베이스 개선으로 저장되는가