앞선 글에서는 Azure OpenAI로 RAG를 구현하는 흐름을 살펴봤습니다. RAG는 LLM이 외부 문서를 검색해 근거 기반 답변을 만들 수 있게 해주는 구조였습니다.
그런데 실제 업무에서는 “답변”만으로 끝나지 않는 경우가 많습니다. 고객이 환불을 요청하면 환불 규정을 설명하는 것에서 끝나는 것이 아니라, 주문 내역을 확인하고, 환불 가능 여부를 판단하고, 결제 시스템에 요청을 보내고, 처리 결과까지 알려줘야 합니다.
이처럼 단순히 말로 답하는 AI를 넘어, 목표를 달성하기 위해 판단하고 행동하는 AI를 우리는 AI Agent라고 부릅니다.
이번 글의 핵심 질문
챗봇은 질문에 답하는 시스템이라면, AI Agent는 무엇이 다를까요? 이 글에서는 AI Agent가 왜 등장했는지, 챗봇과 어시스턴트와 어떻게 다른지, 어떤 업무에 적합한지 정리해 보겠습니다.
목차
1. 왜 AI Agent가 등장했는가?
처음 AI 서비스는 대부분 “질문하면 답하는 구조”였습니다. 사용자가 질문을 입력하면 시스템은 정해진 답변을 보여주거나, 문서를 검색해 관련 정보를 제공했습니다.
이 방식은 정보 안내에는 충분했습니다. 하지만 실제 업무에서는 정보 안내만으로 끝나지 않습니다. 고객 문의를 처리하려면 고객이 원하는 것을 파악하고, 관련 시스템을 조회하고, 조건을 판단하고, 필요한 작업을 실행해야 합니다.
고객 문의 예시
고객:
지난주에 주문한 상품이 아직 안 왔어요.
배송 확인하고, 너무 늦으면 환불도 가능한지 알려주세요.이 요청에 제대로 대응하려면 단순 답변을 넘어 다음 작업들이 필요합니다.
- 고객의 의도를 파악한다.
- 주문 번호나 고객 정보를 확인한다.
- 배송 시스템에서 배송 상태를 조회한다.
- 환불 정책과 현재 상황을 비교한다.
- 환불 가능 여부를 판단한다.
- 필요하면 환불 요청을 실행한다.
- 처리 결과를 고객에게 알려준다.
이런 흐름을 사람 상담원이 매번 직접 처리하면 시간이 오래 걸립니다. 그래서 AI가 단순히 대화만 하는 것이 아니라, 여러 시스템과 연결되어 실제 업무를 처리하는 방향으로 발전하게 되었습니다.
AI Agent가 등장한 이유는 간단합니다. 사용자는 더 이상 “답변”만 원하는 것이 아니라, 문제를 해결해 주는 AI를 원하기 때문입니다.
2. 기존 챗봇의 한계
챗봇은 기본적으로 대화 중심 시스템입니다. 사용자가 질문하면 답변을 제공하고, 필요한 정보를 안내합니다.
예를 들어 고객이 “환불은 언제까지 가능한가요?”라고 물으면 챗봇은 환불 규정을 알려줄 수 있습니다.
챗봇 응답 예시
고객:
이 상품 환불 가능한가요?
챗봇:
상품 수령 후 7일 이내에는 환불이 가능합니다.
단, 사용 흔적이 있거나 포장이 훼손된 경우 환불이 제한될 수 있습니다.이 답변은 유용합니다. 하지만 고객 입장에서는 아직 문제가 해결된 것이 아닙니다. 고객은 “내 주문이 환불 가능한지” 알고 싶고, 가능하다면 “환불 처리까지” 하고 싶습니다.
기존 챗봇의 한계는 여기서 드러납니다.
| 한계 | 설명 | 예시 |
|---|---|---|
| 정보 제공 중심 | 답변은 하지만 실제 처리는 하지 못함 | 환불 규정만 안내 |
| 시스템 연동 부족 | 주문, 결제, CRM 등 외부 시스템을 직접 다루지 못함 | 배송 상태를 직접 조회하지 못함 |
| 의사결정 부족 | 상황을 종합해 다음 행동을 결정하지 못함 | 환불 가능 여부 판단을 사용자에게 맡김 |
| 다단계 업무 처리 어려움 | 여러 단계를 이어서 처리하기 어려움 | 조회 → 판단 → 승인 요청 → 처리 완료까지 연결 어려움 |
챗봇이 부족하다는 뜻은 아닙니다. 단순 안내, FAQ, 규정 설명처럼 “정보 제공”이 목적이라면 챗봇만으로도 충분합니다. 문제는 업무가 실행 단계까지 이어질 때입니다.
3. AI Agent 정의
AI Agent는 주어진 목표를 달성하기 위해 스스로 필요한 단계를 생각하고, 상황을 판단하고, 도구나 시스템을 사용해 행동하는 지능형 프로그램입니다.
AI Agent는 단순히 질문에 답하는 AI가 아니라, 목표를 달성하기 위해 Think, Judge, Act를 수행하는 AI입니다.
여기서 목표라는 단어가 중요합니다. 챗봇은 보통 사용자의 질문에 답하는 것이 목적입니다. 반면 Agent는 “환불 처리하기”, “회의 일정 잡기”, “고객 이탈 원인 분석하기”, “보고서 초안 작성 후 이메일 발송하기”처럼 하나의 목표를 끝까지 처리하는 데 초점이 있습니다.
챗봇에게 주는 요청:
환불 규정 알려줘.
AI Agent에게 주는 요청:
이 고객의 주문 상태를 확인하고,
환불 가능하면 환불 요청을 진행한 뒤,
처리 결과를 고객에게 알려줘.두 요청은 비슷해 보이지만 난이도가 완전히 다릅니다. 첫 번째는 답변만 하면 됩니다. 두 번째는 고객 정보 조회, 주문 확인, 정책 판단, 환불 시스템 호출, 결과 안내까지 여러 단계를 이어서 처리해야 합니다.
4. Think, Judge, Act
AI Agent를 이해할 때는 Think, Judge, Act 세 단어로 보면 쉽습니다.
다만 여기서 깊은 Thought-Action-Observation 루프나 Tool 구조는 다음 글에서 자세히 다룰 예정입니다. 이번 글에서는 Agent가 챗봇과 달리 “생각하고, 판단하고, 행동한다”는 큰 그림만 잡으면 됩니다.
| 단계 | 의미 | 고객 환불 예시 |
|---|---|---|
| Think | 목표를 이해하고 필요한 단계를 계획 | 주문 내역, 배송 상태, 환불 정책 확인이 필요하다고 판단 |
| Judge | 수집한 정보를 바탕으로 결정 | 환불 가능 조건에 해당하는지 판단 |
| Act | 필요한 시스템을 사용해 실제 작업 수행 | 환불 요청 생성, 고객에게 결과 안내 |
이 세 단계를 보면 Agent가 왜 단순 챗봇과 다른지 분명해집니다. 챗봇은 보통 답변을 생성하는 데 머무르지만, Agent는 답변을 넘어 업무의 다음 단계를 진행합니다.
AI Agent의 핵심은 “말을 잘하는 것”이 아닙니다. 목표를 이해하고, 필요한 정보를 모으고, 판단한 뒤, 실제 행동으로 이어가는 것입니다.
5. 챗봇 vs AI Agent 비교
챗봇과 AI Agent의 차이를 가장 짧게 말하면, 챗봇은 대화하기 중심이고 AI Agent는 목표 달성 중심입니다.
| 구분 | 챗봇 | AI Agent |
|---|---|---|
| 주요 역할 | 대화하기, 정보 안내 | 목표 달성, 업무 수행 |
| 문제 해결 방식 | 정보만 제공 | 직접 처리 가능 |
| 의사결정 | 사용자에게 판단을 맡김 | 조건을 보고 일정 수준까지 판단 |
| 시스템 연동 | 거의 없거나 제한적 | CRM, DB, 결제, 예약, 이메일 등 여러 시스템 연동 |
| 자동화 수준 | 낮음 | 높음 |
| 복잡한 작업 | 어려움 | 다단계 업무 처리 가능 |
비유하자면 챗봇은 안내 데스크 직원에 가깝습니다. 어디로 가야 하는지, 어떤 규정이 있는지 알려줍니다. 반면 AI Agent는 개인 비서에 가깝습니다. 필요한 정보를 확인하고, 예약을 잡고, 이메일을 보내고, 일정까지 정리합니다.
6. 어시스턴트와 Agent의 차이
그렇다면 어시스턴트와 Agent는 어떻게 다를까요? Siri, Alexa, Google Assistant 같은 서비스도 일정 등록, 알람 설정, 날씨 확인을 할 수 있습니다. 그래서 Agent와 비슷해 보일 수 있습니다.
차이는 복잡한 목표를 얼마나 자율적으로 이어서 처리할 수 있는가에 있습니다.
| 구분 | 어시스턴트 | AI Agent |
|---|---|---|
| 작업 범위 | 알람, 일정, 검색처럼 비교적 단순한 작업 | 여러 시스템과 조건이 얽힌 복잡한 업무 |
| 명령 방식 | 사용자가 비교적 구체적으로 지시 | 목표를 주면 필요한 절차를 스스로 계획 |
| 판단 수준 | 정해진 기능 실행 중심 | 상황에 따라 다음 행동을 선택 |
| 예시 | 내일 오전 8시에 알람 맞춰줘 | 다음 주 회의 가능한 시간 찾아서 참석자에게 초대 보내줘 |
어시스턴트가 “명령받은 기능을 실행하는 도우미”라면, AI Agent는 “목표를 이해하고 필요한 절차를 이어가는 업무 수행자”에 가깝습니다.
7. Agent와 Workflow Automation 차이
AI Agent를 이야기할 때 Workflow Automation과도 자주 헷갈립니다. Workflow Automation은 정해진 조건과 순서에 따라 자동으로 업무를 처리하는 방식입니다.
Workflow Automation 예시
조건:
주문 상태가 "배송 완료"이고,
환불 요청일이 수령 후 7일 이내라면
동작:
환불 요청을 승인한다.이런 자동화는 규칙이 명확할 때 매우 효과적입니다. 하지만 고객의 요청이 애매하거나, 여러 시스템을 확인해야 하거나, 중간에 예외 상황이 생기면 정해진 흐름만으로는 대응하기 어렵습니다.
| 구분 | Workflow Automation | AI Agent |
|---|---|---|
| 작동 방식 | 정해진 규칙과 순서대로 실행 | 목표를 보고 필요한 절차를 선택 |
| 강점 | 반복적이고 규칙적인 업무에 강함 | 상황 판단과 다단계 업무에 강함 |
| 약점 | 예외 상황에 약함 | 잘못 판단하면 위험할 수 있음 |
| 예시 | 결제 완료 시 영수증 자동 발송 | 고객 상황을 보고 환불, 쿠폰, 상담원 연결 중 선택 |
따라서 모든 자동화를 Agent로 만들 필요는 없습니다. 규칙이 명확하고 예외가 적은 업무는 Workflow Automation이 더 안전하고 효율적일 수 있습니다. Agent는 판단과 유연성이 필요한 업무에 더 적합합니다.
8. Agent가 잘하는 업무
AI Agent는 여러 단계를 이어서 처리해야 하는 업무에 강합니다. 특히 사용자의 요청이 자연어로 들어오고, 여러 시스템을 조회해야 하며, 상황에 따라 다른 행동을 선택해야 하는 경우에 적합합니다.
| 업무 | Agent가 하는 일 | 왜 적합한가? |
|---|---|---|
| 고객센터 Agent | 고객 의도 파악, 주문 조회, 환불 가능 여부 판단, 처리 결과 안내 | 문의마다 상황이 다르고 여러 시스템 조회가 필요함 |
| 예약 Agent | 가능 시간 확인, 조건 비교, 예약 생성, 알림 발송 | 일정, 장소, 사용자 조건을 함께 고려해야 함 |
| 데이터 분석 Agent | 데이터 조회, 분석 코드 실행, 결과 요약, 보고서 작성 | 분석 과정이 여러 단계로 이어짐 |
| 업무비서 Agent | 메일 요약, 일정 조율, 회의록 정리, 후속 작업 생성 | 반복 업무와 문맥 이해가 함께 필요함 |
고객센터 Agent 예시
고객:
배송이 너무 늦어요. 환불 가능한지 확인해 주세요.
AI Agent:
1. 고객 주문 내역을 조회한다.
2. 배송 상태를 확인한다.
3. 환불 정책과 주문 상태를 비교한다.
4. 환불 가능 여부를 판단한다.
5. 필요하면 환불 요청을 생성한다.
6. 고객에게 처리 결과를 안내한다.이 예시에서 Agent는 단순히 환불 규정을 말하는 것이 아니라, 실제 고객 상황을 확인하고 다음 행동을 선택합니다. 이것이 챗봇과 Agent의 가장 큰 차이입니다.
9. Agent가 위험할 수 있는 업무
AI Agent는 강력하지만, 모든 업무에 적합한 것은 아닙니다. Agent는 실제 시스템을 움직일 수 있기 때문에 잘못 판단하면 챗봇보다 위험이 커질 수 있습니다.
| 위험한 업무 | 위험 이유 | 대응 방법 |
|---|---|---|
| 결제·환불 | 금전 손실이나 부정 처리 가능성 | 일정 금액 이상은 사람 승인 필요 |
| 개인정보 처리 | 민감 정보 노출 위험 | 권한 관리, 마스킹, 로그 기록 |
| 법률·의료 판단 | 잘못된 판단이 큰 피해로 이어질 수 있음 | 전문가 검토와 보조 역할로 제한 |
| 삭제·변경 작업 | 데이터 복구가 어렵거나 업무 중단 가능 | 실행 전 확인 단계 추가 |
| 외부 발송 | 잘못된 이메일, 메시지, 공지 발송 위험 | 초안 생성 후 사람 승인 |
Human-in-the-loop
Human-in-the-loop는 Agent가 모든 것을 자동으로 처리하지 않고, 중요한 순간에 사람이 검토하거나 승인하는 구조입니다.
Human-in-the-loop 예시
AI Agent:
고객의 환불 조건을 확인했습니다.
환불 가능성이 높지만 금액이 50만 원을 초과합니다.
관리자 승인이 필요합니다.
관리자:
승인합니다.
AI Agent:
환불 요청을 처리하고 고객에게 안내 메시지를 발송합니다.AI Agent는 자동화 수준이 높을수록 편리하지만, 위험도 함께 커집니다. 중요한 업무에서는 사람 승인, 권한 제한, 로그 기록, 실행 전 확인 절차가 반드시 필요합니다.
10. 정리
AI Agent는 단순히 답변을 잘하는 챗봇이 아닙니다. 주어진 목표를 달성하기 위해 필요한 정보를 찾고, 상황을 판단하고, 외부 시스템을 사용해 실제 업무를 처리하는 AI입니다.
챗봇은 정보 제공에 강하고, 어시스턴트는 간단한 기능 실행에 강합니다. 반면 AI Agent는 여러 단계를 이어서 처리해야 하는 업무, 여러 시스템을 연동해야 하는 업무, 상황에 따라 다른 행동을 선택해야 하는 업무에 적합합니다.
AI Agent의 핵심은 목표 달성입니다.
챗봇이 “무엇을 알려줄까?”에 가깝다면, AI Agent는 “이 문제를 어떻게 해결할까?”에 가깝습니다.
11. 전체 흐름 한 번에 정리
- 기존 AI 서비스는 주로 질문에 답하거나 정보를 제공하는 역할에 머물렀다.
- 챗봇은 대화와 정보 안내에는 유용하지만, 실제 업무 처리에는 한계가 있다.
- AI Agent는 주어진 목표를 달성하기 위해 생각하고, 판단하고, 행동하는 AI다.
- Think 단계에서는 목표를 이해하고 필요한 절차를 계획한다.
- Judge 단계에서는 수집한 정보를 바탕으로 다음 행동을 결정한다.
- Act 단계에서는 외부 시스템이나 도구를 사용해 실제 업무를 수행한다.
- 챗봇은 정보 제공 중심이고, AI Agent는 목표 달성 중심이다.
- 어시스턴트는 비교적 단순한 기능 실행에 강하고, Agent는 다단계 업무에 강하다.
- Workflow Automation은 정해진 규칙에 강하고, Agent는 예외와 상황 판단이 필요한 업무에 적합하다.
- Agent를 실제 업무에 쓰려면 Human-in-the-loop, 권한 제한, 로그 기록, 안전장치가 필요하다.
12. 핵심 키워드 정리
| 키워드 | 의미 |
|---|---|
| AI Agent | 목표를 달성하기 위해 생각하고 판단하고 행동하는 AI 프로그램 |
| Chatbot | 사용자와 대화하며 정보를 제공하는 시스템 |
| Assistant | 사용자의 명령을 받아 일정, 알람, 검색 등 간단한 작업을 돕는 시스템 |
| Goal | Agent가 달성해야 하는 최종 목적 |
| Autonomy | 사람의 세부 지시 없이 어느 정도 스스로 판단하고 행동하는 능력 |
| Think | 목표를 이해하고 필요한 단계를 계획하는 과정 |
| Judge | 수집한 정보와 조건을 바탕으로 다음 행동을 결정하는 과정 |
| Act | 도구나 시스템을 사용해 실제 업무를 수행하는 과정 |
| Multi-step Task | 조회, 판단, 실행, 확인처럼 여러 단계를 이어서 처리하는 업무 |
| Human-in-the-loop | 중요한 판단이나 실행 전에 사람이 검토하거나 승인하는 구조 |
다음 글 예고
다음 글에서는 AI Agent가 실제로 어떻게 일하는지 더 구체적으로 살펴보겠습니다. 특히 Thought, Action, Observation 루프와 Tool, Function Calling, Memory가 Agent 동작에서 어떤 역할을 하는지 정리해 보겠습니다.
'Azure OpenAI Engineering > Agent' 카테고리의 다른 글
| [ Azure OpenAI #17 ] Azure AI Foundry로 Agent 만들기: 설계, 구축, 테스트, 보안 (0) | 2026.06.18 |
|---|---|
| [ Azure OpenAI #16 ] AI Agent 작동 원리: Thought, Action, Observation, Tool, Memory (0) | 2026.06.18 |