M3. 운영 — 만든 에이전트를 검증하고, 내보내고, 관찰한다
한 줄 요약 — M2에서 빌드한 에이전트를 Preview로 검증 → Evaluate로 측정 → Publish로 내보내고 → Monitor로 관찰하는 운영 사이클을 익힙니다. Settings와 오류 코드 트러블슈팅, 그리고 Copilot Credits 과금까지 포함해 “게시 이후”를 책임지는 모듈입니다. (기능·화면·명칭은 프리뷰 기준 · subject to change)
에이전트 수명 주기 5단계(Create → Build → Test → Publish → Monitor) 중 Test 이후 전부가 M3의 범위입니다. GitHub Copilot 하네스(구 ‘새 경험’)의 상단 4탭(Build · Preview · Evaluate · Monitor) 중 Build를 제외한 3개 탭과 Settings 대화 상자를 다룹니다.
운영 하위 세션
| # | 세션 | 핵심 |
|---|---|---|
| 1 | 미리보기 Preview | 대화형 테스트 · 활동 추적(activity trace) · History 대화 기록 |
| 2 | 평가 Evaluate | 테스트 세트(CSV·AI 생성·수동) · General quality Pass/Fail · 실행 간 비교 |
| 3 | 출판 및 배포 Publish & distribute | 초안→라이브 버전 · 채널 4종 · 공유(View 전용) |
| 4 | 모니터링 Monitor | 게시 후 활성화 · Recent tasks · Files · 오류 모니터링 |
| 5 | 설정 Settings | Agent settings 4탭 — 정체성·AI 동작·인증·인사말 |
| 6 | 문제 해결 Troubleshooting | 오류 코드 9종 — 의미·재시도 여부·조치 담당 |
| 7 | 과금 Copilot Credits | 사용·빌드·테스트·평가 모두 크레딧 소모 · 종량제·선구매 플랜 · 사용량 확인 위치 |
1. 미리보기 Preview
게시 전에 채팅으로 검증하는 대화형 테스트 환경. 메이커 뷰의 추론 카드와 활동 추적으로 지식 인용·도구 호출을 노드 단위로 디버깅하고, History로 과거 테스트 대화를 검토합니다.
2. 평가 Evaluate
수동 테스트를 구조화된 테스트 세트로 대체합니다. CSV 업로드(최대 5 MB)·AI 생성(기본 10개)·수동 작성으로 대화를 만들고, General quality 방법으로 실행해 Pass/Fail 점수를 얻고 실행 간 비교로 개선을 추적합니다.
3. 출판 및 배포 Publish & distribute
게시는 초안(draft)에서 라이브 버전을 만드는 작업. 게시 후 채널(M365 Copilot · Teams · Demo website · Web app)에 연결하고, Share로 사용자·그룹·조직에 공유합니다(GitHub Copilot 하네스는 View 권한만).
4. 모니터링 Monitor
게시해야 열리는 Monitor 탭에서 준실시간으로 최근 작업(Recent tasks)과 접근 파일(Files)을 보고, 분석 대시보드·세션 추적·오류 모니터링으로 운영 상태를 관찰합니다. 에이전트가 소모한 Copilot Credits도 여기서 확인합니다.
5. 설정 Settings
점 3개(…) → Settings로 여는 Agent settings 4탭(Agent Details / AI & Behavior / Safety & Access / Greeting & Prompts). 변경은 저장 + 게시 후에 적용됩니다.
6. 문제 해결 Troubleshooting
실패 시 표시되는 표준 오류 코드 9종(CONTENT_FILTERED ~ SYSTEM_ERROR)의 의미·재시도 효과·조치 담당을 정리하고, 활동 추적·Preview 기록을 활용한 디버깅 동선을 익힙니다.
7. 과금 — Copilot Credits
GitHub Copilot 하네스 소속 에이전트·워크플로는 Copilot Credits 사용량 과금을 사용합니다. 표준 하네스(구 클래식)와 달리 게시 후 사용뿐 아니라 빌드·테스트·평가 단계부터 크레딧이 소모되므로, 운영 사이클(특히 Preview·Evaluate 반복)을 설계할 때 과금을 함께 고려해야 합니다. 결제 방식(종량제·선구매 플랜)과 사용량 확인 위치를 다룹니다.
핵심 정리
- 운영의 기본 리듬 — Preview로 탐색·정제 → Evaluate로 대규모 검증 → Publish → Monitor 관찰
- 게시는 초안의 스냅숏으로 라이브 버전을 만드는 것 — 재게시 전까지 초안 변경은 라이브에 미반영, Monitor 탭도 게시 전엔 비활성
- 문제가 생기면 활동 추적 → 오류 코드 → Build/Settings 수정 → Preview 재테스트의 순환으로 해결
- GitHub Copilot 하네스는 빌드·테스트·평가·사용 전부 Copilot Credits를 소모 — 게시 후부터 과금되는 표준 하네스와 다름
이전 모듈: M2. 빌드 · 다음 모듈: M4. 실습: 에이전트 Lab
출처: Preview and test an agent (MS Learn) · Evaluate an agent (MS Learn) · Publish overview for agents (MS Learn) · Monitor an agent overview (MS Learn) · Settings (MS Learn) · Error codes reference (MS Learn) · Billing for agents powered by the GitHub Copilot harness (MS Learn) · Choose a harness (MS Learn) · 각 세션 하단 출처 참고