M3-4. 모니터링 Monitor — 분석·활동 검토
한 줄 요약 — Monitor 탭은 배포 후 에이전트 성능·사용자 상호작용의 가시성을 제공합니다. 단, 게시 전에는 비활성 — Publish를 해야 열립니다. 분석 대시보드·세션 추적·오류 모니터링이 3대 기능입니다. (기능·화면·명칭은 프리뷰 기준 · subject to change)
1. 왜 Monitor인가 — 게시 이후의 관찰
Preview·Evaluate가 “게시 전 검증”이라면 Monitor는 게시 후 관찰입니다. 특히 이메일 발송·레코드 업데이트·M365 서비스 상호작용 같은 자율 작업(autonomous actions) 을 수행하는 에이전트라면, 사람이 채팅 창을 지켜보지 않아도 무슨 일이 벌어졌는지 확인할 통로가 필요합니다. Monitor 탭이 그 준실시간(near-real-time) 뷰입니다.
전제 조건: 에이전트 게시 필수 — Build 탭에서 Publish를 선택하기 전에는 Monitor 탭을 사용할 수 없습니다.
2. 3대 모니터링 기능 (개요)
① 분석 대시보드(analytics dashboard) — 상위 수준 성능 메트릭:
| 메트릭 | 내용 |
|---|---|
| Conversation sessions | 처리한 총 대화 수 |
| User engagement | 메시지 수 · 세션 지속 시간 |
| Satisfaction | 좋아요/싫어요 피드백 신호 |
| Response quality | 응답률(answer rates) · 토픽 커버리지 지표 |
| Tool use | 도구 사용 빈도 · 최다 사용 도구 |
시간 범위(time range) 필터로 최근 활동과 장기 추세를 나눠 봅니다.
② 세션 추적(session tracking) — 개별 대화 세션의 Status(성공/실패/진행 중) · Duration · User messages · Tools used를 보고, 상태별 필터(Failed / Complete / In Progress) 후 개별 세션을 열어 전체 트랜스크립트·응답·도구 호출·지식 소스 사용을 검토합니다.
③ 오류 모니터링(error monitoring) — Failed / Rejected 상태 필터 → 트랜스크립트로 근본 원인 분석 → 도구 연결 상태·인증 오류 확인 → 실패 세션 패턴으로 구성 문제를 식별합니다.
3. Monitor 탭 화면 구성 — Recent tasks와 Files
① Recent tasks 섹션 — 에이전트가 완료/시도/처리 중인 작업의 시간순 목록:
| 항목 | 내용 |
|---|---|
| Status | success / failed / in-progress |
| Task description | 요청/완료된 작업 요약 |
| Last updated | 최근 작업 활동 타임스탬프 |
| Location | 작업이 발생한 채널/표면 — 사용자가 에이전트를 호출한 곳 |
작업을 선택하면 상세 실행 정보가 표시됩니다.
② Files 섹션 — 상호작용 중 접근/사용된 파일을 유형별로 정리:
- 파일 유형 필터: Word, Excel, PowerPoint, Notes
- 파일 선택 시 언제, 누가 접근했는지 표시 — 자율 작업 에이전트의 파일 접근 감사에 유용
4. Monitor vs 분석(analytics) 구분
| 영역 | 성격 |
|---|---|
| Monitor 탭 | 최근 활동의 준실시간 뷰 — 방금 무슨 일이 있었나 |
| 표준 하네스(구 클래식) analytics | 장기 분석 — 대화 메트릭 · 성능 추세 |
제약/주의
- 게시 전 Monitor 탭 비활성 — 새로 만든 에이전트에서 탭이 안 열리면 게시 여부부터 확인하세요.
- 구체적 메트릭 정의·한도(threshold)·오류 처리 절차는 문서에 명시되어 있지 않습니다(프리릴리스 문서, 변경 가능).
- 프로덕션 준비 미리보기 · GitHub Copilot 하네스 ↔ 표준 하네스 양방향 이전(변환) 불가 등 공통 주의 사항이 적용됩니다.
핵심 정리
- Publish가 스위치 — 게시해야 Monitor 탭이 활성화되고, 이때부터 준실시간 관찰 시작
- 화면 구성 두 축: Recent tasks(작업 상태·설명·시각·Location) + Files(Word/Excel/PowerPoint/Notes, 언제·누가)
- 실패 분석 동선: 상태 필터(Failed/Rejected) → 트랜스크립트 → 도구 연결·인증 확인 → 패턴 식별 — 근본 원인 수정은 Build/Settings에서
이전: 출판 및 배포 · M3 운영으로 → 다음: 설정 Settings
출처: Monitor an agent overview (MS Learn) · Monitor an agent (MS Learn) · Choose a harness (MS Learn)