🎥오픈소스

Microsoft Skill Recorder - AI에게 작업을 보여주면 자동화 스킬로 변환

화면 조작을 한 번 시연하면 AI가 관찰해서 재사용 가능한 자동화 스킬로 만들어주는 마이크로소프트 오픈소스 프로젝트

#자동화#RPA#워크플로우#에이전트

Microsoft Skill Recorder란?

마이크로소프트가 공개한 Skill Recorder는 "AI에게 가르치지 말고, 직접 보여주라"는 새로운 접근 방식의 자동화 도구입니다.

1.사용자가 작업을 한 번 수행 - 평소처럼 화면에서 작업을 진행

2.모든 것을 기록 - 화면 조작, 창 전환, 웹페이지, 클립보드, 터미널 명령, 음성 설명까지 캡처

3.GitHub Copilot이 변환 - 기록된 내용을 분석해서 다음과 같이 변환:

- 작업 의도 파악

- 일반화된 단계로 추상화

- SKILL.md 문서 생성

- 정기 자동화 스크립트 생성

전통적인 RPA는 마우스 좌표를 단순 반복하지만, Skill Recorder는 더 똑똑합니다:

▸웹 클릭을 안정적인 **API 호출**로 변환

▸

CLI 명령어: 나 에이전트 네이티브 도구 활용

▸화면 레이아웃이 바뀌어도 작동 가능한 유연한 스크립트 생성

예시: GitHub Issue 처리를 한 번 시연하면, 동일한 유형의 Issue를 대량으로 처리할 수 있는 에이전트 스킬이 생성됩니다.

▸

네이티브 지원: Microsoft Scout, Microsoft 365 Copilot Cowork

▸

수동 적용 가능: Claude Code, Codex, OpenCode (생성된 SKILL.md를 수동으로 적용)

한 번의 시연만으로는 성공 케이스(happy path)만 학습됩니다. 실제 운영 환경에서는:

▸권한 부족 상황

▸페이지 변경

▸빈 입력값

▸API 타임아웃

▸실패 시 재시도 로직

등의 예외 상황을 추가로 학습시켜야 안정적인 자동화가 가능합니다.

이 프로젝트는 AI 에이전트 워크플로우의 새로운 방향을 제시합니다. 복잡한 코드나 설정 없이, 그냥 "하던 대로" 작업하면 AI가 알아서 배우고 자동화하는 시대가 열리고 있습니다.