Codex가 내 작업을 보고 따라 한다, Record & Replay 시연 한 번으로 만드는 AI 스킬
AI 에이전트한테 일을 시키다 보면 매번 똑같은 설명을 반복하게 된다. "이 사이트 들어가서, 이 메뉴 누르고, 이 칸에 날짜를 넣고, 다운로드 받아줘." 한 번이면 괜찮은데 매주 같은 보고서를 뽑아야 하면 이 설명을 매번 다시 적는 게 더 귀찮다. 글로 풀어 쓰기 애매한 작업일수록 더 그렇다.
OpenAI가 Codex에 추가한 Record & Replay는 바로 이 지점을 노린다. 설명하는 대신 한 번 보여주면, Codex가 그걸 보고 재사용 가능한 스킬로 만들어 둔다. 다음부터는 변수만 바꿔 부르면 알아서 끝낸다. 공식 문서 기준으로 어떤 기능인지, 무엇이 새로운지, 그리고 직접 써 본 입장에서 실제로 쓸 만한지 정리해 봤다.
Record & Replay가 뭔가
핵심 개념은 이름 그대로다. 작업을 녹화(Record)하고, 나중에 재생(Replay)한다. 다만 단순 매크로 녹화가 아니다. 화면 클릭 좌표를 그대로 따라 찍는 방식이 아니라, Codex가 사용자의 시연을 관찰해서 "이 워크플로의 의도와 절차"를 스킬 초안으로 정리한다는 점이 다르다.
공식 문서는 이 기능이 잘 맞는 작업으로 비용 정산 처리, 주차 예약, 이슈 생성, 영상 발행, 정기 보고서 다운로드를 든다. 공통점이 보인다. 반복적이고, 사람마다 선호 방식이 다르고, 말로 설명하기보다 한 번 보여주는 게 빠른 일이다.
Record 단계, 한 번 시연한다
녹화 흐름은 이렇게 진행된다.
1. Codex 앱의 플러그인 메뉴에서 "Record a skill"을 고른다.
2. 무슨 작업인지 설명과 맥락을 적는다.
3. 권한을 승인한 뒤 Mac에서 실제 워크플로를 직접 시연한다.
4. 녹화를 멈추면 Codex가 관찰한 동작과 화면 내용을 바탕으로 스킬 초안을 만든다.
여기서 중요한 건 4번이다. 내가 클릭한 순서만 저장하는 게 아니라, 화면에 뭐가 떠 있었고 내가 무엇을 했는지를 묶어서 "재사용할 절차"로 추상화한다. 사람이 머릿속으로만 알던 암묵적 순서가 명시적인 산출물로 바뀌는 셈이다.
Replay 단계, 변수만 넣고 부른다
만들어진 스킬은 새 스레드에서 불러 쓴다. "아까 만든 그 스킬로 이번 달 보고서 뽑아줘" 식으로 지시하고, 파일이나 날짜 범위 같은 변수 값만 넘기면 된다. 그러면 Codex가 Computer Use와 브라우저 동작, 연결된 플러그인을 활용해 워크플로를 끝까지 처리한다.
| 구분 | Record | Replay |
|---|---|---|
| 하는 일 | 작업을 한 번 시연 | 스킬을 변수만 바꿔 실행 |
| 사람의 역할 | 직접 보여주기 | 값 입력 후 맡기기 |
| 결과물 | 재사용 가능한 스킬 초안 | 완료된 작업 |
| 적합한 일 | 반복적이고 설명하기 까다로운 작업 | 같은 절차의 다른 입력 |
무엇이 진짜 새로운가
기능 자체보다 방향이 흥미롭다. 그동안 AI 에이전트에게 일을 가르치는 방법은 두 가지였다. 프롬프트로 길게 설명하거나, 개발자가 직접 도구를 코딩해 붙이거나. 둘 다 "내가 아는 절차를 글이나 코드로 번역"하는 과정이다. Record & Replay는 그 번역을 건너뛴다. 그냥 한 번 하는 걸 보여주면 된다.
이건 AI 에이전트가 텍스트를 넘어 화면과 행동을 다루는 흐름과 맞닿아 있다. 텍스트만 다루던 모델이 파일을 고치고 검색을 하게 된 과정은 하네스라는 구조 덕분이었는데, Record & Replay는 거기서 한 발 더 나아가 "사람의 화면 조작을 관찰해 절차로 굳히는" 단계까지 온 것이다. AI가 단어를 예측하는 모델에서 시작해 어떻게 실제 작업까지 하게 됐는지를 떠올리면, 흐름이 한 방향으로 이어진다.
한계는 분명하다
좋아 보이지만 제약이 적지 않다. 공식 문서가 명시한 것만 정리하면 이렇다.
- macOS 전용이다. Windows는 지원하지 않는다.
- 유럽경제지역, 영국, 스위스에서는 초기에 쓸 수 없다.
- Computer Use 기능이 켜져 있어야 한다.
- 조직 정책에서 `requirements.toml`의 `computer_use`를 꺼 두면 Record & Replay도 막힌다.
녹화 자체에도 요령이 필요하다. 시연은 짧고 완결되게 하고, 민감한 정보는 화면에 띄우지 않으며, 녹화가 끝난 뒤에는 네이밍 규칙이나 기본값, 분기 지점 같은 숨은 선호를 따로 명확히 해 줘야 한다. 결국 "잘 보여주는 것"도 하나의 기술이라는 뜻이다.
그래서 써야 하나
내 결론부터 말하면, 반복 작업이 많고 macOS를 쓰는 사람이라면 한 번 만들어 둘 가치가 있다. 특히 매주 똑같이 반복하는 정산이나 보고서 추출처럼 절차가 고정된 일이 그렇다. 반대로 매번 판단이 달라지는 작업이라면 굳이 스킬로 굳힐 이유가 없다. 그런 일은 그때그때 지시하는 게 낫다.
직접 녹화해 봤다. 블로그 글을 발행하는 워크플로, 그러니까 준비한 초안을 네이버 블로그 편집기에 붙여넣고 제목과 본문을 확인한 뒤 카테고리와 공개 설정을 점검하는 과정을 한 번 시연했다. 그러자 Codex가 그 절차를 재사용 스킬로 정리해 주고 검증까지 통과시켰다. 인상 깊었던 건 두 가지다. 하나는 녹화 중 화면에 떴던 실제 글 본문이나 개인 정보를 스킬에 담지 않았다는 점이다. 다른 하나는 글 삭제처럼 되돌릴 수 없는 동작은 내가 명시적으로 요청할 때만 하도록 안전 경계를 알아서 넣어 줬다는 점이다. 시연만 했는데 위험한 행동에 가드를 친 셈이다.
다만 한계도 같이 봤다. 편집기 종류에 따라 화면 조작을 매끄럽게 따라가지 못하는 경우가 있었다. 화면을 관찰해 동작하는 방식이라 편집기 UI가 까다로우면 시연 한 번만으로 깔끔한 스킬이 나오지 않을 수 있다. 결국 어떤 작업을 어떤 환경에서 시연하느냐가 결과 품질을 좌우한다.
사실 비슷한 발상을 직접 돌려 본 적이 있다. 매일 쌓이는 작업 기록을 밤에 AI가 복기해서 반복 패턴을 스킬로 정리하게 만드는 자가 개선 루프를 굴려 봤는데, 가장 어려운 부분이 "무엇을 스킬로 굳힐지" 고르는 일이었다. Record & Replay는 그 선택을 사람이 시연으로 직접 해 주니, 결과물이 더 깨끗할 가능성이 있다. 사후 로그를 긁어 추측하는 것보다, 사전에 한 번 보여주는 쪽이 군더더기가 적다.
다만 지역 제한과 macOS 전용이라는 벽이 있어서 당장 모두가 쓸 수 있는 기능은 아니다. 조건이 맞는다면 자주 반복하는 작업 하나를 골라 시험 삼아 녹화해 보고, 두 번째 실행부터 얼마나 손이 덜 가는지로 판단하면 된다.
자주 묻는 질문
Record & Replay는 단순 매크로 녹화와 뭐가 다른가요?
매크로는 클릭 좌표와 키 입력을 그대로 재현한다. Record & Replay는 화면 내용과 동작을 관찰해 의도와 절차를 추상화한 스킬을 만든다. 그래서 입력 값이 바뀌어도 같은 절차를 적용할 수 있다.
어디서나 쓸 수 있나요?
아니다. macOS 전용이며, 유럽경제지역과 영국, 스위스에서는 초기에 사용할 수 없다. Computer Use가 켜져 있어야 하고, 조직 정책으로 막혀 있으면 쓸 수 없다.
스킬을 팀과 공유하려면요?
공식 문서는 팀 배포나 여러 스킬 묶음, 앱 통합이 필요하면 Record & Replay보다 독립 플러그인을 만드는 쪽을 권한다. Record & Replay는 개인의 반복 작업을 빠르게 스킬화하는 용도에 가깝다.
민감한 정보가 녹화될까 걱정됩니다.
녹화 중 화면에 뜬 내용을 관찰하므로, 시연할 때 민감 정보는 띄우지 않는 게 원칙이다. 짧고 완결된 시연을 권장한다.
정리
Record & Replay는 "설명하지 말고 보여줘"라는 한 문장으로 요약된다. 프롬프트로 풀어 쓰기 애매한 반복 작업을 한 번 시연하면 재사용 스킬이 되고, 다음부터는 변수만 바꿔 부른다. macOS와 지역, Computer Use라는 조건이 붙지만, 조건이 맞는 반복 작업이 있다면 두 번째 실행부터 체감이 온다. AI에게 일을 가르치는 방식이 글에서 시연으로 넘어가는 흐름을, 이 기능이 잘 보여 준다.
댓글
댓글 쓰기