조용하던 야간 도시 항공샷 위로 불꽃놀이가 터집니다. 거리의 불빛과 카메라 움직임은 원본 그대로입니다. 위 영상의 왼쪽이 원본, 오른쪽이 합성 후입니다. 클로드 영상 편집을 검색하는 분들이 궁금한 건 결국 이겁니다. "이런 작업을 클로드한테 말로 시킬 수 있나?"
답은 조건부로 "네"입니다. 클로드가 영상을 편집하려면 클로드 자체보다 클로드가 손댈 수 있는 편집 환경이 먼저 필요합니다. 이 글은 그 조건이 뭔지, 실제로 어떤 순서로 쓰는지, 아직 사람이 해야 하는 부분은 어디인지 정리합니다.
채팅창 클로드로는 왜 안 됐나
클로드에게 "이 영상 컷편집해줘"라고 하면 보통 FFmpeg 명령어나 프리미어 사용법을 알려 줍니다. 결국 실행은 내 몫입니다. 이유는 세 가지입니다.
- 영상을 볼 수 없다. 3번 컷에 누가 나오는지 모르고 자르면 리액션 컷을 날려 버립니다.
- 타임라인이 없다. 텍스트 답변은 편집 결과가 아닙니다. 클립을 놓고, 자르고, 레이어를 쌓을 프로젝트 파일이 있어야 합니다.
- 장면을 만들 수 없다. 배경 교체나 합성은 영상 생성 모델이 해야 하는데, 채팅창에서는 모델을 호출하고 결과를 다시 타임라인에 넣는 흐름이 없습니다.
요즘 "클로드 영상 편집 스킬", "클로드 영상 편집 자동화"로 찾는 방법들은 대부분 이 셋 중 하나를 메우는 시도입니다. 스크립트를 짜서 FFmpeg를 돌리거나, 편집 프로그램의 스크립트 기능에 MCP 서버를 붙이는 식입니다. 방향은 맞지만 셋을 한 번에 갖추기는 번거롭습니다.
어떤 도구를 쓰든 통하는 작업 순서
1. 소스부터 정리하기
클로드에게 넘기기 전에 쓸 소스만 한 폴더에 모으고 파일명을 장면 순서대로 맞춰 두면, 에이전트가 프로젝트를 읽고 계획을 세우는 정확도가 확실히 올라갑니다.
2. 한 번에 한 종류의 작업만 시키기
"컷편집하고 자막 넣고 배경 바꿔서 내보내줘"를 한 문장에 넣을 수는 있지만, 처음에는 컷편집, 자막, VFX를 따로 시키고 단계마다 결과를 확인하는 편이 덜 꼬입니다.
3. 바꿀 것과 남길 것을 같이 말하기
VFX 지시에서 가장 중요한 습관입니다. "배경을 바꿔줘"보다 "인물, 동작, 카메라 무빙은 그대로 두고 배경만 바꿔줘"가 결과가 훨씬 안정적입니다. 남길 것을 명시하지 않으면 모델이 장면 전체를 다시 그려 버리기 쉽습니다.
4. 생성 전에 검토 단계를 두기
AI 생성은 비용이 드는 작업입니다. 에이전트가 생성 버튼을 누르기 전에 계획을 보여 주게 설정해 두면 예산이 새지 않습니다.
5. 마무리는 익숙한 툴에서
색보정과 사운드 믹싱까지 에이전트에게 맡길 필요는 없습니다. 컷과 AI 장면까지만 만들고 프리미어나 다빈치로 넘기는 게 현실적인 분업입니다.
Shoty에서 클로드 코드로 편집하는 방식
Shoty는 Mac과 Windows용 데스크톱 영상 편집기이고, 에이전트 채팅이 들어 있습니다. 모델 선택에서 클로드를 고르면 이렇게 동작합니다.
- Shoty가 공식
claudeCLI를 내 컴퓨터에서 그대로 실행합니다. 로그인은 내 클로드 계정이고, Shoty는 토큰을 보지 않습니다. - 대화할 때마다 Shoty가 로컬호스트 MCP 서버를 열어 편집 도구를 연결합니다. 프레임 보기, 타임라인 읽기·수정, 장면 생성, 내보내기 같은 도구입니다.
- 클로드가 도구를 호출할 때마다 채팅에 기록이 남고, 변경 사항은 지금 보고 있는 타임라인에 바로 반영됩니다.
타임라인은 .shoty라는 텍스트 형식이라 클로드가 픽셀을 추측하는 대신 구조를 읽고 수정합니다. 실행 방식은 제안만, 미리보기 후 적용, 자동 중에서 고를 수 있고, 언제든 되돌릴 수 있습니다.
바로 붙여 넣어 쓸 수 있는 지시 예시입니다.
인터뷰 앞부분 2분에서 1초 넘게 말이 끊기는 구간을 모두 잘라줘. 컷 사이 룸톤은 유지하고, 리액션 컷은 건드리지 마.
4번 장면 도시 야경 위로 불꽃놀이를 합성해줘. 건물 불빛과 카메라 움직임은 원본 그대로 두고, 결과는 V2 트랙에 올려서 원본과 비교할 수 있게 해줘.
두 번째 지시처럼 결과를 원본 위 트랙에 올리게 하면, 마음에 안 들 때 지우기만 하면 됩니다. Seedance나 Kling 같은 여러 모델에 같은 지시를 보내 나란히 비교하게 할 수도 있습니다.
아직 사람이 해야 하는 부분
- 편집의 리듬. 끊긴 구간을 찾는 건 클로드가 빠르지만, 어느 컷에서 호흡을 줄지는 여전히 편집자가 정합니다. 타임라인은 언제든 손으로 고칠 수 있습니다.
- 생성 결과 승인. 합성 장면이 자연스러운지는 직접 봐야 합니다. 빛 번짐이나 경계가 어색한 프레임이 남을 수 있습니다.
- 긴 배치 작업. 여러 장면을 큐에 넣고 자리를 비워도 에이전트는 계속 작업하지만, 납품 전에는 결과를 한 번씩 확인하세요.
클로드 말고 다른 모델은?
ChatGPT(Codex CLI)와 Gemini도 같은 MCP 연결로 붙기 때문에 쓸 수 있는 도구가 똑같습니다. 한 모델이 막히면 모델만 바꿔서 같은 지시를 다시 보내면 됩니다.
Shoty 무료 편집기 다운로드 후 모델 선택에서 클로드를 연결하면 됩니다. 영상에서 물체를 지우는 과정이 궁금하다면 AI 물체 제거 가이드(영문)도 참고하세요.