위 영상은 복도를 걷는 사람이 다른 사람으로 바뀌는 장면입니다. 걷는 동작과 카메라 움직임, 복도 조명은 그대로입니다. "AI 영상 편집 프로그램"을 찾는 분들이 원하는 건 결국 이런 결과를 말로 시켜서 얻는 겁니다.
모바일에서 자막 넣고 컷편집하는 앱은 이미 많이 써 보셨을 겁니다. 그런데 "배경을 바꿔줘", "인물을 교체해줘" 같은 요청까지 받아서 실제로 처리하는 프로그램은 따로 구분해야 합니다.
"AI 편집"이라고 써 있어도 다 같지 않은 이유
채팅창에 영상 얘기를 꺼내면 어떤 AI든 그럴듯한 답을 줍니다. 자막 넣는 법, 배경 바꾸는 법을 설명해 줄 수는 있습니다. 문제는 그게 설명이지 편집이 아니라는 점입니다. AI가 내 영상을 직접 본 적도 없고, 프로젝트 파일을 만진 적도 없습니다.
진짜 편집이 되려면 세 가지가 같이 있어야 합니다.
- 영상을 직접 본다. 몇 번째 샷에 뭐가 나오는지 파일 이름만 보고 짐작하는 게 아니라, 프레임을 실제로 확인합니다.
- 타임라인을 직접 수정한다. 클립을 자르고 옮기고 레이어를 쌓는 작업이 채팅 답변이 아니라 프로젝트 안에서 일어납니다.
- 장면을 생성하고 그 자리에 넣는다. 배경 교체나 인물 교체를 다른 모델에 맡기고, 결과를 받아서 타임라인의 원래 자리에 바로 넣습니다.
셋 중 하나만 빠져도 결국 "영상 지식이 있는 챗봇"입니다. 셋이 다 있어야 "배경 바꾸고 자막 넣어서 내보내줘"가 할 일 목록이 아니라 끝난 작업이 됩니다.
실제로 테스트해 보는 법
1. 화면을 보고 있는지 확인하기
영상 속 특이한 디테일, 소품이나 조명 변화를 하나 골라서 물어보세요. 설명 없이 답을 못 하면 그 AI는 영상을 못 보고 있는 겁니다.
2. 프로젝트가 실제로 바뀌는지 확인하기
"앞부분 10초 잘라줘" 같은 구체적인 요청을 하고, 채팅 답변이 자신 있어 보이는지가 아니라 프로젝트 파일이 실제로 바뀌었는지를 봅니다.
3. 생성한 장면을 직접 배치하는지 확인하기
다른 앱을 열어서 파일을 받고 내가 직접 타임라인에 끌어다 넣어야 한다면, 절반만 자동화된 겁니다. 받은 결과를 바로 그 자리에 넣어 주는 게 진짜 차이입니다.
4. 되돌리기와 실행 범위를 설정할 수 있는지 확인하기
프로젝트를 건드리는 AI라면 언제든 되돌릴 수 있어야 하고, 제안만 할지, 미리 보여주고 승인받을지, 혼자 처리할지를 고를 수 있어야 합니다.
5. 다른 프로그램으로 넘길 수 있는지 확인하기
EDL이나 FCPXML, OpenTimelineIO로 못 내보내면 결과물이 그 앱 안에만 묶입니다. 색보정이나 믹싱은 결국 프리미어, 리졸브, 파이널 컷처럼 원래 쓰던 곳에서 끝내야 할 때가 많습니다.
Shoty에서 클로드로 해 보면
Shoty는 Mac과 Windows용 무료 데스크톱 편집기이고, 에이전트 채팅이 들어 있습니다. 모델 선택에서 클로드를 고르면 Shoty가 공식 클로드 코드 CLI를 내 계정으로 실행하고, 대화할 때마다 로컬 MCP 서버를 열어 위 기능들을 연결해 줍니다.
스튜디오 샷에 나오는 사람을 참고 사진 속 인물로 바꿔줘. 자세, 조명, 카메라 프레임은 그대로 두고, 원본을 교체하기 전에 결과부터 보여줘.
실행 모드를 검토로 설정해 두면, 교체 결과를 먼저 보여주고 승인을 기다립니다. 보고, 수정하고, 생성하는 과정 전체에서 최종 승인은 항상 내가 합니다.
아직 사람이 정해야 하는 부분
- 어떤 결과가 맞는지. 같은 요청으로 여러 버전을 만들어도, 어느 쪽이 더 나은지는 여전히 사람이 고릅니다.
- 크레딧이 드는 작업. 컷편집, 색보정, 내보내기는 무료입니다. 인물 교체처럼 생성이 들어가는 작업만 실행 전에 검토하도록 설정해 두면 예산이 새지 않습니다.
- 오래 걸리는 배치 작업. 자리를 비워도 여러 샷을 계속 처리할 수 있지만, 납품 전에는 결과를 한 번씩 확인하는 게 안전합니다.
Shoty 무료 편집기 다운로드 후 모델 선택에서 클로드를 연결해 위 체크리스트를 직접 내 영상에 써 보세요. 클로드로 편집하는 방식이 더 궁금하다면 클로드 영상 편집 가이드도 참고하세요.