소파에 앉은 사람은 그대로, 앉은 자세도 그대로입니다. 바뀌는 건 뒤쪽뿐입니다. 평범한 벽이 사라지고 해 질 녘 옥상이 그 자리를 채웁니다. 카메라 무빙도 흔들리지 않고, 사람도 다시 그려지지 않았습니다. 위 영상이 그 결과이고, 영상 배경 바꾸기를 AI로 했을 때 나와야 하는 그림이 바로 이겁니다.
이 검색으로 들어오는 분들은 보통 둘 중 하나입니다. 폰 갤러리나 캡컷의 배경 효과를 써봤는데 고개를 돌리는 순간 가장자리가 흔들리는 걸 봤거나, 깨끗한 배경 교체에는 촬영장에 그린스크린이 꼭 있어야 한다고 생각하는 경우입니다. 둘 다 더 이상 꼭 그렇지는 않습니다. 다만 결과가 안정적으로 나오려면 한 번 누르는 것보다는 조금 더 손이 갑니다.
사진용 배경 지우기로는 부족한 이유
사진 한 장짜리 배경 지우기는 경계선 한 번만 깔끔하게 따면 끝입니다. 영상은 사람이 움직이는 동안에도 그 경계가 계속 맞아야 합니다. 폰 갤러리나 캡컷의 빠른 배경 효과가 영상에서 흔들리는 이유는 보통 이렇습니다.
- 마스크가 한 번만 잡히고 끝난다. 첫 프레임에서 딴 윤곽선이 고개를 돌리거나 팔을 들어도 따라오지 않습니다.
- 새 배경이 카메라를 따라가지 않는다. 카메라가 패닝하는데 배경은 가만히 있으면, 합성이 아니라 스티커를 붙인 것처럼 보입니다.
- 마스크가 깨지는 지점(머리카락, 빠른 움직임, 손이 앞을 지나가는 순간)이 바로 한 번짜리 컷아웃의 한계가 드러나는 곳입니다.
그린스크린은 촬영할 때 색을 통제해서 깨끗한 경계를 뽑는 방식입니다. 추적되는 마스크는 같은 문제를 그린스크린 없이 풀기 때문에, 이미 찍어둔 영상에도 쓸 수 있습니다.
실제로 안정적인 순서
1. 배경이 아니라 사람을 마스크한다
가장 또렷하게 보이는 프레임에서 사람(또는 남길 대상)의 윤곽을 잡습니다. 계속 바뀌는 배경을 쫓는 것보다 깨끗한 윤곽선 하나를 추적하는 게 더 안정적입니다.
2. 구간 전체에서 추적한다
마스크가 사람의 움직임을 따라가게 한 다음, 원본 크기로 전체를 훑어봅니다. 고개를 돌리는 구간, 손이 몸 앞을 지나가는 구간, 화면을 반쯤 벗어나는 구간을 특히 확인합니다.
3. 카메라 무빙에 맞춰 새 배경을 생성한다
카메라가 밀고 들어가거나 패닝한다면 새 배경도 똑같이 움직여야 합니다. 그 자리에 가만히 떠 있는 배경은 합성이라는 걸 바로 드러냅니다.
4. 빛 방향을 맞춘다
낮 조명으로 찍힌 사람 뒤에 해 질 녘 옥상이 붙으면 바로 눈에 걸립니다. 사람에게 떨어지는 빛의 방향과 색이 새 배경과 말이 되는지 확인하고 넘어가야 합니다.
5. 100% 크기로 가장자리를 확인한다
헤일로나 흐릿한 테두리는 축소된 미리보기에서는 안 보입니다. 원본 크기로 재생하면서 확인하고, 몇 프레임만 어긋났다면 그 구간의 마스크만 고쳐서 다시 돌립니다.
에이전트에게 맡기기
Shoty에서는 위 과정을 직접 할 수도 있고, 채팅으로 에이전트에게 시킬 수도 있습니다.
소파에 앉은 사람 뒤 배경을 해 질 녘 옥상으로 바꿔줘. 전체 구간에서 추적하고, 카메라 패닝에 맞춰 배경도 같이 움직이게 해줘. 사람과 움직임은 그대로 두고, 원본을 바꾸기 전에 결과부터 보여줘.
실행 모드를 검토 단계로 설정해 두면 에이전트가 마스킹과 배경 생성을 끝낸 뒤 승인 전에는 원본을 바꾸지 않습니다.
아직 사람이 봐야 하는 부분
- 머리카락이나 빠른 움직임 쪽 경계는 추적이 대부분 맞춰줘도 한 번은 직접 확인하는 게 좋습니다.
- 빛 맞추기는 결국 판단이 필요한 부분입니다. 도구가 비슷하게는 맞춰주지만, 충분히 자연스러운지는 직접 정해야 합니다.
- 배경을 크게 바꾸는 경우(완전히 다른 시간대, 뒤에 많은 사람이 추가되는 경우)는 화면에서 새로 만들어야 할 부분이 많아지므로 더 꼼꼼히 봐야 합니다.
Shoty 무료 에디터 다운로드 후 직접 테스트해 보세요. 사람을 먼저 구간별로 떼어내야 한다면 AI 로토스코핑(영문)도 참고하세요. 더 자세한 영문 가이드는 ai background replacement video에 있습니다.