A pessoa continua sentada no sofá, se movendo do mesmo jeito. Só o que está atrás muda: a parede lisa desaparece e no lugar aparece um terraço ao entardecer. A câmera não muda o movimento e a pessoa não foi redesenhada. É isso que trocar fundo de video IA bem feito parece, e é o que o vídeo acima mostra.
A maioria das buscas por trocar fundo de video IA cai num app pensado para foto, que quebra assim que a pessoa vira a cabeça, ou na ideia de que é preciso tela verde para funcionar. Nenhuma das duas coisas é verdade hoje, mas chegar num resultado estável pede mais do que um clique.
Por que um app de foto não resolve em video
Um trocador de fundo de foto só precisa cortar uma borda convincente, uma vez só. Em video essa borda precisa continuar certa enquanto a pessoa se move, e é aí que os apps rápidos quebram:
- A máscara precisa rastrear, não só cortar. Um corte de um quadro só não acompanha a pessoa virando a cabeça ou levantando o braço.
- O fundo novo precisa ficar fixo em relação à câmera. Se a câmera faz um movimento panorâmico e o fundo não acompanha, o resultado parece um adesivo colado em vez de um lugar real.
- As bordas onde a máscara quebra (cabelo, um movimento rápido, uma mão passando na frente) são exatamente onde um corte de um quadro só mostra a costura.
A tela verde resolve o problema de separar a pessoa controlando a cor na hora da gravação. Uma máscara rastreada resolve o mesmo problema sem precisar de tela verde, por isso funciona num video que você já gravou.
O fluxo que funciona
1. Marcar a pessoa, não o fundo
Desenha a máscara em volta da pessoa ou objeto que vai ficar, no quadro onde ela está mais nítida. É mais fácil rastrear um contorno limpo do que perseguir um fundo que muda atrás.
2. Rastrear o plano inteiro
Deixa a máscara seguir a pessoa enquanto ela se move, depois revisa o resultado em tamanho real. Os quadros para checar são as viradas de cabeça, uma mão passando na frente do corpo e qualquer momento em que a pessoa sai parcialmente de quadro.
3. Gerar o fundo novo de acordo com o movimento da câmera
O fundo novo precisa se mover como o original teria se movido: se a câmera dá um zoom ou faz um movimento panorâmico, o fundo novo precisa do mesmo movimento, não uma imagem fixa colada atrás da pessoa.
4. Igualar a luz
Um terraço ao entardecer atrás de alguém iluminado com luz de ambiente interno de dia chama atenção na hora. Vale checar se a direção e a cor da luz na pessoa fazem sentido contra o fundo novo antes de considerar o plano pronto.
5. Checar a borda a 100%
Halos e bordas borradas em volta do cabelo ou de um movimento rápido só aparecem em tamanho real, não numa pré-visualização pequena. Se alguns quadros ficarem errados, corrige a máscara só ali e roda de novo esse trecho.
Pedindo isso para um agente
No Shoty dá para seguir os passos acima na mão, ou pedir para o agente no chat.
Troca o fundo atrás da pessoa no sofá por um terraço ao entardecer. Rastreia ela no plano inteiro, acompanha o movimento panorâmico da câmera, e mantém a pessoa e o movimento dela exatamente iguais. Me mostra o resultado antes de substituir o original.
Com o modo de execução em revisão, o agente marca a pessoa, rastreia, gera o fundo novo e espera sua aprovação antes de substituir o clipe original.
O que ainda precisa de revisão manual
- Cabelo e movimentos rápidos na borda da máscara valem uma checagem mesmo depois que o rastreamento chegou longe.
- A luz combinar é uma decisão de critério. A ferramenta chega perto; se está bom o suficiente para publicar é você quem decide.
- Trocas grandes de fundo (outro horário do dia bem diferente, gente nova atrás) significam que mais do quadro foi inventado, então vale revisar com mais cuidado do que uma troca simples de parede.
Baixe o editor Shoty gratuito e teste uma troca de fundo com seu próprio video. Se a pessoa também precisa ser separada quadro a quadro primeiro, veja AI rotoscoping. O guia completo em inglês está em AI background replacement video.