Files
MateuusandClaude Opus 5.5 7a428ee5da Clipador: dublagem em português por TTS no vídeo de revisão (dev.dub)
- app/dub.py: frases traduzidas → uma fala TTS por frase no serviço de voz
  (POST /v1/synthesize, WAV), cache em disco por (voz, velocidade, texto),
  encaixe sem sincronia labial (velocidade natural, escorre até 1,5 s sem
  acumular atraso, acelera no máximo 1,2× e corta com fade só se preciso,
  nunca duas falas juntas), frase partida no meio vira uma fala só, voz
  reserva offline e faixa única do trecho nivelada pelo volume do corte.
- editor_render.render_project: o áudio original abaixa (dubDuck, rampa
  de 0,15 s) só onde há dublagem; nada muda com dev=False. Devolve resumo.
- layout: dev.dubVoice, dev.dubVoiceOther (speaker "other") e dev.dubDuck.
- editor_api: prévia e render da fila passam o dublador; translation_for
  também traduz quando só a dublagem está ligada.
- Painel: switch "Dublagem em português (teste)", vozes TTS prontas (sem
  clone) e volume do original.
- doc/clipador/DUBLAGEM.md e tests/test_dub.py (TTS falso).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-18 03:45:14 -03:00

3.3 KiB
Raw Permalink Blame History

Clipador — dublagem em português (só no vídeo de revisão)

Pedido do dono (18/11/2026), para fontes em inglês: "quando ele estiver falando, a gente dubla em português. Baixa o áudio dele, deixa um pouco baixo para escutar o som do carro, do ambiente do jogo [...] Depois, quando aprovar, fica o original." Não é dublagem de filme: serve para a equipe entender o contexto. Sem sincronia labial.

Como liga

Configuração do corte → aba Legenda → "Dublagem em português (teste)" (grupo dev, padrão desligado):

Chave Padrão O quê
dev.dub false liga a dublagem no vídeo de revisão
dev.dubVoice pt-br-antonio voz do streamer (Edge, masculina, online)
dev.dubVoiceOther kokoro-pm-alex voz das falas com speaker: "other" (Kokoro, offline)
dev.dubDuck 0.25 volume do áudio original enquanto a dublagem toca (0–1)

Com dev=False (vídeo final, depois de aprovar) nada disto entra (layout.dev_flags). Só vozes TTS prontas: nunca clonar a voz do streamer (terceiro sem consentimento); o painel nem lista vozes clonadas.

Como funciona (clipper/app/dub.py)

  1. Frases de clips.translation_json ({s, e, text, pt, speaker?}, tempo da sessão) → tempo de saída (editor.to_output; frase dentro de trecho removido some). Frase partida no meio ("…deve dar" + "tudo certo.") do mesmo falante vira uma fala só.
  2. Uma fala por frase no serviço de voz: POST /v1/synthesize (format: "wav", speed: 1.05). Cache em data/clipper/dub/ por (voz, velocidade, texto), já sem silêncio nas pontas, −16 LUFS e 48 kHz mono; apagado o que fica 30 dias sem uso. Voz que falha → pt-br-faber (Piper, offline).
  3. Encaixe (fit): começa no início da frase original, em velocidade natural, e pode escorrer até 1,5 s depois do começo da próxima frase (que espera). O atraso é contado de cada frase original: não acumula. Só se nem assim couber acelera até 1,2× e, se ainda não couber, corta com fade. Nunca duas falas juntas (80 ms entre elas).
  4. Uma faixa WAV do trecho; no editor_render.render_project o original abaixa para dubDuck com rampa de 0,15 s só onde há dublagem (vãos < 0,6 s ficam baixos, sem "bombear"). Fora das falas o áudio fica igual.
  5. Nível: a dublagem fica 6 dB acima do volume médio do próprio corte (volumedetect, ~0,1 s), entre −20 e +3 dB.

A prévia do editor (preview-render) e o render da fila passam pelo mesmo caminho (dub.for_engine(engine)); a prévia só sintetiza as frases que tocam nela. Serviço de voz fora do ar → o vídeo sai sem dublagem (aviso no log).

Custo medido (18/11/2026, corte 259 do tfue, 54,5 s, 25 frases, NVENC)

Render Tempo
sem dublagem 5,8 s
com dublagem, 1ª vez (síntese) +29 a +41 s (~1,6 s por frase; 3 em paralelo; 6 não ajudam)
com dublagem, cache pronto +0,3 s
prévia de 5 s, cache pronto 1,2 s

Conversa densa: o português sai bem mais longo que o inglês (frase de 4 s vira 6–7 s); no corte 259 9 das 25 falas terminam cortadas com fade (4 s perdidos ao todo; aceleração média 1,08×). Áudio: fora das falas, idêntico ao original (−47,7 dB nos dois); nas falas, a dublagem fica no nível do streamer (−29 dB contra −26/−34 dB do original).

Testes: clipper/tests/test_dub.py (TTS falso).