- app/dub.py: frases traduzidas → uma fala TTS por frase no serviço de voz (POST /v1/synthesize, WAV), cache em disco por (voz, velocidade, texto), encaixe sem sincronia labial (velocidade natural, escorre até 1,5 s sem acumular atraso, acelera no máximo 1,2× e corta com fade só se preciso, nunca duas falas juntas), frase partida no meio vira uma fala só, voz reserva offline e faixa única do trecho nivelada pelo volume do corte. - editor_render.render_project: o áudio original abaixa (dubDuck, rampa de 0,15 s) só onde há dublagem; nada muda com dev=False. Devolve resumo. - layout: dev.dubVoice, dev.dubVoiceOther (speaker "other") e dev.dubDuck. - editor_api: prévia e render da fila passam o dublador; translation_for também traduz quando só a dublagem está ligada. - Painel: switch "Dublagem em português (teste)", vozes TTS prontas (sem clone) e volume do original. - doc/clipador/DUBLAGEM.md e tests/test_dub.py (TTS falso). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
53 lines
3.3 KiB
Markdown
53 lines
3.3 KiB
Markdown
# Clipador — dublagem em português (só no vídeo de revisão)
|
||
|
||
Pedido do dono (18/11/2026), para fontes em inglês: "quando ele estiver falando, a gente dubla em português. Baixa o
|
||
áudio dele, deixa um pouco baixo para escutar o som do carro, do ambiente do jogo [...] Depois, quando aprovar, fica o
|
||
original." Não é dublagem de filme: serve para a equipe entender o contexto. **Sem sincronia labial.**
|
||
|
||
## Como liga
|
||
|
||
Configuração do corte → aba Legenda → **"Dublagem em português (teste)"** (grupo `dev`, padrão desligado):
|
||
|
||
| Chave | Padrão | O quê |
|
||
| --- | --- | --- |
|
||
| `dev.dub` | `false` | liga a dublagem no vídeo de revisão |
|
||
| `dev.dubVoice` | `pt-br-antonio` | voz do streamer (Edge, masculina, online) |
|
||
| `dev.dubVoiceOther` | `kokoro-pm-alex` | voz das falas com `speaker: "other"` (Kokoro, offline) |
|
||
| `dev.dubDuck` | `0.25` | volume do áudio original enquanto a dublagem toca (0–1) |
|
||
|
||
Com `dev=False` (vídeo final, depois de aprovar) nada disto entra (`layout.dev_flags`). Só **vozes TTS prontas**: nunca
|
||
clonar a voz do streamer (terceiro sem consentimento); o painel nem lista vozes clonadas.
|
||
|
||
## Como funciona (`clipper/app/dub.py`)
|
||
|
||
1. Frases de `clips.translation_json` (`{s, e, text, pt, speaker?}`, tempo da sessão) → tempo de saída
|
||
(`editor.to_output`; frase dentro de trecho removido some). Frase partida no meio ("…deve dar" + "tudo certo.") do
|
||
mesmo falante vira uma fala só.
|
||
2. Uma fala por frase no serviço de voz: `POST /v1/synthesize` (`format: "wav"`, `speed: 1.05`). Cache em
|
||
`data/clipper/dub/` por (voz, velocidade, texto), já sem silêncio nas pontas, −16 LUFS e 48 kHz mono; apagado
|
||
o que fica 30 dias sem uso. Voz que falha → `pt-br-faber` (Piper, offline).
|
||
3. Encaixe (`fit`): começa no início da frase original, **em velocidade natural**, e pode escorrer até 1,5 s depois do
|
||
começo da próxima frase (que espera). O atraso é contado de cada frase original: não acumula. Só se nem assim couber
|
||
acelera até 1,2× e, se ainda não couber, corta com fade. Nunca duas falas juntas (80 ms entre elas).
|
||
4. Uma faixa WAV do trecho; no `editor_render.render_project` o original abaixa para `dubDuck` com rampa de 0,15 s só
|
||
onde há dublagem (vãos < 0,6 s ficam baixos, sem "bombear"). Fora das falas o áudio fica igual.
|
||
5. Nível: a dublagem fica 6 dB acima do volume médio do próprio corte (`volumedetect`, ~0,1 s), entre −20 e +3 dB.
|
||
|
||
A prévia do editor (`preview-render`) e o render da fila passam pelo mesmo caminho (`dub.for_engine(engine)`); a prévia
|
||
só sintetiza as frases que tocam nela. Serviço de voz fora do ar → o vídeo sai sem dublagem (aviso no log).
|
||
|
||
## Custo medido (18/11/2026, corte 259 do tfue, 54,5 s, 25 frases, NVENC)
|
||
|
||
| Render | Tempo |
|
||
| --- | --- |
|
||
| sem dublagem | 5,8 s |
|
||
| com dublagem, 1ª vez (síntese) | +29 a +41 s (~1,6 s por frase; 3 em paralelo; 6 não ajudam) |
|
||
| com dublagem, cache pronto | +0,3 s |
|
||
| prévia de 5 s, cache pronto | 1,2 s |
|
||
|
||
Conversa densa: o português sai bem mais longo que o inglês (frase de 4 s vira 6–7 s); no corte 259 9 das 25 falas
|
||
terminam cortadas com fade (4 s perdidos ao todo; aceleração média 1,08×). Áudio: fora das falas, idêntico ao original (−47,7 dB nos dois);
|
||
nas falas, a dublagem fica no nível do streamer (−29 dB contra −26/−34 dB do original).
|
||
|
||
Testes: `clipper/tests/test_dub.py` (TTS falso).
|