Dois arquivos novos em references/ (clipper-video.md, clipper-ai-team.md), banco em v17, seção de expressões, gotchas 180–185 e ponteiros em panel/publishing/ai/tools. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
8.2 KiB
8.2 KiB
Clipador — vídeo de revisão × final, dublagem e falantes (18/11/2026)
Fontes do contrato (leia antes de mexer, não duplique aqui): doc/clipador/REVISAO.md, DUBLAGEM.md, FALANTES.md.
Visão geral do serviço: clipper.md. Só vale depois de reiniciar o Clipador (gotchas, item 144).
Revisão × final (doc/clipador/REVISAO.md, migração v14)
Regra do dono: o vídeo que a equipe aprova tem camadas só de desenvolvimento; ao aprovar, o Clipador renderiza de novo sem elas e só esse vai para as redes.
fila de render ─► clip-<id>.mp4 REVISÃO (dev=True) ─► Aprovar ─► clip-<id>-final.mp4 (+ -final.jpg, -final-cover.jpg) (dev=False)
review_dev_json = [] ? ─► o de revisão JÁ É o final (sem render novo; final.reused = true)
- Camadas
dev(grupodevda configuração do corte,layout.py):translation(português embaixo da legenda) edub(dublagem).layout.dev_flags(cfg, dev=False)desliga todas.caption.translationé legado: conta comodev.translation. - Render da fila =
worker._render_clip→editor_api.render_clip_edit(..., dev=True); gravaclips.review_dev_json(camadas que entraram de fato,editor_api.review_layers). Final:Engine.render_pending(finais primeiro, até 3 por volta), mesmo projeto de edição,dev=False, não gravareview_dev_json. - Banco v14:
clips.review_dev_json([]= nenhuma; NULL = desconhecido),final_status(pending|rendering|ready|error; NULL = sem final),final_file/thumb/cover/error/at. Falha no final =error+final_error; o corte segue aprovado e nada é publicado. Serviço caído no meio:renderingvolta apendingna subida. - O final some (
drop_final) ao: desfazer aprovação/rejeitar; mudarstartS/endSde aprovado;POST /export,/render,/rejudge; qualquer render de revisão novo. Desaprovar durante o render do final descarta o resultado.clip_deleteapagaclip-<id>-*e recusa enquanto o final renderiza. - API: cada corte traz
review: {devLayers},final: {status,file,thumb,cover,error,at,reused} | nullepublishFile(=final.fileseapproved|publishedcom finalready; senãonull).file/thumbcontinuam os de revisão.POST /v1/clips/{id}/final(re)gera ("Tentar de novo"; 409 se não aprovado). Rota na regexALLOWEDe emMETHODS(panel/src/lib/clipper.ts). - Publicação (painel):
clipPublishFile(clip)empanel/src/lib/publishing-rules.tsdevolvepublishFileou o motivo de esperar; nuncafilequando o Clipador manda o campo (Clipador antigo, sempublishFile, segue comfile).sendDue(publishing.ts) relê o corte (clipFinalForJob): sem final pronto o job espera ("Esperando o vídeo final…"); com final, trocafile(e a capa) e envia. Capa: a do final primeiro. Regras gerais: publishing.md. prune(CLIPPER_KEEP_HOURS) guarda o trecho de quem ainda vai precisar do final (aprovado com final pendente/erro; pronto com camada de teste ou desconhecida). Corte sem camada de teste não segura blocos.- Painel: etiqueta
revisão · teste/gerando final/final/final com errona lista; modal com player Final / Revisão, "Tentar de novo" e "Gerar vídeo final"; aviso no diálogo Publicar. Teste:clipper/tests/test_final_render.py,publishing-rules.test.ts,publishing-db.test.ts. - Sem tradução (fonte em português) não há dublagem nem tradução: o de revisão já é o final.
Dublagem em português (dub.py, doc/clipador/DUBLAGEM.md)
Para fonte em inglês, só no vídeo de revisão, para a equipe entender o contexto. Sem sincronia labial (pedido do dono).
Chave (dev.*) |
Padrão | O quê |
|---|---|---|
dub |
false |
liga a dublagem no vídeo de revisão (aba Legenda → "Dublagem em português (teste)") |
dubVoice |
pt-br-antonio |
voz do streamer (Edge, online) |
dubVoiceOther |
kokoro-pm-alex |
voz das falas speaker: "other…" (Kokoro, offline) |
dubDuck |
0.25 |
volume do áudio original enquanto a dublagem toca (0–1) |
- Só vozes TTS prontas; nunca clonar a voz do streamer (terceiro sem consentimento); o painel não lista clonadas.
- Frases de
clips.translation_json→ tempo de saída →POST /v1/synthesizedo serviço de voz (format: "wav",speed: 1.05; voz que falha cai empt-br-faber). Cachedata/clipper/dub/por (voz, velocidade, texto), −16 LUFS, 48 kHz mono, 30 dias sem uso apaga. Encaixefit: fala em velocidade natural, pode escorrer até 1,5 s sobre a próxima frase (sem acumular); só então acelera até 1,2× e, se ainda não couber, corta com fade. Original abaixa paradubDuck(rampa 0,15 s) só onde há dublagem; dublagem 6 dB acima do volume médio do corte (−20…+3 dB). - Prévia do editor e render da fila usam o mesmo caminho (
dub.for_engine). Serviço de voz fora = sai sem dublagem. - Medido (corte 259 do tfue, 54,5 s, 25 frases, NVENC, informado em
DUBLAGEM.md): sem dublagem 5,8 s; 1ª vez +29 a +41 s (~1,6 s/frase, 3 em paralelo; 6 não ajudam); cache pronto +0,3 s; prévia de 5 s com cache 1,2 s. Conversa densa: o português fica bem mais longo (9 das 25 falas terminaram cortadas com fade). Teste:test_dub.py(TTS falso).
Quem fala (speakers.py, voiceprint.py, doc/clipador/FALANTES.md, migração v15)
O áudio da live é um canal só: streamer, colegas no Discord e voz do jogo misturados. As outras vozes NÃO estão na câmera; a webcam só ajuda a confirmar qual voz é o streamer.
- Impressão de voz: WeSpeaker ResNet34-LM (
models.lock.jsonidwespeaker_r34, pesos CC-BY-4.0, atribuição "WeSpeaker, wenet-e2e", 26,5 MB, sha256 no lock) noonnxruntime(sem PyTorch; fbank reimplementado em numpy). Nada de pyannote/SpeechBrain/NeMo/Resemblyzer (pedem PyTorch). 3D-Speaker CAM++ ficou fora: licença dos pesos não conferida. - Etapas:
speakers.index_block(logo após o Whisper, 0,19 s de CPU por bloco de 30 s) →face.MouthMeter(YuNet, boca na webcam, +0,5 s por bloco) →speakers.build_modelsob demanda (0,05 s em 72 min; refeito na leitura, o rótulo melhora sozinho com a live). Tabelavoice_chunks (session_id, idx, data_json, updated_at)= migração v15 (~0,6 MB/h). - Regras: trechos ≤ 3 s, fecham em
. ? !; voz = grupo com ≥ 15 s de fala (cosseno ≥ 0,5). Streamer = a voz que bate com a boca (t de Welch ≥ 3) e/ou a mais forte (≥ 3 dB acima da 2ª). Discordam ou nenhuma decide → ninguém vira "outro" (tudo do streamer, como antes). Trecho só viraotherNcom folga (cosseno ≥ 0,30 e ≥ 0,10 acima do streamer). - Dados:
scoring.Word.speaker(""/"streamer"ou"other1"…);segments.words_jsonaceita o 4º elemento; o projeto do editor ganhasppor palavra (projeto antigo semspsai igual);translation_jsonpor linha temspeakere frases nunca misturam falantes (tradução antiga semspeakeré refeita).GET /v1/sessions/{id}/speakersmostra as vozes e o porquê. Opçãospeakers(intel.opts, padrão ligada) desliga tudo. - Legenda em duas linhas: streamer na posição normal; outra pessoa logo abaixo (
caption.otherColor#5CE1FF,caption.otherSizevazio = 85 % desize); no horizontal a linha do streamer sobe. EstilosCaptionOther/KaraokeOthersó entram no ASS quando há outra pessoa: corte só com o streamer sai byte a byte igual (teste dourado do vertical). Editor: botão Outra pessoa / É o streamer corrige palavras selecionadas. - Juízes:
judge._transcriptmarca[Tfue]/[other1]e manda "Never attribute to Tfue what someone else said". - Medido (sessão 15, tfue, 144 blocos, só leitura; em
FALANTES.md): 3 vozes; volume do streamer +7,5 dB sobre os colegas; boca sozinha não resolve (webcam de perfil, AUC 0,55–0,64), quem decide é o volume; estabilidade 84 % aos 5 min, 98 % aos 10, 99 % aos 40. Conferência visual às cegas fraca (rosto de 45 px). Sem gabarito de áudio. - Limites: troca de falante sem pausa nem pontuação fica com um rótulo; primeiros minutos (< 15 s de fala por voz) sem atribuição; vozes de NPC também viram "outra pessoa"; modelo indisponível = blocos sem impressão (não refeitos).