Files
MateuusandClaude Opus 5.5 b11090ffa3 Skill cenaforge 1.54.0: Clipador (revisão × final, dublagem, falantes, expressões, Equipe de IA)
Dois arquivos novos em references/ (clipper-video.md, clipper-ai-team.md), banco em v17,
seção de expressões, gotchas 180–185 e ponteiros em panel/publishing/ai/tools.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-18 04:53:34 -03:00

8.2 KiB
Raw Permalink Blame History

Clipador — vídeo de revisão × final, dublagem e falantes (18/11/2026)

Fontes do contrato (leia antes de mexer, não duplique aqui): doc/clipador/REVISAO.md, DUBLAGEM.md, FALANTES.md. Visão geral do serviço: clipper.md. Só vale depois de reiniciar o Clipador (gotchas, item 144).

Revisão × final (doc/clipador/REVISAO.md, migração v14)

Regra do dono: o vídeo que a equipe aprova tem camadas só de desenvolvimento; ao aprovar, o Clipador renderiza de novo sem elas e só esse vai para as redes.

fila de render ─► clip-<id>.mp4        REVISÃO (dev=True)  ─► Aprovar ─► clip-<id>-final.mp4 (+ -final.jpg, -final-cover.jpg)  (dev=False)
                  review_dev_json = [] ? ─► o de revisão JÁ É o final (sem render novo; final.reused = true)
  • Camadas dev (grupo dev da configuração do corte, layout.py): translation (português embaixo da legenda) e dub (dublagem). layout.dev_flags(cfg, dev=False) desliga todas. caption.translation é legado: conta como dev.translation.
  • Render da fila = worker._render_clip → editor_api.render_clip_edit(..., dev=True); grava clips.review_dev_json (camadas que entraram de fato, editor_api.review_layers). Final: Engine.render_pending (finais primeiro, até 3 por volta), mesmo projeto de edição, dev=False, não grava review_dev_json.
  • Banco v14: clips.review_dev_json ([] = nenhuma; NULL = desconhecido), final_status (pending|rendering|ready|error; NULL = sem final), final_file/thumb/cover/error/at. Falha no final = error + final_error; o corte segue aprovado e nada é publicado. Serviço caído no meio: rendering volta a pending na subida.
  • O final some (drop_final) ao: desfazer aprovação/rejeitar; mudar startS/endS de aprovado; POST /export, /render, /rejudge; qualquer render de revisão novo. Desaprovar durante o render do final descarta o resultado. clip_delete apaga clip-<id>-* e recusa enquanto o final renderiza.
  • API: cada corte traz review: {devLayers}, final: {status,file,thumb,cover,error,at,reused} | null e publishFile (= final.file se approved|published com final ready; senão null). file/thumb continuam os de revisão. POST /v1/clips/{id}/final (re)gera ("Tentar de novo"; 409 se não aprovado). Rota na regex ALLOWED e em METHODS (panel/src/lib/clipper.ts).
  • Publicação (painel): clipPublishFile(clip) em panel/src/lib/publishing-rules.ts devolve publishFile ou o motivo de esperar; nunca file quando o Clipador manda o campo (Clipador antigo, sem publishFile, segue com file). sendDue (publishing.ts) relê o corte (clipFinalForJob): sem final pronto o job espera ("Esperando o vídeo final…"); com final, troca file (e a capa) e envia. Capa: a do final primeiro. Regras gerais: publishing.md.
  • prune (CLIPPER_KEEP_HOURS) guarda o trecho de quem ainda vai precisar do final (aprovado com final pendente/erro; pronto com camada de teste ou desconhecida). Corte sem camada de teste não segura blocos.
  • Painel: etiqueta revisão · teste / gerando final / final / final com erro na lista; modal com player Final / Revisão, "Tentar de novo" e "Gerar vídeo final"; aviso no diálogo Publicar. Teste: clipper/tests/test_final_render.py, publishing-rules.test.ts, publishing-db.test.ts.
  • Sem tradução (fonte em português) não há dublagem nem tradução: o de revisão já é o final.

Dublagem em português (dub.py, doc/clipador/DUBLAGEM.md)

Para fonte em inglês, só no vídeo de revisão, para a equipe entender o contexto. Sem sincronia labial (pedido do dono).

Chave (dev.*) Padrão O quê
dub false liga a dublagem no vídeo de revisão (aba Legenda → "Dublagem em português (teste)")
dubVoice pt-br-antonio voz do streamer (Edge, online)
dubVoiceOther kokoro-pm-alex voz das falas speaker: "other…" (Kokoro, offline)
dubDuck 0.25 volume do áudio original enquanto a dublagem toca (0–1)
  • Só vozes TTS prontas; nunca clonar a voz do streamer (terceiro sem consentimento); o painel não lista clonadas.
  • Frases de clips.translation_json → tempo de saída → POST /v1/synthesize do serviço de voz (format: "wav", speed: 1.05; voz que falha cai em pt-br-faber). Cache data/clipper/dub/ por (voz, velocidade, texto), −16 LUFS, 48 kHz mono, 30 dias sem uso apaga. Encaixe fit: fala em velocidade natural, pode escorrer até 1,5 s sobre a próxima frase (sem acumular); só então acelera até 1,2× e, se ainda não couber, corta com fade. Original abaixa para dubDuck (rampa 0,15 s) só onde há dublagem; dublagem 6 dB acima do volume médio do corte (−20…+3 dB).
  • Prévia do editor e render da fila usam o mesmo caminho (dub.for_engine). Serviço de voz fora = sai sem dublagem.
  • Medido (corte 259 do tfue, 54,5 s, 25 frases, NVENC, informado em DUBLAGEM.md): sem dublagem 5,8 s; 1ª vez +29 a +41 s (~1,6 s/frase, 3 em paralelo; 6 não ajudam); cache pronto +0,3 s; prévia de 5 s com cache 1,2 s. Conversa densa: o português fica bem mais longo (9 das 25 falas terminaram cortadas com fade). Teste: test_dub.py (TTS falso).

Quem fala (speakers.py, voiceprint.py, doc/clipador/FALANTES.md, migração v15)

O áudio da live é um canal só: streamer, colegas no Discord e voz do jogo misturados. As outras vozes NÃO estão na câmera; a webcam só ajuda a confirmar qual voz é o streamer.

  • Impressão de voz: WeSpeaker ResNet34-LM (models.lock.json id wespeaker_r34, pesos CC-BY-4.0, atribuição "WeSpeaker, wenet-e2e", 26,5 MB, sha256 no lock) no onnxruntime (sem PyTorch; fbank reimplementado em numpy). Nada de pyannote/SpeechBrain/NeMo/Resemblyzer (pedem PyTorch). 3D-Speaker CAM++ ficou fora: licença dos pesos não conferida.
  • Etapas: speakers.index_block (logo após o Whisper, 0,19 s de CPU por bloco de 30 s) → face.MouthMeter (YuNet, boca na webcam, +0,5 s por bloco) → speakers.build_model sob demanda (0,05 s em 72 min; refeito na leitura, o rótulo melhora sozinho com a live). Tabela voice_chunks (session_id, idx, data_json, updated_at) = migração v15 (~0,6 MB/h).
  • Regras: trechos ≤ 3 s, fecham em . ? !; voz = grupo com ≥ 15 s de fala (cosseno ≥ 0,5). Streamer = a voz que bate com a boca (t de Welch ≥ 3) e/ou a mais forte (≥ 3 dB acima da 2ª). Discordam ou nenhuma decide → ninguém vira "outro" (tudo do streamer, como antes). Trecho só vira otherN com folga (cosseno ≥ 0,30 e ≥ 0,10 acima do streamer).
  • Dados: scoring.Word.speaker (""/"streamer" ou "other1"…); segments.words_json aceita o 4º elemento; o projeto do editor ganha sp por palavra (projeto antigo sem sp sai igual); translation_json por linha tem speaker e frases nunca misturam falantes (tradução antiga sem speaker é refeita). GET /v1/sessions/{id}/speakers mostra as vozes e o porquê. Opção speakers (intel.opts, padrão ligada) desliga tudo.
  • Legenda em duas linhas: streamer na posição normal; outra pessoa logo abaixo (caption.otherColor #5CE1FF, caption.otherSize vazio = 85 % de size); no horizontal a linha do streamer sobe. Estilos CaptionOther/KaraokeOther só entram no ASS quando há outra pessoa: corte só com o streamer sai byte a byte igual (teste dourado do vertical). Editor: botão Outra pessoa / É o streamer corrige palavras selecionadas.
  • Juízes: judge._transcript marca [Tfue]/[other1] e manda "Never attribute to Tfue what someone else said".
  • Medido (sessão 15, tfue, 144 blocos, só leitura; em FALANTES.md): 3 vozes; volume do streamer +7,5 dB sobre os colegas; boca sozinha não resolve (webcam de perfil, AUC 0,55–0,64), quem decide é o volume; estabilidade 84 % aos 5 min, 98 % aos 10, 99 % aos 40. Conferência visual às cegas fraca (rosto de 45 px). Sem gabarito de áudio.
  • Limites: troca de falante sem pausa nem pontuação fica com um rótulo; primeiros minutos (< 15 s de fala por voz) sem atribuição; vozes de NPC também viram "outra pessoa"; modelo indisponível = blocos sem impressão (não refeitos).