A fala de colegas no Discord e de outros jogadores saía na legenda como se fosse do streamer. Agora cada palavra tem falante: - voz: cada trecho de fala vira uma impressão de voz (WeSpeaker ResNet34-LM, ONNX, pesos CC-BY-4.0) na análise do bloco (~0,2 s de CPU por bloco); as vozes da sessão são agrupadas sob demanda (0,05 s) e a do streamer é a que mexe a boca na webcam (YuNet, nova série `mouth` no rastreio) ou a mais alta no áudio. Sem prova, tudo continua como do streamer. - dados: `scoring.Word.speaker`; `words_json` aceita o 4º elemento; tabela `voice_chunks` (CREATE TABLE IF NOT EXISTS, fora da lista de migrações). - legenda: streamer na posição normal e outra pessoa logo abaixo, em outra cor (`caption.otherColor`/`otherSize`); blocos nunca misturam falantes; os dois juntos = duas linhas; gancho desvia as duas; vertical e horizontal. - tradução com `speaker` por linha; juízes recebem a transcrição marcada. - painel: cor da outra pessoa na configuração, falante na transcrição do editor (com correção manual), prévia em duas linhas e "O que falam" no modal. - doc/clipador/FALANTES.md com abordagem, licenças e qualidade medida na sessão 15. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
11 KiB
Clipador — quem fala cada palavra (streamer × outra pessoa)
Pedido do dono (18/11/2026):
Está atribuindo ao streamer a fala de outro jogador. A gente vai separar: a legenda do streamer em cima e a de outra pessoa abaixo, com outra cor, como se fossem duas pessoas conversando.
O áudio da live é um canal só: microfone do streamer, colegas no Discord e outros jogadores no chat de voz do jogo saem misturados, e o Whisper devolve as palavras sem dizer de quem são. Na câmera só aparece o streamer: as outras vozes não estão no vídeo.
Como funciona
| Etapa | Onde | Quando | Custo medido |
|---|---|---|---|
| Trechos de fala → impressão de voz (256 números) + volume (dBFS) | speakers.index_block + voiceprint.py |
análise de cada bloco, logo depois do Whisper (thread da análise) | 0,19 s de CPU por bloco de 30 s (máx. 0,67 s) |
| Movimento da boca do streamer, quadro a quadro | face.MouthMeter (YuNet) |
rastreio do rosto de cada bloco (thread face), nos mesmos quadros já decodificados |
+0,5 s de CPU por bloco |
| Vozes da sessão, qual é o streamer, rótulo de cada trecho | speakers.build_model |
sob demanda (load_timeline, editor), em cache até chegar bloco novo |
0,05 s (1 061 trechos, 72 min); 0,07 s com 6 400 trechos (~7 h) |
Por que assim: a parte cara (rede de voz) roda uma vez por bloco, em segundo plano, junto com o áudio que a análise já decodificou; o agrupamento precisa da sessão inteira (as vozes só se separam com muitos trechos) e custa centésimos, então é refeito na leitura — e o rótulo melhora sozinho conforme a live avança, sem reescrever nada no banco.
- Trechos: palavras seguidas (vão ≤ 0,25 s), até 3 s, e fecha no fim de frase (
. ? !) — numa conversa a vez troca quase sempre ali, mesmo sem pausa. Trecho ≥ 0,5 s vira impressão de voz (com 0,1 s de folga de áudio). - Vozes: os trechos ≥ 1 s são agrupados pela voz (aglomerativo, cosseno ≥ 0,5 entre os centros; até 600 trechos espalhados na sessão). Grupo com ≥ 15 s de fala é uma voz. Funciona com qualquer número de colegas.
- Qual voz é o streamer — duas provas:
- boca: a voz cujos trechos coincidem com mais movimento da boca dele na webcam (média de muitos trechos; t de Welch ≥ 3 contra a segunda voz);
- volume: o microfone dele vem mais forte que o Discord/jogo (mediana ≥ 3 dB acima da segunda voz). Concordam ou só uma decide → ela. Discordam ou nenhuma decide → ninguém vira "outro" (tudo como do streamer, o comportamento de antes). Uma voz só (streamer sozinho) → nada muda.
- Cada trecho vai para a voz mais parecida. Só vira
otherNcom folga: cosseno com a outra voz ≥ 0,30 e ≥ 0,10 acima do cosseno com o streamer (+0,05 nos dois para trecho < 1 s). Senão, streamer. Trecho curto sem impressão herda o rótulo do trecho vizinho (até 1 s); longe de tudo, streamer.
GET /v1/sessions/{id}/speakers mostra as vozes, qual é o streamer e por quê. Opção speakers (intel.opts,
padrão ligada) desliga tudo.
Dados
scoring.Wordganhouspeaker: str = ""(no fim, opcional):""/"streamer"= streamer;"other1","other2"… = outra pessoa (numeradas pela quantidade de fala na sessão; a numeração pode mudar com a live).segments.words_jsonaceita o 4º elemento[início, fim, texto, falante]; o formato antigo (3) continua valendo e é o que se grava hoje (speakers.dump_words). Falante gravado no 4º elemento tem prioridade sobre a atribuição.- Tabela
voice_chunks (session_id, idx, data_json, updated_at)—{model, chunks: [{s, e, db, v}]},v= vetor em float16/base64 (~5 KB por bloco, ~0,6 MB por hora). Criada comCREATE TABLE IF NOT EXISTSao subir o serviço, fora da lista de migrações: a v14 é de outra frente e ainda não está nesta branch; numa posição fixa da lista ela viraria a v14 aqui. Quem integrar pode movê-la para a v15. face_track.data_json.mouth: série por quadro (6 qps) do movimento da boca; blocos antigos não têm (a prova da boca só vale para blocos rastreados depois desta versão).- Projeto do editor: cada palavra ganha
sp(só quando atribuída). Projetos antigos, semsp, saem iguais. - Tradução (
clips.translation_json): cada linha temspeaker; as frases nunca misturam falantes. Tradução antiga, semspeaker, é refeita na próxima chamada.
Legenda
- Duas faixas: a do streamer na posição normal; a de outra pessoa logo abaixo (
caption.otherColor, padrão#5CE1FF;caption.otherSize, padrão vazio = 85 % desize). A palavra falada continua comhighlight. - Um bloco nunca mistura falantes; "nunca dois blocos ao mesmo tempo" vale dentro de cada faixa. Os dois falando
juntos = as duas linhas na tela, cada uma com
\pospróprio (o libass não empilha). - Sem espaço embaixo (horizontal, legenda a 85 % da altura), a linha do streamer sobe o necessário: a ordem nunca
inverte. O gancho (
hook_dodges) desvia as duas linhas juntas. - Tradução de desenvolvimento (
dev.translation): o português de cada um fica embaixo da linha de quem fala (a do streamer entre as duas linhas). - Estilos
CaptionOther/KaraokeOthersó entram no ASS quando o corte tem outra pessoa: corte só com o streamer sai byte a byte igual (conferido pelo teste dourado do vertical). - Painel: a configuração do corte tem "Fala de outra pessoa" (cor e tamanho); o editor marca o falante de cada parágrafo da transcrição e o botão Outra pessoa / É o streamer corrige as palavras selecionadas; a prévia (canvas) desenha as duas linhas; o modal mostra quem fala em "O que falam".
Juízes
judge._transcript: com outra pessoa no trecho, cada linha diz quem fala ([Tfue] … / [other1] …) e vem a nota
"Never attribute to Tfue what someone else said" (em português nos prompts em português). Sem outra pessoa, a
transcrição sai igual à de antes.
Licenças (conferidas em 18/11/2026)
| Peça | Licença | Onde conferi |
|---|---|---|
WeSpeaker ResNet34-LM (voxceleb_resnet34_LM.onnx, commit f0c48c2… do Hugging Face) — os PESOS |
CC-BY-4.0 (uso comercial permitido, pede atribuição: "WeSpeaker, wenet-e2e") | cartão do modelo Wespeaker/wespeaker-voxceleb-resnet34-LM (license: cc-by-4.0) e docs/pretrained.md do WeSpeaker ("o modelo segue a licença do conjunto de treino"; VoxCeleb = CC BY 4.0) |
| Código de fbank | nosso (reimplementação em numpy; conferida contra o torchaudio.compliance.kaldi.fbank: diferença máx. 0,00016) |
— |
| YuNet (boca) | MIT (já no projeto) | models.lock.json |
Não usados: pyannote, SpeechBrain ECAPA, NeMo TitaNet, Resemblyzer — todos pedem PyTorch, que não está
no venv do Clipador (o modelo escolhido roda no onnxruntime que já existe). 3D-Speaker CAM++ (código
Apache-2.0): a página do modelo no ModelScope não abriu para conferir a licença dos pesos, então ficou de fora.
Nenhum pacote novo foi instalado; o modelo (26,5 MB) entra no models.lock.json com sha256 e é baixado pelo
setup.ps1 ou sob demanda (ModelStore).
Qualidade medida — sessão 15 (twitch.tv/tfue, inglês, dois colegas no Discord)
Medido só lendo o banco e os blocos da pasta principal (cópia em memória), 144 blocos (~72 min), com o código desta versão.
A boca sozinha não resolve nesta live. Webcam pequena (rosto ~45×66 px no 1080p) e streamer de PERFIL olhando o monitor:
- MediaPipe Face Landmarker (o rastreio atual): rosto em ~4 % dos quadros na maioria dos blocos (0 a 58 %), e
jawOpen= 0,00 mesmo nos quadros com rosto e falando. Recorte justo no rosto: 26–69 % de presença,jawOpenainda ~0,01. Inútil para falante. - YuNet + recorte da boca (
MouthMeter): rosto em 99 % dos quadros. Mas por trecho o sinal separa pouco: AUC 0,55–0,64 (boca do streamer × boca nos trechos dos colegas). Somando muitos trechos aponta a voz certa (média 0,188 × 0,167 × 0,159), com t = 2,3 contra a 2ª voz — abaixo do limiar 3: aqui quem decide é o volume. Em câmera de frente e maior a boca deve pesar mais; não foi medido.
A voz separa bem:
- 3 vozes (358 s, 313 s e 244 s de fala em trechos ≥ 1 s); cosseno entre os centros 0,26–0,33 (vozes bem distintas).
- Volume: streamer −27,3 dBFS × −34,8 e −37,6 dBFS dos colegas → +7,5 dB; o streamer é achado pelo volume desde os primeiros 5 minutos.
- 1 061 trechos: 916 com impressão; 514 viraram outra pessoa, 73 ficaram como do streamer por dúvida (a voz mais parecida era a de um colega, mas sem a folga exigida); 145 curtos herdam o vizinho.
- Conferência visual às cegas (30 trechos ≥ 1,2 s sorteados, 10 de cada voz, embaralhados; olhei 8 quadros da boca
de cada um sem saber a voz): 20 casos claros.
- boca parada o trecho todo (não é ele): 9 de 9 rotulados como outra pessoa;
- boca mexendo (seria ele): 7 de 11 rotulados streamer; os 4 restantes são todos da mesma voz de colega
(
other2) e, revistos a 24 qps, mostram lábios entreabertos sem articular — duvidosos. Outros 2 trechos dessa mesma voz mostram a boca dele fechada enquanto ela fala, e ela é 10 dB mais baixa que o microfone dele: tratei como colega. Esta conferência é fraca (rosto de perfil, 45 px); não há gabarito de áudio.
- Estabilidade (streamer × outra pessoa, comparando com o modelo da sessão inteira): com 5 min de live, 52/62 trechos iguais (84 %); 10 min, 129/132 (98 %); 20 min, 287/292 (98 %); 40 min, 555/563 (99 %).
- Exemplo real (5:30–5:50): "How many drills is the gallery?" → streamer; "Gallery is three." →
other1; "I think we need five. I have three so I think you should bring two." →other1; "I got one code tablet completed." → streamer (antes do corte por fim de frase, "I got one code" ia junto com o colega).
Limites conhecidos
- Troca de falante no meio de um trecho sem pausa nem pontuação fica com um rótulo só.
- Nos primeiros minutos (menos de 15 s de fala por voz) não há atribuição: tudo como do streamer.
- Vozes do jogo (NPC, anúncio) também viram "outra pessoa" — o que é verdade (não é o streamer).
- Projeto do editor guarda o
spde quando foi criado; projeto antigo (semsp) sai como antes. Nova avaliação dos juízes refaz o projeto da IA já com falantes. - A série da boca só existe em blocos rastreados por esta versão; a do volume vale para qualquer bloco com fala.
- Modelo de voz indisponível (sem rede no 1º uso, arquivo corrompido): os blocos analisados nesse tempo ficam sem impressão de voz (não são refeitos depois) e o serviço tenta carregar de novo a cada 5 min.
- Tudo isso só vale depois de reiniciar o serviço (o código novo não roda no Clipador que está no ar).