Clipador: quem fala cada palavra (streamer × outra pessoa) e legenda em duas linhas
A fala de colegas no Discord e de outros jogadores saía na legenda como se fosse do streamer. Agora cada palavra tem falante: - voz: cada trecho de fala vira uma impressão de voz (WeSpeaker ResNet34-LM, ONNX, pesos CC-BY-4.0) na análise do bloco (~0,2 s de CPU por bloco); as vozes da sessão são agrupadas sob demanda (0,05 s) e a do streamer é a que mexe a boca na webcam (YuNet, nova série `mouth` no rastreio) ou a mais alta no áudio. Sem prova, tudo continua como do streamer. - dados: `scoring.Word.speaker`; `words_json` aceita o 4º elemento; tabela `voice_chunks` (CREATE TABLE IF NOT EXISTS, fora da lista de migrações). - legenda: streamer na posição normal e outra pessoa logo abaixo, em outra cor (`caption.otherColor`/`otherSize`); blocos nunca misturam falantes; os dois juntos = duas linhas; gancho desvia as duas; vertical e horizontal. - tradução com `speaker` por linha; juízes recebem a transcrição marcada. - painel: cor da outra pessoa na configuração, falante na transcrição do editor (com correção manual), prévia em duas linhas e "O que falam" no modal. - doc/clipador/FALANTES.md com abordagem, licenças e qualidade medida na sessão 15. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
54eac7cebf
commit
377536f778
@@ -391,6 +391,8 @@ def create_app(settings: Settings | None = None, engine: Engine | None = None, s
|
||||
at, frame = _frame(row, body.t, "preview-src.jpg", width=0)
|
||||
# Legenda de exemplo: 1º bloco começa em 0 s, então o quadro único da prévia já mostra a legenda.
|
||||
sample = [Word(i * 0.35, 0.3 + i * 0.35, w) for i, w in enumerate("ASSIM VAI FICAR A LEGENDA".split())]
|
||||
# E a fala de outra pessoa (colega no Discord), na linha de baixo, com a cor dela (FALANTES.md).
|
||||
sample += [Word(0.05 + i * 0.35, 0.35 + i * 0.35, w, "other1") for i, w in enumerate("E A DO COLEGA".split())]
|
||||
ass = build_ass(sample, 0.0, 3.0, engine.channel_label(row), cfg)
|
||||
out = settings.clips_dir / str(row["id"]) / "preview.jpg"
|
||||
try:
|
||||
@@ -419,6 +421,13 @@ def create_app(settings: Settings | None = None, engine: Engine | None = None, s
|
||||
raise UserError("`to` precisa ser maior que `from`.")
|
||||
return engine.face.view(_session(session_id), from_, to)
|
||||
|
||||
@app.get("/v1/sessions/{session_id}/speakers")
|
||||
def get_speakers(session_id: int):
|
||||
"""Vozes da sessão (doc/clipador/FALANTES.md): quantas, qual é o streamer e por quê (boca/volume), fala por
|
||||
rótulo. `active: false` = sem prova suficiente: tudo fica como do streamer."""
|
||||
_session(session_id)
|
||||
return engine.speakers.view(session_id)
|
||||
|
||||
@app.post("/v1/sessions/{session_id}/face/reset")
|
||||
def reset_face(session_id: int):
|
||||
"""Apaga a série do rosto da sessão; o laço do rastreio refaz (ex.: depois de corrigir a câmera). Com um bloco
|
||||
|
||||
Reference in New Issue
Block a user