Clipador: quem fala cada palavra (streamer × outra pessoa) e legenda em duas linhas
A fala de colegas no Discord e de outros jogadores saía na legenda como se fosse do streamer. Agora cada palavra tem falante: - voz: cada trecho de fala vira uma impressão de voz (WeSpeaker ResNet34-LM, ONNX, pesos CC-BY-4.0) na análise do bloco (~0,2 s de CPU por bloco); as vozes da sessão são agrupadas sob demanda (0,05 s) e a do streamer é a que mexe a boca na webcam (YuNet, nova série `mouth` no rastreio) ou a mais alta no áudio. Sem prova, tudo continua como do streamer. - dados: `scoring.Word.speaker`; `words_json` aceita o 4º elemento; tabela `voice_chunks` (CREATE TABLE IF NOT EXISTS, fora da lista de migrações). - legenda: streamer na posição normal e outra pessoa logo abaixo, em outra cor (`caption.otherColor`/`otherSize`); blocos nunca misturam falantes; os dois juntos = duas linhas; gancho desvia as duas; vertical e horizontal. - tradução com `speaker` por linha; juízes recebem a transcrição marcada. - painel: cor da outra pessoa na configuração, falante na transcrição do editor (com correção manual), prévia em duas linhas e "O que falam" no modal. - doc/clipador/FALANTES.md com abordagem, licenças e qualidade medida na sessão 15. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
54eac7cebf
commit
377536f778
+17
-2
@@ -148,11 +148,22 @@ def output_words(project: dict) -> list[Word]:
|
||||
if p.start <= mid <= p.end:
|
||||
s = p.out + max(w["s"], p.start) - p.start
|
||||
e = p.out + min(w["e"], p.end) - p.start
|
||||
out.append(Word(round(s, 3), round(max(e, s + 0.05), 3), w["w"]))
|
||||
out.append(Word(round(s, 3), round(max(e, s + 0.05), 3), w["w"], w.get("sp") or ""))
|
||||
break
|
||||
return out
|
||||
|
||||
|
||||
def word_item(w: Word) -> dict:
|
||||
"""Palavra da sessão → palavra do projeto. `sp` (quem fala; doc/clipador/FALANTES.md) só quando atribuído."""
|
||||
item = {"s": w.start, "e": w.end, "w": w.word}
|
||||
if w.speaker:
|
||||
item["sp"] = w.speaker
|
||||
return item
|
||||
|
||||
|
||||
SPEAKER_RE = re.compile(r"^(streamer|other\d{0,2})$")
|
||||
|
||||
|
||||
def emphasized(project: dict) -> set[tuple[float, str]]:
|
||||
return {(round(w["s"], 3), w["w"]) for w in project["captions"]["words"] if w.get("emph")}
|
||||
|
||||
@@ -194,7 +205,7 @@ def default_project(clip: dict, words: list[Word], session_duration: float) -> d
|
||||
"cuts": [{"start": round(clip["start_s"], 3), "end": round(clip["end_s"], 3), "mode": None}],
|
||||
"captions": {
|
||||
"enabled": True, "preset": "classic", "style": {}, "emphColor": "#22E36B",
|
||||
"words": [{"s": w.start, "e": w.end, "w": w.word} for w in words if lo <= w.start <= hi][:MAX_WORDS],
|
||||
"words": [word_item(w) for w in words if lo <= w.start <= hi][:MAX_WORDS],
|
||||
},
|
||||
"overlays": ([{"id": "hook", "kind": "hook", "text": hook, "start": 0.0, "end": 3.0, "y": 0.2, "size": 68,
|
||||
"color": "#FFFFFF", "box": "#E11D48", "anim": "pop"}] if hook else []),
|
||||
@@ -440,6 +451,10 @@ def validate_project(data: dict, *, session_id: int, session_duration: float, re
|
||||
if e <= s: # o Whisper às vezes devolve palavra com duração zero (medido no skipnho): ganha 50 ms
|
||||
e = round(s + 0.05, 3)
|
||||
item = {"s": s, "e": e, "w": _text(w.get("w", ""), f"palavra {i}", 40)}
|
||||
if w.get("sp"):
|
||||
if not isinstance(w["sp"], str) or not SPEAKER_RE.match(w["sp"]):
|
||||
raise EditError(f"palavra {i}: falante (sp) precisa ser streamer ou otherN")
|
||||
item["sp"] = w["sp"]
|
||||
if w.get("emph"):
|
||||
item["emph"] = True
|
||||
if w.get("hidden"):
|
||||
|
||||
Reference in New Issue
Block a user