Clipador: quem fala cada palavra (streamer × outra pessoa) e legenda em duas linhas
A fala de colegas no Discord e de outros jogadores saía na legenda como se fosse do streamer. Agora cada palavra tem falante: - voz: cada trecho de fala vira uma impressão de voz (WeSpeaker ResNet34-LM, ONNX, pesos CC-BY-4.0) na análise do bloco (~0,2 s de CPU por bloco); as vozes da sessão são agrupadas sob demanda (0,05 s) e a do streamer é a que mexe a boca na webcam (YuNet, nova série `mouth` no rastreio) ou a mais alta no áudio. Sem prova, tudo continua como do streamer. - dados: `scoring.Word.speaker`; `words_json` aceita o 4º elemento; tabela `voice_chunks` (CREATE TABLE IF NOT EXISTS, fora da lista de migrações). - legenda: streamer na posição normal e outra pessoa logo abaixo, em outra cor (`caption.otherColor`/`otherSize`); blocos nunca misturam falantes; os dois juntos = duas linhas; gancho desvia as duas; vertical e horizontal. - tradução com `speaker` por linha; juízes recebem a transcrição marcada. - painel: cor da outra pessoa na configuração, falante na transcrição do editor (com correção manual), prévia em duas linhas e "O que falam" no modal. - doc/clipador/FALANTES.md com abordagem, licenças e qualidade medida na sessão 15. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
54eac7cebf
commit
377536f778
+11
-13
@@ -21,7 +21,7 @@ from fastapi import FastAPI, Request
|
||||
from fastapi.responses import JSONResponse
|
||||
from pydantic import BaseModel, Field
|
||||
|
||||
from . import editor, editor_render, layout, media
|
||||
from . import editor, editor_render, layout, media, speakers
|
||||
from .config import REPO_ROOT
|
||||
from .db import loads, now
|
||||
from .judge import JudgeError, _chat_block, _transcript
|
||||
@@ -151,9 +151,7 @@ def auto_for(engine, clip: dict, session: dict) -> dict:
|
||||
"""Projeto que a IA entrega: o que o pipeline já sabe (análise, Whisper, volume, configuração do corte)."""
|
||||
judge = _judge(clip)
|
||||
lo, hi = editor.default_window(clip, session["duration_s"])
|
||||
rows = engine.db.all("SELECT words_json FROM segments WHERE session_id = ? AND end_s > ? AND start_s < ? ORDER BY idx",
|
||||
clip["session_id"], lo, hi)
|
||||
words = [Word(a, b, c) for r in rows for a, b, c in loads(r["words_json"], [])]
|
||||
words = engine.words_between(clip["session_id"], lo, hi) # já com quem fala cada palavra (FALANTES.md)
|
||||
loudness = engine.load_timeline(clip["session_id"], max(0.0, lo - 5))["loudness"]
|
||||
return editor.auto_project(clip, judge.get("analysis"), words, loudness, session["duration_s"],
|
||||
engine.intel.settings_for(session), model=judge.get("model") or "", generated_at=now())
|
||||
@@ -240,9 +238,7 @@ def register(app: FastAPI, engine, clip_view, get_clip) -> None:
|
||||
return round(lo, 3), round(hi, 3)
|
||||
|
||||
def _words(session_id: int, lo: float, hi: float) -> list[Word]:
|
||||
rows = db.all("SELECT words_json FROM segments WHERE session_id = ? AND end_s > ? AND start_s < ? ORDER BY idx",
|
||||
session_id, lo, hi)
|
||||
return [Word(a, b, c) for r in rows for a, b, c in loads(r["words_json"], []) if lo <= a <= hi]
|
||||
return [w for w in engine.words_between(session_id, lo, hi) if lo <= w.start <= hi]
|
||||
|
||||
def _cached_proxy(clip: dict, lo: float, hi: float) -> dict | None:
|
||||
f = edit_dir(engine, clip["session_id"], clip["id"]) / f"proxy-{_window_key(lo, hi)}.mp4"
|
||||
@@ -282,7 +278,7 @@ def register(app: FastAPI, engine, clip_view, get_clip) -> None:
|
||||
"origin": row["origin"] if row else "ai", "aiProject": ai_project,
|
||||
"exportedAt": row["exported_at"] if row else None, "cover": row["cover"] if row else None,
|
||||
"window": {"lo": w_lo, "hi": w_hi}, "sessionDurationS": session["duration_s"],
|
||||
"words": [{"s": w.start, "e": w.end, "w": w.word} for w in _words(clip["session_id"], w_lo, w_hi)],
|
||||
"words": [editor.word_item(w) for w in _words(clip["session_id"], w_lo, w_hi)],
|
||||
"chat": chat, "chatPerS": per_s, "loudnessDb": loud, "analysis": analysis,
|
||||
"settings": engine.intel.settings_for(session), "credit": engine.channel_label(session),
|
||||
"presets": [{"id": k, "label": editor.PRESET_LABEL[k], "style": editor.PRESET_STYLE[k]} for k in editor.CAPTION_PRESETS],
|
||||
@@ -333,8 +329,7 @@ def register(app: FastAPI, engine, clip_view, get_clip) -> None:
|
||||
editor_render.make_proxy(ffmpeg, session_segments(engine, clip["session_id"]), lo, hi, folder / name)
|
||||
log.info("proxy do corte %s (%.0f s de vídeo) em %.1f s", clip_id, hi - lo, time.monotonic() - t)
|
||||
_clean_old(folder, "proxy", name)
|
||||
return _cached_proxy(clip, lo, hi) | {"words": [{"s": w.start, "e": w.end, "w": w.word}
|
||||
for w in _words(clip["session_id"], lo, hi)]}
|
||||
return _cached_proxy(clip, lo, hi) | {"words": [editor.word_item(w) for w in _words(clip["session_id"], lo, hi)]}
|
||||
|
||||
@app.get("/v1/clips/{clip_id}/waveform")
|
||||
def get_waveform(clip_id: int, lo: float, hi: float):
|
||||
@@ -420,8 +415,11 @@ def register(app: FastAPI, engine, clip_view, get_clip) -> None:
|
||||
words = engine.voice.transcribe(wav, f"clipper-edit-{clip_id}-{uuid.uuid4().hex[:12]}")
|
||||
except Exception as exc: # noqa: BLE001 - erro do serviço de voz vira mensagem
|
||||
raise editor.EditError(f"transcrição falhou: {str(exc)[:200]}") from exc
|
||||
# Quem fala: o mesmo das palavras antigas no mesmo instante (a re-transcrição não sabe o falante).
|
||||
fresh = speakers.transfer([Word(round(w.start + a, 3), round(w.end + a, 3), w.word) for w in words],
|
||||
_words(clip["session_id"], a - 1, b + 1))
|
||||
return {"startS": a, "endS": b, "seconds": round(time.monotonic() - t, 1),
|
||||
"words": [{"s": round(w.start + a, 3), "e": round(w.end + a, 3), "w": w.word} for w in words]}
|
||||
"words": [editor.word_item(w) for w in fresh]}
|
||||
|
||||
@app.post("/v1/clips/{clip_id}/tts")
|
||||
def tts(clip_id: int, body: TtsIn):
|
||||
@@ -464,12 +462,12 @@ def register(app: FastAPI, engine, clip_view, get_clip) -> None:
|
||||
project = validate_for(engine, clip, session, data)
|
||||
lo, hi = project["source"]["lo"], project["source"]["hi"]
|
||||
tl = engine.load_timeline(clip["session_id"], max(0.0, lo - 5))
|
||||
words = [Word(w["s"], w["e"], w["w"]) for w in project["captions"]["words"]] or tl["words"]
|
||||
words = [Word(w["s"], w["e"], w["w"], w.get("sp") or "") for w in project["captions"]["words"]] or tl["words"]
|
||||
view = clip_view(clip)
|
||||
analysis = (view["judge"] or {}).get("analysis") if isinstance(view["judge"], dict) else None
|
||||
cfg = editor.effective_settings(engine.intel.settings_for(session), project)
|
||||
prompt = editor.suggest_prompt(engine.streamer_name(session), clip["title"], project, tl["chat"], analysis,
|
||||
_transcript(words, lo, hi), _chat_block(tl["chat"], lo, hi, clip["peak_s"]), cfg)
|
||||
_transcript(words, lo, hi, streamer=engine.streamer_name(session)), _chat_block(tl["chat"], lo, hi, clip["peak_s"]), cfg)
|
||||
t = time.monotonic()
|
||||
try:
|
||||
raw = engine.judge.ask(editor.SUGGEST_SYSTEM, prompt, editor.SUGGEST_SCHEMA, [])
|
||||
|
||||
Reference in New Issue
Block a user