Clipador: dublagem em português por TTS no vídeo de revisão (dev.dub)
- app/dub.py: frases traduzidas → uma fala TTS por frase no serviço de voz (POST /v1/synthesize, WAV), cache em disco por (voz, velocidade, texto), encaixe sem sincronia labial (velocidade natural, escorre até 1,5 s sem acumular atraso, acelera no máximo 1,2× e corta com fade só se preciso, nunca duas falas juntas), frase partida no meio vira uma fala só, voz reserva offline e faixa única do trecho nivelada pelo volume do corte. - editor_render.render_project: o áudio original abaixa (dubDuck, rampa de 0,15 s) só onde há dublagem; nada muda com dev=False. Devolve resumo. - layout: dev.dubVoice, dev.dubVoiceOther (speaker "other") e dev.dubDuck. - editor_api: prévia e render da fila passam o dublador; translation_for também traduz quando só a dublagem está ligada. - Painel: switch "Dublagem em português (teste)", vozes TTS prontas (sem clone) e volume do original. - doc/clipador/DUBLAGEM.md e tests/test_dub.py (TTS falso). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
54eac7cebf
commit
7a428ee5da
@@ -9,15 +9,19 @@ só entram números formatados aqui e nomes de arquivo relativos gerados por nó
|
||||
|
||||
from __future__ import annotations
|
||||
|
||||
import logging
|
||||
import re
|
||||
import shutil
|
||||
import subprocess
|
||||
from array import array
|
||||
from pathlib import Path
|
||||
|
||||
from . import layout, media, reframe
|
||||
from . import dub, layout, media, reframe
|
||||
from .editor import Piece, effective_settings, emphasized, output_duration, output_words, pieces, slice_pieces, to_output
|
||||
from .scoring import Word
|
||||
from .subtitles import _escape, _ts, caption_blocks, clean_words
|
||||
|
||||
log = logging.getLogger("cenaforge_clipper.editor_render")
|
||||
W, H = layout.W, layout.H # quadro do vertical (padrão dos parâmetros); o formato real vem da configuração
|
||||
FPS = 30
|
||||
PEAKS_PER_S = 50
|
||||
@@ -416,12 +420,14 @@ def zoom_filter(project: dict, t0: float = 0.0, size: tuple[int, int] = (W, H))
|
||||
|
||||
|
||||
class AudioInput:
|
||||
"""Entrada de áudio extra (narração, música, efeito): arquivo + onde entra (tempo de saída) + volume."""
|
||||
"""Entrada de áudio extra (narração, música, efeito, dublagem): arquivo + onde entra (tempo de saída) + volume.
|
||||
`spans` (só `dub`) = intervalos em que a voz original abaixa para `duck`, com rampa (`dub.duck_factors`)."""
|
||||
|
||||
def __init__(self, file: Path, at: float, volume: float, kind: str, trim_start: float = 0.0, duck: float = 1.0,
|
||||
length: float = 0.0):
|
||||
length: float = 0.0, spans: list[tuple[float, float]] | None = None):
|
||||
self.file, self.at, self.volume, self.kind = file, at, volume, kind
|
||||
self.trim_start, self.duck, self.length = trim_start, duck, length
|
||||
self.spans = spans or []
|
||||
|
||||
|
||||
COVER_INTRO_S = 2 / FPS # capa nos 2 primeiros quadros (as redes usam o quadro 0 como miniatura padrão)
|
||||
@@ -477,13 +483,17 @@ def build_filter(project: dict, cfg: dict, ps: list[Piece], in0: float, ass_name
|
||||
g.append(f"[{cover_input}:v]scale={fw}:{fh},setsar=1,format=yuv420p[cv]")
|
||||
g.append(f"[vbase][cv]overlay=enable='lt(t,{COVER_INTRO_S:.4f})':eof_action=pass,format=yuv420p[v]")
|
||||
|
||||
# Áudio: original (com volume e abaixado sob a narração) + narração + efeitos; música por baixo com ducking.
|
||||
# Áudio: original (com volume e abaixado sob a narração/dublagem) + narração + dublagem + efeitos; música por
|
||||
# baixo com ducking. A dublagem (camada de desenvolvimento) abaixa o original com rampa só onde ela fala.
|
||||
narr = [(k, x) for k, x in enumerate(extras, start=1) if x.kind == "narration"]
|
||||
vol_expr = f"{original_volume:.3f}"
|
||||
for _, x in narr:
|
||||
end = x.at + (x.length or 0)
|
||||
if x.duck < 1 and x.length:
|
||||
vol_expr = f"{vol_expr}*if(between(t,{x.at:.3f},{end:.3f}),{x.duck:.3f},1)"
|
||||
for x in extras:
|
||||
if x.kind == "dub":
|
||||
vol_expr = "*".join([vol_expr, *dub.duck_factors(x.spans, x.duck)])
|
||||
g.append(f"[acat]volume='{vol_expr}':eval=frame[aorig]")
|
||||
voice_labels = ["[aorig]"]
|
||||
music_label = None
|
||||
@@ -608,13 +618,33 @@ def has_audio_stream(ffprobe: str | None, file: Path) -> bool:
|
||||
return bool(out.strip())
|
||||
|
||||
|
||||
def mean_volume(ffmpeg: str, segs: list[tuple[Path, float, float]], start: float, end: float, work: Path,
|
||||
stem: str) -> float | None:
|
||||
"""Volume médio (dB RMS, `volumedetect`) do áudio original de [start, end] da sessão; None se não der para medir.
|
||||
Só o áudio é decodificado (~0,1 s num corte de 1 min)."""
|
||||
if not segs:
|
||||
return None
|
||||
args, concat = _concat_input(work, f"{stem}.level", segs, start, end - start)
|
||||
try:
|
||||
result = subprocess.run([ffmpeg, "-v", "info", "-nostats", *args, "-vn", "-af", "volumedetect", "-f", "null", "-"],
|
||||
capture_output=True, timeout=120, cwd=work, creationflags=media.NO_WINDOW)
|
||||
except (OSError, subprocess.TimeoutExpired):
|
||||
return None
|
||||
finally:
|
||||
concat.unlink(missing_ok=True)
|
||||
match = re.search(rb"mean_volume:\s*(-?[\d.]+) dB", result.stderr)
|
||||
return float(match.group(1)) if match and result.returncode == 0 else None
|
||||
|
||||
|
||||
def render_project(ffmpeg: str, ffprobe: str | None, encoder: list[str], segments: list[tuple[Path, float, float]],
|
||||
project: dict, base_cfg: dict, credit: str, out_file: Path, repo_root: Path,
|
||||
out_range: tuple[float, float] | None = None, timeout: float = 900, chat: list | None = None,
|
||||
cover_file: Path | None = None, translation: list[dict] | None = None, dev: bool = True) -> None:
|
||||
cover_file: Path | None = None, translation: list[dict] | None = None, dev: bool = True,
|
||||
dubber: "dub.Dubber | None" = None) -> dict:
|
||||
"""Renderiza o projeto (ou só a saída [a, b] para a prévia real). `segments` = (arquivo, início, fim) da sessão.
|
||||
`chat` = mensagens da sessão (para o chat na tela); `cover_file` = capa já renderizada, posta nos 2 primeiros
|
||||
quadros quando o projeto pede (`cover.atStart`)."""
|
||||
quadros quando o projeto pede (`cover.atStart`). `dubber` = dublagem em português (`dev.dub`, só com `dev=True`
|
||||
e `translation`; app/dub.py). Devolve um resumo (`{"dub": {...} | None}`) — quem chama pode ignorar."""
|
||||
cfg = effective_settings(base_cfg, project)
|
||||
total = output_duration(project["cuts"])
|
||||
t0, t1 = out_range if out_range else (0.0, total)
|
||||
@@ -649,6 +679,21 @@ def render_project(ffmpeg: str, ffprobe: str | None, encoder: list[str], segment
|
||||
if music:
|
||||
extras.append(AudioInput(repo_root / music["file"], 0.0, music["volume"], "music", trim_start=t0,
|
||||
duck=0.5 if music["duck"] else 1.0))
|
||||
dub_track: dub.DubTrack | None = None
|
||||
if dubber is not None and translation and layout.dev_flags(cfg, dev)["dub"]:
|
||||
try:
|
||||
# Volume do original no corte INTEIRO (a prévia de 5 s nivela igual ao render da fila).
|
||||
full = pieces(project["cuts"])
|
||||
level = mean_volume(ffmpeg, _segments_for(segments, full[0].start, full[-1].end), full[0].start,
|
||||
full[-1].end, work, stem)
|
||||
dub_track = dubber.build(translation, project["cuts"], cfg, t0, t1, work, stem, level_db=level)
|
||||
except (media.MediaError, OSError) as exc: # camada de teste: o vídeo sai mesmo sem ela
|
||||
log.warning("dublagem falhou (%s): o vídeo sai sem dublagem", exc)
|
||||
if dub_track:
|
||||
extras.append(AudioInput(dub_track.file, 0.0, 1.0, "dub", duck=dub_track.duck, length=t1 - t0,
|
||||
spans=dub_track.spans))
|
||||
log.info("dublagem: %d falas, %d sintetizadas agora, %.1f s", dub_track.cues, dub_track.synthesized,
|
||||
dub_track.seconds)
|
||||
extra_args: list[str] = []
|
||||
for x in extras:
|
||||
extra_args += (["-stream_loop", "-1"] if x.kind == "music" else []) + ["-i", str(x.file)]
|
||||
@@ -689,8 +734,12 @@ def render_project(ffmpeg: str, ffprobe: str | None, encoder: list[str], segment
|
||||
"-t", f"{t1 - t0:.3f}", "-movflags", "+faststart", tmp.name], timeout=timeout, cwd=work)
|
||||
tmp.replace(out_file)
|
||||
finally:
|
||||
for f in (ass_file, concat, tmp, graph_file, *helper_files, *([uniform] if uniform else [])):
|
||||
for f in (ass_file, concat, tmp, graph_file, *helper_files, *([uniform] if uniform else []),
|
||||
*([dub_track.file] if dub_track else [])):
|
||||
f.unlink(missing_ok=True)
|
||||
return {"dub": None if dub_track is None else {
|
||||
"cues": dub_track.cues, "synthesized": dub_track.synthesized, "seconds": dub_track.seconds,
|
||||
"failed": len(dub_track.failed)}}
|
||||
|
||||
|
||||
def make_proxy(ffmpeg: str, segments: list[tuple[Path, float, float]], lo: float, hi: float, out_file: Path) -> None:
|
||||
|
||||
Reference in New Issue
Block a user