Skill cenaforge 1.54.0: Clipador (revisão × final, dublagem, falantes, expressões, Equipe de IA)
Dois arquivos novos em references/ (clipper-video.md, clipper-ai-team.md), banco em v17, seção de expressões, gotchas 180–185 e ponteiros em panel/publishing/ai/tools. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
08ab68d16e
commit
b11090ffa3
@@ -7,6 +7,24 @@ Versão semântica da **skill** (não do projeto):
|
||||
|
||||
Mantido pelo subagente `cenaforge-skill-updater`. Entradas mais novas no topo.
|
||||
|
||||
## 1.54.0 — 18/11/2026
|
||||
|
||||
Clipador: vídeo de revisão × final, dublagem, falantes, expressões e Equipe de IA.
|
||||
- `references/clipper-video.md` (novo): revisão × final (grupo `dev`, `dev_flags`, migração v14, `publishFile`, `POST /v1/clips/{id}/final`,
|
||||
quando o final some), dublagem (`dev.dub*`, `dub.py`, cache, encaixe sem sincronia labial, tempos medidos) e falantes (WeSpeaker
|
||||
ResNet34-LM CC-BY-4.0 + boca/volume, migração v15, legenda em duas linhas, `GET /v1/sessions/{id}/speakers`).
|
||||
- `references/clipper-ai-team.md` (novo): papéis (`judge.roles`), juiz de contexto (7 checagens, o código decide), linha do tempo JSON +
|
||||
mosaico 4×2 (`timelineJson`), medição F0 (`ai_calls`, `scene_notes`, v17, `GET /v1/judge/report`, rótulo "sem contexto"), tokens medidos.
|
||||
- `references/clipper.md`: banco em v17 (v16 só citada: detecção do jogo, doc ainda fora desta branch); 4 linhas novas em "Onde mexer";
|
||||
seção de expressões/pose/corpo em "Rastreio de reação" (calibração, canais novos só rotulam); `dev.translation` no lugar de
|
||||
`caption.translation`; fontes em teste; bloco de evidência.
|
||||
- `references/gotchas.md`: 180 (publicar só o final), 181 (proxy 404), 182 (falantes), 183 (dublagem), 184 (worktree no Windows), 185 (serviços do usuário).
|
||||
- `references/panel.md`, `publishing.md`, `ai.md`, `tools.md`: ponteiros e linha do peso WeSpeaker. `SKILL.md`: versão, `description`, invariante de publicação, faixa de itens.
|
||||
- Evidência: conferido no código (`db.py` v14–v17, `layout.py` `dev`/`DEFAULTS`, rotas em `main.py`, regex `ALLOWED`, `models.lock.json`,
|
||||
`OPTION_DEFAULTS.timelineJson`); `onnxruntime` 1.32.0 e `mediapipe` 1.2.3 no `clipper/.venv`. Suíte do Clipador (inteira) e painel
|
||||
(`tsc` + 119 testes) **informados pelo coordenador, não reexecutados**. Medidas de tempo/tokens/estabilidade vêm de `doc/clipador/`.
|
||||
Não verificado: serviços reais com o código novo, UI no navegador, IA/TTS reais além dos cortes citados.
|
||||
|
||||
## 1.53.0 — 18/11/2026
|
||||
|
||||
IA: monitor de uso do limite e 4º provedor (Antigravity CLI).
|
||||
|
||||
File diff suppressed because one or more lines are too long
@@ -15,6 +15,7 @@ headless). Não duplique aqui; este arquivo diz onde mexer e o que não quebrar.
|
||||
| API | `panel/src/app/api/ai/route.ts` (`GET/PUT /api/ai`), `.../ai/[provider]/route.ts` (`POST {action: install\|login\|verify\|test\|resume\|usage}`, `PUT/DELETE` = chave) | guarda `Origin`/JSON (gotchas, item 125) |
|
||||
| Tela | `panel/src/components/ai-settings.tsx` em `panel/src/app/settings/ai/page.tsx`; seletor de provedor em `agent-console.tsx` e `story-composer.tsx` | — |
|
||||
| Subpáginas de Configurações | `panel/src/app/settings/{ai,publishing,apps,browser,modes}/page.tsx` + `layout.tsx`; seções em `SETTINGS_SECTIONS` de `components/settings-shell.tsx` (o menu lateral `sidebar-nav.tsx` as lê como `children`); `/settings` redireciona para `/settings/ai` | seção nova = entrada em `SETTINGS_SECTIONS` + pasta |
|
||||
| Papéis do juiz (varredura/analista/editor/juiz de contexto, cada um com provedor+modelo+raciocínio+instruções; reserva por papel) | `clipper/app/roles.py`, `judge.py` (`Judge.ask(role=…)`), `panel/src/components/clipper-ai-team.tsx` — [clipper-ai-team.md](clipper-ai-team.md) | `clipper/tests/test_roles.py` |
|
||||
| Juiz do Clipador (3 provedores, reserva por chamada) | `clipper/app/judge.py` (`_gemini`, `find_gemini`, `parse_gemini_output`), leitura de settings e cofre `clipper/app/ai_settings.py` (DPAPI por `ctypes`), `main.py`, `config.py`, `intel.py` | `clipper/tests/test_ai_fallback.py`, `conftest.py`, `clipper/README.md` |
|
||||
|
||||
## Regras
|
||||
|
||||
@@ -0,0 +1,74 @@
|
||||
# Clipador — Equipe de IA: papéis, juiz de contexto, linha do tempo JSON e medição (18/11/2026)
|
||||
|
||||
Fontes do contrato: `doc/clipador/EQUIPE-IA.md` (o que foi feito, F0 + F1) e `doc/clipador/PESQUISA-JUIZ.md` (pesquisa; F2
|
||||
OCR do HUD/YAMNet e F3 VLM local **não** entraram — são só candidatas). Visão geral: [clipper.md](clipper.md); provedores e
|
||||
reserva: [ai.md](ai.md). Migração v17 (`ai_calls`, `scene_notes`, `clips.owner_label/owner_note`).
|
||||
|
||||
## Papéis (`clipper/app/roles.py`, `settings` chave `judge.roles`)
|
||||
|
||||
| `id` | Faz | Imagem | Desligável |
|
||||
|---|---|---|---|
|
||||
| `scan` (varredura) | assiste por janelas, propõe momentos, descreve os quadros (`lines`) | mosaico 4×2 (padrão), soltos ou nenhuma | sim (`scanEnabled`) |
|
||||
| `analyst` | diz O QUE aconteceu no candidato | idem | sim (o editor passa a receber imagens) |
|
||||
| `editor` | decide corte, trecho, título, legenda, hashtags | só se o analista falhou/está off | **não** |
|
||||
| `judge` | só texto: o corte faz sentido para quem nunca viu a live? | nunca | sim |
|
||||
|
||||
- Cada papel: `enabled`, `provider`, `model` (`""` = padrão do provedor), `effort` (só Codex; `""` = low; juiz começa em
|
||||
`medium`), `extra` = **instruções do administrador** (≤ 2.000 caracteres, entram DEPOIS das padrão, que ficam no código e o
|
||||
painel mostra só para leitura: `GET /v1/judge` → `roleDefaults.<papel>.pt|en`). Juiz também: `critical`
|
||||
(`setup`,`payoff`,`standalone`), `allowFix`, `allowContextLine`, `penalty` (0,5). Validação: `roles.normalize_roles`.
|
||||
- Banco sem `judge.roles` migra sozinho (o provedor/modelo único vira o de todos; `judge_analyst_model` fica no analista).
|
||||
`judge_provider = "off"` continua = equipe inteira desligada. `PUT /v1/judge` sem `roles` (painel antigo) vale para todos.
|
||||
Reserva por papel: `fallback_chain(primary)` começa na IA do papel. Tradução, perfil do jogo e câmera usam a IA do **editor**.
|
||||
|
||||
## Juiz de contexto (`context_judge.py`, `judge.check_context`)
|
||||
|
||||
Roda depois que o editor MANTEVE (nota ≥ mínima). Vê só o que vai no corte + 20 s antes/15 s depois marcados `out=1`, título,
|
||||
legenda, abertura, `what_happened` e linha do jogo. Escreve `viewer_summary` e responde 7 checagens: `setup`, `payoff`,
|
||||
`standalone` (críticas) · `who_what`, `intelligible`, `faithful`, `strong_open`. **O código decide** (`context_judge.decide`):
|
||||
|
||||
1. crítica falha + `fix` (e `allowFix`) → recalcula com `fit_window`; mudou ≥ 1 s = **ajusta** e confere **uma** vez; falhou = descarta;
|
||||
2. crítica falha sem ajuste → **descarta** com motivo em português;
|
||||
3. `standalone`/`who_what` falhos + `context_line` curta (≤ 10 palavras, ≤ 60 caracteres) → aprova e a frase vira o texto de abertura;
|
||||
4. não críticas falhas tiram `penalty` da nota; abaixo da mínima → descarta;
|
||||
5. corte manual: só **avisa** (`decision: "warn"`); falha da IA do juiz: vale o editor (`context: {error}`).
|
||||
|
||||
Gravado em `judge_json.context`; descartado pelo juiz = `status = discarded` + `judge_json.discardedBy = "context"` (aparece em
|
||||
"Descartados"; **Forçar render** funciona). Fonte em inglês: `CONTEXT_SCHEMA_EN` com bloco `pt`. Fora do F1: 2ª opinião
|
||||
com outro provedor, few-shot do dono, "testar nos últimos 10 cortes".
|
||||
|
||||
## Linha do tempo JSON e mosaico (`timeline.py`, `media.mosaic`)
|
||||
|
||||
- JSON Lines com chaves curtas: `t,d` · `v` (o que está na tela, ≤ 12 palavras; vem de `lines` da varredura/analista e fica em
|
||||
`scene_notes`) · `sp` (fala literal ≤ 25 palavras; `[other1]` = outra pessoa) · `face` (rótulo de `reaction.label` com
|
||||
intensidade ≥ 3) · `lvl` (só se ≥ 6 ou ≤ 1) · `chat`. Entrada nova a cada pausa > 1,2 s (se a atual tem ≥ 4 s), troca de
|
||||
falante ou 8 s. Orçamento de caracteres por papel (analista 9.000, editor 7.000, juiz 6.000, varredura 9.000): passou, a
|
||||
fala encurta (25 → 12 → 6 palavras). Perfil do jogo enxuto (`judge.lean_profile`).
|
||||
- Imagens: 8 quadros de 384×216 numa grade 4×2 = 1 imagem 1536×432; falhou = quadros soltos.
|
||||
- Opção **`timelineJson`** (`PUT /v1/judge`, padrão ligada): desligada = formato antigo (transcrição + chat + quadros de
|
||||
768 px). Cada chamada grava o modo em `ai_calls.mode` (`timeline+mosaic`, `legacy+frames`…) — é como se compara.
|
||||
- **Medido** (corte 291, sessão 15, tfue, IA falsa que guarda o prompt; fórmulas de imagem da pesquisa): analista 5.638 →
|
||||
3.104 tokens (−45 %), editor 2.795 → 2.250 (−20 %), varredura 5.330 → 3.311 (−38 %), juiz novo ≈ 1.420. Por hora (tfue):
|
||||
≈ 317 mil → ≈ 224 mil **com** o juiz (−29 %). **Uma** chamada real do juiz (Codex `gpt-6-luna`, esforço médio): 9.624 de
|
||||
entrada, 1.400 de saída, 27 s ⇒ o **fixo da CLI do Codex ≈ 8 mil tokens por chamada** é o maior item e o próximo alvo
|
||||
(gotchas, item 136; [token-economy.md](token-economy.md)).
|
||||
|
||||
## Medição (F0)
|
||||
|
||||
- `ai_calls` (v17): por tentativa — `role`, `purpose`, `provider`, `model`, `ok/error`, `ms`, tamanhos de prompt/imagem,
|
||||
`tokens_in/out/cached` (quando a CLI informa: `codex exec --json`, `claude --output-format json`, `gemini -o json`),
|
||||
`session_id`, `clip_id`, `mode`. O `codex exec` agora roda com `--json` (a resposta continua em `-o`).
|
||||
- Avaliação do dono: `clips.owner_label` (`good|bad|no_context`) + `owner_note`. `PATCH /v1/clips/{id}` com
|
||||
`{"label": "no_context"}` (vale para qualquer corte, não muda o estado) ou `{"status": "rejected", "label": "no_context"}`
|
||||
(botão **Sem contexto** no modal). Sem rótulo: aprovado/publicado = bom, rejeitado = ruim.
|
||||
- `GET /v1/judge/report?days=7` (ou `?session=N`): chamadas por papel × IA × modo, tokens por hora, cortes, juiz
|
||||
(aprovou/ajustou/descartou/avisou/erro), concordância e κ de Cohen. Painel: Ajustes → Juiz → Medição. Rota na regex
|
||||
`ALLOWED` do painel (`judge(\/report)?`).
|
||||
|
||||
## Onde está cada coisa
|
||||
|
||||
`roles.py` (papéis, validação, migração) · `judge.py` (`Judge.ask(role=…)`, `check_context`, `build_*_prompt`, `lean_profile`,
|
||||
`codex_usage`/`claude_usage`/`gemini_usage`, `scope`) · `context_judge.py` · `timeline.py` · `worker.py` (`judge_clip`:
|
||||
analista → editor → juiz; `_context_check`; `record_ai_call`) · `intel.py` (`visual`, varredura, `timelineJson`) · `report.py`.
|
||||
Painel: `clipper-ai-team.tsx` (cartões e medição), `clipper-judge.tsx`, `clipper-clip-parts.tsx` (`ContextVerdict`,
|
||||
`OwnerLabelControl`). Testes: `test_roles.py`, `test_context_judge.py`; `conftest._no_real_ai_cli` bloqueia qualquer CLI real.
|
||||
@@ -0,0 +1,92 @@
|
||||
# Clipador — vídeo de revisão × final, dublagem e falantes (18/11/2026)
|
||||
|
||||
Fontes do contrato (leia antes de mexer, não duplique aqui): `doc/clipador/REVISAO.md`, `DUBLAGEM.md`, `FALANTES.md`.
|
||||
Visão geral do serviço: [clipper.md](clipper.md). Só vale depois de reiniciar o Clipador (gotchas, item 144).
|
||||
|
||||
## Revisão × final (`doc/clipador/REVISAO.md`, migração v14)
|
||||
|
||||
Regra do dono: o vídeo que a equipe aprova tem camadas **só de desenvolvimento**; ao aprovar, o Clipador renderiza de novo
|
||||
**sem elas** e só esse vai para as redes.
|
||||
|
||||
```
|
||||
fila de render ─► clip-<id>.mp4 REVISÃO (dev=True) ─► Aprovar ─► clip-<id>-final.mp4 (+ -final.jpg, -final-cover.jpg) (dev=False)
|
||||
review_dev_json = [] ? ─► o de revisão JÁ É o final (sem render novo; final.reused = true)
|
||||
```
|
||||
|
||||
- **Camadas `dev`** (grupo `dev` da configuração do corte, `layout.py`): `translation` (português embaixo da legenda) e
|
||||
`dub` (dublagem). `layout.dev_flags(cfg, dev=False)` desliga todas. `caption.translation` é legado: conta como
|
||||
`dev.translation`.
|
||||
- Render da fila = `worker._render_clip` → `editor_api.render_clip_edit(..., dev=True)`; grava `clips.review_dev_json`
|
||||
(camadas que entraram de fato, `editor_api.review_layers`). Final: `Engine.render_pending` (finais primeiro, até 3 por
|
||||
volta), mesmo projeto de edição, `dev=False`, não grava `review_dev_json`.
|
||||
- Banco v14: `clips.review_dev_json` (`[]` = nenhuma; NULL = desconhecido), `final_status` (`pending|rendering|ready|error`;
|
||||
NULL = sem final), `final_file/thumb/cover/error/at`. Falha no final = `error` + `final_error`; o corte segue aprovado e
|
||||
nada é publicado. Serviço caído no meio: `rendering` volta a `pending` na subida.
|
||||
- **O final some** (`drop_final`) ao: desfazer aprovação/rejeitar; mudar `startS/endS` de aprovado; `POST /export`,
|
||||
`/render`, `/rejudge`; qualquer render de revisão novo. Desaprovar durante o render do final descarta o resultado.
|
||||
`clip_delete` apaga `clip-<id>-*` e recusa enquanto o final renderiza.
|
||||
- API: cada corte traz `review: {devLayers}`, `final: {status,file,thumb,cover,error,at,reused} | null` e `publishFile`
|
||||
(= `final.file` se `approved|published` com final `ready`; senão `null`). `file`/`thumb` continuam os de revisão.
|
||||
`POST /v1/clips/{id}/final` (re)gera ("Tentar de novo"; 409 se não aprovado). Rota na regex `ALLOWED` e em `METHODS`
|
||||
(`panel/src/lib/clipper.ts`).
|
||||
- **Publicação (painel):** `clipPublishFile(clip)` em `panel/src/lib/publishing-rules.ts` devolve `publishFile` ou o motivo
|
||||
de esperar; **nunca** `file` quando o Clipador manda o campo (Clipador antigo, sem `publishFile`, segue com `file`).
|
||||
`sendDue` (`publishing.ts`) relê o corte (`clipFinalForJob`): sem final pronto o job espera ("Esperando o vídeo final…");
|
||||
com final, troca `file` (e a capa) e envia. Capa: a do final primeiro. Regras gerais: [publishing.md](publishing.md).
|
||||
- `prune` (`CLIPPER_KEEP_HOURS`) guarda o trecho de quem ainda vai precisar do final (aprovado com final pendente/erro;
|
||||
pronto com camada de teste ou desconhecida). Corte sem camada de teste não segura blocos.
|
||||
- Painel: etiqueta `revisão · teste` / `gerando final` / `final` / `final com erro` na lista; modal com player
|
||||
**Final / Revisão**, "Tentar de novo" e "Gerar vídeo final"; aviso no diálogo Publicar. Teste:
|
||||
`clipper/tests/test_final_render.py`, `publishing-rules.test.ts`, `publishing-db.test.ts`.
|
||||
- Sem tradução (fonte em português) não há dublagem nem tradução: o de revisão já é o final.
|
||||
|
||||
## Dublagem em português (`dub.py`, `doc/clipador/DUBLAGEM.md`)
|
||||
|
||||
Para fonte em inglês, só no vídeo de revisão, para a equipe entender o contexto. **Sem sincronia labial** (pedido do dono).
|
||||
|
||||
| Chave (`dev.*`) | Padrão | O quê |
|
||||
|---|---|---|
|
||||
| `dub` | `false` | liga a dublagem no vídeo de revisão (aba Legenda → "Dublagem em português (teste)") |
|
||||
| `dubVoice` | `pt-br-antonio` | voz do streamer (Edge, online) |
|
||||
| `dubVoiceOther` | `kokoro-pm-alex` | voz das falas `speaker: "other…"` (Kokoro, offline) |
|
||||
| `dubDuck` | `0.25` | volume do áudio original enquanto a dublagem toca (0–1) |
|
||||
|
||||
- **Só vozes TTS prontas**; nunca clonar a voz do streamer (terceiro sem consentimento); o painel não lista clonadas.
|
||||
- Frases de `clips.translation_json` → tempo de saída → `POST /v1/synthesize` do serviço de voz (`format: "wav"`,
|
||||
`speed: 1.05`; voz que falha cai em `pt-br-faber`). Cache `data/clipper/dub/` por (voz, velocidade, texto), −16 LUFS,
|
||||
48 kHz mono, 30 dias sem uso apaga. Encaixe `fit`: fala em velocidade natural, pode escorrer até 1,5 s sobre a próxima
|
||||
frase (sem acumular); só então acelera até 1,2× e, se ainda não couber, corta com fade. Original abaixa para `dubDuck`
|
||||
(rampa 0,15 s) só onde há dublagem; dublagem 6 dB acima do volume médio do corte (−20…+3 dB).
|
||||
- Prévia do editor e render da fila usam o mesmo caminho (`dub.for_engine`). Serviço de voz fora = sai sem dublagem.
|
||||
- **Medido** (corte 259 do tfue, 54,5 s, 25 frases, NVENC, informado em `DUBLAGEM.md`): sem dublagem 5,8 s; 1ª vez
|
||||
+29 a +41 s (~1,6 s/frase, 3 em paralelo; 6 não ajudam); cache pronto +0,3 s; prévia de 5 s com cache 1,2 s. Conversa
|
||||
densa: o português fica bem mais longo (9 das 25 falas terminaram cortadas com fade). Teste: `test_dub.py` (TTS falso).
|
||||
|
||||
## Quem fala (`speakers.py`, `voiceprint.py`, `doc/clipador/FALANTES.md`, migração v15)
|
||||
|
||||
O áudio da live é um canal só: streamer, colegas no Discord e voz do jogo misturados. **As outras vozes NÃO estão na
|
||||
câmera**; a webcam só ajuda a confirmar qual voz é o streamer.
|
||||
|
||||
- **Impressão de voz:** WeSpeaker ResNet34-LM (`models.lock.json` id `wespeaker_r34`, pesos **CC-BY-4.0**, atribuição
|
||||
"WeSpeaker, wenet-e2e", 26,5 MB, sha256 no lock) no `onnxruntime` (sem PyTorch; fbank reimplementado em numpy). Nada de
|
||||
pyannote/SpeechBrain/NeMo/Resemblyzer (pedem PyTorch). 3D-Speaker CAM++ ficou fora: licença dos pesos não conferida.
|
||||
- Etapas: `speakers.index_block` (logo após o Whisper, 0,19 s de CPU por bloco de 30 s) → `face.MouthMeter` (YuNet, boca na
|
||||
webcam, +0,5 s por bloco) → `speakers.build_model` sob demanda (0,05 s em 72 min; refeito na leitura, o rótulo melhora
|
||||
sozinho com a live). Tabela `voice_chunks (session_id, idx, data_json, updated_at)` = **migração v15** (~0,6 MB/h).
|
||||
- Regras: trechos ≤ 3 s, fecham em `. ? !`; voz = grupo com ≥ 15 s de fala (cosseno ≥ 0,5). Streamer = a voz que bate com a
|
||||
boca (t de Welch ≥ 3) **e/ou** a mais forte (≥ 3 dB acima da 2ª). **Discordam ou nenhuma decide → ninguém vira
|
||||
"outro"** (tudo do streamer, como antes). Trecho só vira `otherN` com folga (cosseno ≥ 0,30 e ≥ 0,10 acima do streamer).
|
||||
- Dados: `scoring.Word.speaker` (`""`/`"streamer"` ou `"other1"…`); `segments.words_json` aceita o 4º elemento; o projeto do
|
||||
editor ganha `sp` por palavra (projeto antigo sem `sp` sai igual); `translation_json` por linha tem `speaker` e frases
|
||||
nunca misturam falantes (tradução antiga sem `speaker` é refeita). `GET /v1/sessions/{id}/speakers` mostra as vozes e
|
||||
o porquê. Opção `speakers` (`intel.opts`, padrão ligada) desliga tudo.
|
||||
- **Legenda em duas linhas:** streamer na posição normal; outra pessoa logo abaixo (`caption.otherColor` `#5CE1FF`,
|
||||
`caption.otherSize` vazio = 85 % de `size`); no horizontal a linha do streamer sobe. Estilos `CaptionOther`/`KaraokeOther`
|
||||
só entram no ASS quando há outra pessoa: corte só com o streamer sai byte a byte igual (teste dourado do vertical).
|
||||
Editor: botão **Outra pessoa / É o streamer** corrige palavras selecionadas.
|
||||
- **Juízes:** `judge._transcript` marca `[Tfue]`/`[other1]` e manda "Never attribute to Tfue what someone else said".
|
||||
- **Medido** (sessão 15, tfue, 144 blocos, só leitura; em `FALANTES.md`): 3 vozes; volume do streamer +7,5 dB sobre os
|
||||
colegas; boca sozinha **não** resolve (webcam de perfil, AUC 0,55–0,64), quem decide é o volume; estabilidade 84 % aos
|
||||
5 min, 98 % aos 10, 99 % aos 40. Conferência visual às cegas fraca (rosto de 45 px). Sem gabarito de áudio.
|
||||
- Limites: troca de falante sem pausa nem pontuação fica com um rótulo; primeiros minutos (< 15 s de fala por voz) sem
|
||||
atribuição; vozes de NPC também viram "outra pessoa"; modelo indisponível = blocos sem impressão (não refeitos).
|
||||
@@ -12,7 +12,7 @@ renderiza cortes verticais (1080×1920, padrão) ou horizontais (1920×1080, You
|
||||
|
||||
| O quê | Onde |
|
||||
|---|---|
|
||||
| Banco do Clipador | `data/clipper/clipper.db` (`PRAGMA user_version` 13, `SCHEMA` em `clipper/app/db.py`: v1 tabelas, v2 `settings`, v3 jogo/varredura/emotes/configuração do corte — colunas novas em `sessions`, `channels.settings_json`, `chat.emotes`, `clips.learned`, tabelas `games` e `emotes`; v4 `edits` (`clip_id`, `project_json`, `rev`, `cover`, `exported_at`, `created_at`, `updated_at`); v5 `face_track`; v6 `games.notes_json`/`games.edited_at`; v7 `edits.origin` (`ai`/`user`) + `edits.ai_project_json`; v8 `clips.aspect` (`vertical`/`horizontal`, padrão `vertical`, gravado no render); v9 `sessions.capture_json` (o que a captura gravou de fato; sessões antigas `NULL`); v10 tabela `deleted_clips` (marca do corte apagado, `ON DELETE CASCADE` com a sessão); v11 `channels.monitor_paused_at`/`monitor_paused_session`/`language` e `sessions.language`, padrão `''` = `CLIPPER_LANGUAGE`; v12 `games.profile_ai_json` (perfil em inglês), `translated_at`, `aliases_json`; v13 `clips.translation_json`, fala do corte em frases + português). Migra ao subir o serviço. **Nunca altere uma migração já aplicada** (o banco real estava em v4 quando a v7 nasceu): coluna nova = `ALTER` numa versão nova |
|
||||
| Banco do Clipador | `data/clipper/clipper.db` (`PRAGMA user_version` 17, `SCHEMA` em `clipper/app/db.py`: v1 tabelas, v2 `settings`, v3 jogo/varredura/emotes/configuração do corte — colunas novas em `sessions`, `channels.settings_json`, `chat.emotes`, `clips.learned`, tabelas `games` e `emotes`; v4 `edits` (`clip_id`, `project_json`, `rev`, `cover`, `exported_at`, `created_at`, `updated_at`); v5 `face_track`; v6 `games.notes_json`/`games.edited_at`; v7 `edits.origin` (`ai`/`user`) + `edits.ai_project_json`; v8 `clips.aspect` (`vertical`/`horizontal`, padrão `vertical`, gravado no render); v9 `sessions.capture_json` (o que a captura gravou de fato; sessões antigas `NULL`); v10 tabela `deleted_clips` (marca do corte apagado, `ON DELETE CASCADE` com a sessão); v11 `channels.monitor_paused_at`/`monitor_paused_session`/`language` e `sessions.language`, padrão `''` = `CLIPPER_LANGUAGE`; v12 `games.profile_ai_json` (perfil em inglês), `translated_at`, `aliases_json`; v13 `clips.translation_json`, fala do corte em frases + português; v14 vídeo de revisão × final (`clips.review_dev_json`, `final_status/file/thumb/cover/error/at`); v15 `voice_chunks` (impressão de voz); v16 detecção do jogo (`sessions.game_status`, `game_detect_json`; vem de outra frente, o doc `DETECCAO-JOGO.md` ainda não está nesta branch); v17 `ai_calls`, `scene_notes`, `clips.owner_label/owner_note`). Detalhes de v14–v15 em [clipper-video.md](clipper-video.md), de v17 em [clipper-ai-team.md](clipper-ai-team.md). Migra ao subir o serviço. **Nunca altere uma migração já aplicada** (o banco real estava em v4 quando a v7 nasceu): coluna nova = `ALTER` numa versão nova |
|
||||
| Blocos gravados (`.ts` de 30 s + `segments.csv`) e frames | `data/clipper/sessions/<id>/` (frames em `frames/`) |
|
||||
| Pesos do rastreio de reação (YuNet, MediaPipe, OpenSeeFace) | `data/clipper/models/`, fixados (URL imutável + sha256) em `clipper/models.lock.json` |
|
||||
| Cortes prontos | `output/clipper/<sessão>/clip-<id>.mp4` + `clip-<id>.jpg` |
|
||||
@@ -31,6 +31,11 @@ renderiza cortes verticais (1080×1920, padrão) ou horizontais (1920×1080, You
|
||||
| Apagar cortes (`delete_clip`, `delete_many`, `select_ids`, `MAX_BATCH` 500, recusas `BUSY`/`PUBLISHED`/`CHANGED`, marca `marks`/`mark_spans`, arquivos só dentro das pastas do Clipador) | `clipper/app/clip_delete.py`; rotas em `main.py` (`ClipsDeleteIn`); marca lida em `worker.py` (veto depois do juiz) e na varredura (`intel.py`) | `clipper/tests/test_clip_delete.py`; `METHODS` em `panel/src/lib/clipper.ts`; seção "Apagar cortes" abaixo |
|
||||
| Parar à mão e pausa do monitor (`Engine.stop_session(id, pause_monitor=True)`, `StopIn.pauseMonitor`), idioma por fonte/sessão (`check_language`, visões de fonte/sessão/corte com `language` resolvido; Whisper e `judge.output_language_note`) | `clipper/app/worker.py`, `main.py`, `db.py` (v11), `judge.py`; painel `ACCOUNT_LANGUAGES` em `panel/src/lib/languages.ts` | `clipper/tests/test_monitor_pause_and_language.py` (9); seção "Parar é parar e idioma" abaixo |
|
||||
| Fonte em outro idioma (inglês): prompts `*_EN`, schemas com bloco `pt`, `lang_key`, `translate_lines`, `translate_clip`, `voice_language`, `phrases`, legenda `Trans` | `clipper/app/judge.py`, `intel.py` (`Intel.lang`), `worker.py`, `subtitles.py`, `scoring.py`, `layout.py`, `editor_render.py`, `editor_api.py` (`translation_for`), `main.py`; painel `clipper-client.ts`, `clipper-clip-dialog.tsx`, `clipper-clip-parts.tsx`, `clipper-clip-table.tsx`, `clipper-session-detail.tsx`, `clipper-cut-settings.tsx` | `clipper/tests/test_english_source.py` (9); seção "Fonte em inglês" abaixo |
|
||||
| Vídeo de revisão × final (`dev_flags`, `render_clip_edit(dev=…)`, `review_layers`, `render_final`, `drop_final`, rota `POST /v1/clips/{id}/final`, `publishFile`) | `clipper/app/layout.py`, `editor_api.py`, `worker.py`, `main.py`; painel `panel/src/lib/publishing-rules.ts` (`clipPublishFile`), `publishing.ts` (`sendDue`), `clipper-clip-dialog.tsx`, `clipper-clip-table.tsx` | `clipper/tests/test_final_render.py`, `publishing-rules.test.ts`, `publishing-db.test.ts`; seção em [clipper-video.md](clipper-video.md) |
|
||||
| Dublagem em português (`dev.dub*`, TTS, cache, encaixe, `duck`) | `clipper/app/dub.py` + `editor_render.py` (mistura) + serviço de voz `POST /v1/synthesize` | `clipper/tests/test_dub.py`; [clipper-video.md](clipper-video.md) |
|
||||
| Falantes (streamer × `otherN`): impressão de voz, boca, legenda em duas linhas, `GET /v1/sessions/{id}/speakers` | `clipper/app/speakers.py`, `voiceprint.py`, `face.py` (`MouthMeter`), `subtitles.py`, `judge.py` (`_transcript`); peso `wespeaker_r34` em `clipper/models.lock.json` | `clipper/tests/test_speakers.py`; [clipper-video.md](clipper-video.md) |
|
||||
| Expressões, pose da cabeça e corpo do streamer; mapa de expressões | lógica `clipper/app/reaction.py` (`label`, `body_moments`, `expression_map`, `extra_weights`), E/S `face.py` (`pose_from_matrix`, reserva do YuNet); painel `clipper-face-map.tsx` | `clipper/tests/test_expressions.py`; seção "Expressões" em "Rastreio de reação" abaixo |
|
||||
| Equipe de IA: papéis (`judge.roles`), juiz de contexto, linha do tempo JSON + mosaico (`timelineJson`), medição (`ai_calls`, `GET /v1/judge/report`), rótulo do dono | `clipper/app/roles.py`, `context_judge.py`, `timeline.py`, `report.py`, `judge.py`, `worker.py`, `intel.py`; painel `clipper-ai-team.tsx`, `clipper-judge.tsx`, `clipper-clip-parts.tsx` | `clipper/tests/test_roles.py`, `test_context_judge.py`; [clipper-ai-team.md](clipper-ai-team.md) |
|
||||
| Chat (IRC anônimo da Twitch com `CAP REQ :twitch.tv/tags` → emotes nativos e `room-id`; Pusher da Kick, emotes `[emote:id:NOME]`) | `clipper/app/chat.py` | — |
|
||||
| Heurística: pesos, base de 3 min, mínimo proporcional (`_required_messages`), reações (`min_reactions`), chat fraco (`sparse_rate` 0,5 msg/s), momentos do chat/áudio/rosto (`_chat_moments`/`_audio_moments`/`_face_moments`; `face_*` em `Params`), `pick_peaks`, `fit_window` (duração de todo corte automático) | `Params` e funções em `clipper/app/scoring.py`; alvo `min_target` em `layout.py` | `clipper/tests/test_scoring.py` (regressões de falso positivo, chat fraco e rosto), `test_duration_banner_fonts.py` |
|
||||
| Rastreio de reação — E/S: backends (MediaPipe; plano B OpenSeeFace), download sob demanda com sha256, recorte FFmpeg 6 qps, laço `face` | `clipper/app/face.py` (`for_scoring`, `must_wait`, `view`, `reset`); laço `_face_loop` e uso de `must_wait` na decisão do corte em `worker.py`; bancada `clipper/tools/face_bench.py` | `clipper/tests/test_face.py`, `clipper/models.lock.json`, `doc/FACE_BAKEOFF.md` |
|
||||
@@ -81,7 +86,10 @@ renderiza cortes verticais (1080×1920, padrão) ou horizontais (1920×1080, You
|
||||
`chat_meaning`, `confidence` (0–1) e início/fim da ação. **EDITOR** vê só texto + a análise e escreve título,
|
||||
legenda, nota e corte. Os dois podem recuar até `duration.backtrackS` (padrão 120 s) antes do candidato.
|
||||
- `PUT /v1/judge`: provedor, `model` (editor), `analystModel` (vazio = o mesmo), `minScore`, `scanEnabled`,
|
||||
`scanIntervalS`, `vision`, `camDetect`, `faceTrack`. Fica na tabela `settings`, sem reiniciar; o `.env` só dá o valor inicial.
|
||||
`scanIntervalS`, `vision`, `camDetect`, `faceTrack`, `timelineJson`, `roles`. Fica na tabela `settings`, sem reiniciar; o `.env` só dá o valor inicial.
|
||||
- **Equipe de IA (18/11/2026):** hoje são quatro papéis (varredura, analista, editor e o **juiz de contexto**), cada um com
|
||||
provedor + modelo + raciocínio + instruções do administrador (`judge.roles`), e a IA lê a live como linha do tempo JSON
|
||||
(`timelineJson`). Tudo em [clipper-ai-team.md](clipper-ai-team.md); o texto acima descreve o fluxo base analista → editor.
|
||||
- Codex: cada imagem com seu `-i`, todas antes do `-` final; `--search` é opção **global** (antes de `exec`).
|
||||
- Custo fixo: cada chamada é um processo novo (2 por candidato). `codex_lean_overrides(search, config_file=None)` em
|
||||
`judge.py` enxuga o Codex; o Claude leva `--setting-sources project,local`. Números e limites em
|
||||
@@ -234,6 +242,26 @@ medições em `doc/FACE_BAKEOFF.md`. Roda no PC, sem IA. Opção `faceTrack` (pa
|
||||
(gotchas, item 92). Não baixe esse piso sem medir.
|
||||
- **Sinal:** z robusto de cada canal contra o neutro dos últimos 180 s do próprio streamer; rótulos `risada`, `grito`,
|
||||
`susto`, `choque`, `raiva`, `confuso`. Ajuste por `ReactionParams` (pisos por canal, pesos, limiares).
|
||||
- **Expressões, cabeça e corpo** (18/11/2026; `doc/clipador/EXPRESSOES.md`, sem migração: os campos novos vão no
|
||||
`data_json` de `face_track`, séries antigas continuam valendo):
|
||||
- Rótulos novos só a partir de blendshapes que já vinham: `gargalhada` (risada + cabeça ≥ 20° para trás), `alegria` (só no
|
||||
mapa), `medo`, `nojo`, `tristeza`, `espanto`, `tenso`, `bocejo`. Além dos antigos (`risada`, `grito`, `susto`, `choque`,
|
||||
`raiva`, `confuso`). Pose (yaw/pitch/roll) vem da matriz de transformação facial do MediaPipe
|
||||
(`output_facial_transformation_matrixes=True`, `face.pose_from_matrix`).
|
||||
- **Reserva do YuNet:** quando o MediaPipe perde o rosto (streamer de perfil), o YuNet roda **só nesse quadro** (5,3 ms) e dá a
|
||||
caixa da cabeça → corpo: `balançando`, `acenando`, `agitado`, `chegou perto`, `saiu do quadro` (`reaction.body_moments`;
|
||||
"saiu" só com o campo `head`). Rastreio perdido nunca vira movimento.
|
||||
- **Canais novos só dão nome, não criam picos:** `ReactionParams.extra_weights` = 0 (a intensidade alimenta nota e fonte
|
||||
`face`; mexer sem conjunto aprovado/rejeitado maior seria chute). Ligar um canal = dar peso lá e medir de novo. Única mudança
|
||||
nos picos: bocejo deixou de contar como grito.
|
||||
- **Calibração (dados reais, 4 sessões):** bocejos eram os maiores "gritos" (jawOpen ≥ 0,6 por 3 s); `noseSneerLeft/Right`,
|
||||
`cheekSquintLeft/Right`, `cheekPuff` são sempre ~0 no MediaPipe (nojo usa o lábio de cima); mão no rosto ainda engana a
|
||||
boca (tristeza/espanto/medo/raiva no mapa); cadeira vazia pode gerar "rosto fantasma"; balançar a 6 qps é movimento, não
|
||||
"não" literal. Série de 1,7 h: ~1,4 MB/h no banco; análise ~1 s.
|
||||
- API: `GET /v1/sessions/{id}/face` ganha `expr`/`body` por segundo e `body: [{startS,endS,peakS,label,value}]`; a linha
|
||||
"Rosto do streamer" do analista leva até 2 movimentos do corpo (com rosto de perfil: "sem expressão legível… saiu do quadro").
|
||||
Painel: **Mapa de expressões** no modal do corte (`clipper-face-map.tsx`), chip `FaceSignal` com os rótulos novos.
|
||||
- **Não verificado:** serviço real rodando o código novo; painel no navegador (só `tsc`); câmera escura/minúscula além da do tfue.
|
||||
- **Cortes:** rosto **reforça, não manda.** `reasons.face` + bônus ≤ 0,6 em momentos do chat/áudio; fonte `face` só
|
||||
com z ≥ 6 **e** apoio (áudio suavizado ≥ 1,5 ou ≥ 2 mensagens de reação). A decisão do corte espera o rosto do
|
||||
trecho (no máximo 2 blocos atrás da transcrição). O analista recebe a linha "Rosto do streamer: …" — exceto
|
||||
@@ -365,16 +393,18 @@ Fonte do contrato: `doc/clipador/IDIOMAS.md`; README do Clipador, "Idioma por fo
|
||||
`clips.translation_json` `{language, startS, endS, model, lines: [{s, e, text, pt}]}`; frases de `subtitles.phrases`
|
||||
(pausa > 0,7 s, fim de frase com 4+ palavras, 16 palavras ou 6 s) traduzidas por `Judge.translate_lines`.
|
||||
`POST /v1/clips/{id}/translate` refaz (409 em fonte PT); `clip_view.translation`.
|
||||
- **Legenda em português no vídeo (só para desenvolver):** `caption.translation` (padrão `false`) → estilo ASS `Trans`
|
||||
(metade do tamanho, `&H00FFE79B`, `n8` + `\q0`) sob a legenda, seguindo o desvio do gancho; só entra no ASS quando
|
||||
ligado **e** há tradução (sem isso o ASS é idêntico ao de antes). `editor_api.translation_for` alimenta render e prévia.
|
||||
**Nunca publicar com isto ligado.**
|
||||
- **Legenda em português no vídeo (só para desenvolver):** `dev.translation` (padrão `false`; `caption.translation` é o legado, ainda lido) → estilo ASS `Trans`
|
||||
(metade do tamanho, `&H00FFE79B`) sob a legenda, seguindo o desvio do gancho; só entra no ASS quando ligado **e** há
|
||||
tradução (sem isso o ASS é idêntico ao de antes). `editor_api.translation_for` alimenta render e prévia. Entra só no
|
||||
**vídeo de revisão**: o final, gerado ao aprovar, sai sem ela ([clipper-video.md](clipper-video.md); dublagem: mesma seção).
|
||||
- **Heurística:** `scoring.py` (`REACTION_PATTERNS`, `SPOKEN_REACTION`) reconhece reação em inglês (lmao, lol, 💀, 😭, no
|
||||
way, bruh, holy, clutch, goated, clip that…). `judge.output_language_note` agora é vazio também para inglês.
|
||||
- **Voz:** `worker.VOICE_LANGUAGES`/`voice_language()` converte `en-US` → `en` e `es-419` → `es` antes do Whisper (gotchas, item 173).
|
||||
- **Começar uma fonte gringa:** Fontes → idioma English (US); jogo com perfil em inglês e gírias do público gringo
|
||||
(Jogos → "acrescente as gírias…", ou `POST /v1/games/{id}/translate` se o perfil só existe em português); ligar
|
||||
"Tradução em português embaixo (teste)" na configuração do corte do canal enquanto estiver testando.
|
||||
"Tradução em português embaixo (teste)" (e, se quiser, "Dublagem em português (teste)") na configuração do corte do
|
||||
canal enquanto estiver testando. Fontes em teste (18/11/2026): twitch-tfue (ROB RUN) e twitch-maxylobes (GTA V Chaos
|
||||
Mod, en-US, `dev.translation` + `dev.dub` ligados).
|
||||
- **Painel:** modal do corte com bloco "Em português" (título, legenda, "O que ele fala" frase a frase, botão "Traduzir a
|
||||
fala"); lista com título traduzido (🇧🇷); resumo da sessão em português; switch em `clipper-cut-settings.tsx`; Fontes: a
|
||||
coluna "Ao vivo" mostra "gravando #N" da sessão ativa e checagem do monitor com mais de 10 min vira "ao vivo há X"
|
||||
@@ -453,6 +483,15 @@ missão logo depois do gatilho de fim. Busca por nome casa `id` **ou** alias (ca
|
||||
|
||||
## Testes e evidência
|
||||
|
||||
Bloco de 18/11/2026 (revisão × final, dublagem, falantes, expressões, Equipe de IA e proxy): **informado pelo coordenador**
|
||||
(não reexecutado por mim): suíte inteira do Clipador passa; painel `tsc` + 119 testes. Testes novos: `test_final_render.py`,
|
||||
`test_dub.py`, `test_speakers.py`, `test_expressions.py`, `test_roles.py`, `test_context_judge.py`. Medidas citadas (tempo da
|
||||
dublagem, custo da voz, estabilidade dos falantes, tokens por hora) vêm dos docs de `doc/clipador/` e estão nas seções
|
||||
próprias. Não verificado: serviços reais com o código novo (precisam reiniciar), UI no navegador, juiz/dublagem/voz com IA e
|
||||
TTS reais além dos cortes citados, banco real em v17. `onnxruntime` 1.32.0 e `mediapipe` 1.2.3 reconferidos no `clipper/.venv`.
|
||||
O proxy do painel liberou `POST clips/{id}/translate` e `GET sessions/{id}/speakers` (sem isso o botão "Traduzir a fala"
|
||||
dava 404; regex `ALLOWED` + `METHODS` em `panel/src/lib/clipper.ts`).
|
||||
|
||||
Fonte em inglês (18/11/2026): `pnpm test:clipper` → **346 passed** (reexecutado nesta manutenção, 101 s); `test_english_source.py`
|
||||
novo (9 testes) e ajustes em `test_monitor_pause_and_language.py`, `test_render_and_duplicates.py`, `test_intel.py`. Não
|
||||
verificado: IA real com prompts em inglês (só o corte 259 informado), painel no navegador, `pnpm typecheck`, banco real em v13
|
||||
|
||||
@@ -508,6 +508,35 @@ Observadas em 17/11/2026 (diagnóstico da sessão 3, cartão da sessão, apagar
|
||||
**Só vale depois de reiniciar o Clipador (porta 4520)**: o código é lido na partida. Detalhes em
|
||||
[token-economy.md](token-economy.md). Onde: `clipper/app/judge.py`.
|
||||
|
||||
Observadas em 18/11/2026 (revisão × final, falantes, dublagem, trabalho em worktree):
|
||||
|
||||
180. **Corte aprovado "não publica" e o job fica parado.** Causa: a publicação só usa o vídeo FINAL (`publishFile`); enquanto
|
||||
`final_status` não é `ready` o job mostra "Esperando o vídeo final…" (final `pending`/`rendering`, ou `error`).
|
||||
Correção: olhe `final` no corte (`GET /v1/clips`, campos `final` e `publishFile`); `error` → "Tentar de novo" = `POST /v1/clips/{id}/final`.
|
||||
Nunca troque para `file` (é o de revisão, com camadas de teste). Corte antigo publicado com tradução e sem final: gere
|
||||
com `POST /final` antes de mandar a outra rede. Onde: `clipPublishFile` (`panel/src/lib/publishing-rules.ts`),
|
||||
`sendDue` (`publishing.ts`); doc `doc/clipador/REVISAO.md`.
|
||||
181. **Botão "Traduzir a fala" (e a lista de vozes) dava 404.** Causa: a rota existia no Clipador, mas a regex `ALLOWED` do
|
||||
proxy do painel não liberava `clips/{id}/translate` nem `sessions/{id}/speakers`. Correção: liberadas em `ALLOWED` +
|
||||
`METHODS`. Rota nova do Clipador = regex, método e timeout em `panel/src/lib/clipper.ts` no mesmo commit.
|
||||
182. **Fala do colega aparece como do streamer (ou tudo em uma linha só).** Causa esperada, não bug: sem atribuição nos
|
||||
primeiros minutos (< 15 s de fala por voz); volume e boca **discordam** ou nenhum decide → ninguém vira "outro"; webcam
|
||||
de perfil não separa pela boca; o código novo só roda depois de reiniciar o Clipador. Correção: confira
|
||||
`GET /v1/sessions/{id}/speakers` (vozes e por quê); corrija à mão no editor (**Outra pessoa / É o streamer**).
|
||||
Onde: `clipper/app/speakers.py`; `doc/clipador/FALANTES.md`.
|
||||
183. **Dublagem soa corrida, emendada ou cortada no fim.** Causa: o português sai bem mais longo que o inglês; o encaixe
|
||||
deixa a fala escorrer até 1,5 s sobre a próxima frase, acelera até 1,2× e por fim corta com fade (medido: 9 de 25 falas
|
||||
cortadas no corte 259). Não é falha; **não** acelere além disso nem clone a voz do streamer. A 1ª renderização sintetiza
|
||||
(~1,6 s por frase); depois o cache (`data/clipper/dub/`) deixa +0,3 s. Onde: `clipper/app/dub.py` (`fit`).
|
||||
184. **Worktree de isolamento do harness falha no Windows.** Causa: diferença de caixa da letra do drive (`f:` × `F:`).
|
||||
Correção: criar a worktree à mão em `F:/Projects/cf-wt/<nome>` (`git worktree add`). Para rodar testes nela: copiar
|
||||
`clipper/tests/data/vertical_golden_sha256.json` (ignorado no git, o teste dourado do vertical precisa dele) e criar
|
||||
um junction `panel/node_modules` apontando para o da pasta principal (sem isso `tsc` e os testes do painel não rodam).
|
||||
185. **Serviço "não pegou" ou "caiu e não voltou".** Os serviços (painel, voz, Clipador, Publicador) são do usuário, subidos
|
||||
por `pnpm dev`: agente **não** sobe nem encerra. O `scripts/dev.ts` pula um serviço se a porta já está ocupada e só
|
||||
reinicia sozinho a voz (quando `voice/.env` muda); serviço que cai não volta. Peça ao usuário para reiniciar o `pnpm
|
||||
dev` (com a suíte verde: item 87) e compare o início do processo com o arquivo (item 143).
|
||||
|
||||
## Publicação (Publicador + despachante do painel)
|
||||
|
||||
Regras de projeto informadas em 17/11/2026 (código em `panel/src/lib/publishing*.ts` e `publisher/app/`); nenhuma
|
||||
|
||||
@@ -355,12 +355,12 @@ sidebar (`sidebar-nav.tsx`) mostra os mesmos subitens quando o Clipador está at
|
||||
|
||||
| Rota | Conteúdo | Arquivos |
|
||||
|---|---|---|
|
||||
| `/clipper` Cortes | lista `ClipTable` (uma linha por corte; ações rápidas Aprovar/Rejeitar/Publicar), filtros na URL (`?stage ?source ?session ?lang`), modal `ClipDialog` por `?clip=ID` com anterior/próximo; em fonte inglesa, bloco "Em português" e título traduzido na lista ([clipper.md](clipper.md#fonte-em-inglês-18112026)) | `clipper-clips-page.tsx`, `clipper-clip-table.tsx`, `clipper-clip-dialog.tsx`, `clipper-clip-parts.tsx`; ordenar/apagar/selecionar em utilitários de `clipper-queue.tsx` |
|
||||
| `/clipper` Cortes | lista `ClipTable` (uma linha por corte; ações rápidas Aprovar/Rejeitar/Publicar), filtros na URL (`?stage ?source ?session ?lang`), modal `ClipDialog` por `?clip=ID` com anterior/próximo; em fonte inglesa, bloco "Em português" e título traduzido na lista ([clipper.md](clipper.md#fonte-em-inglês-18112026)); etiquetas e player **Final / Revisão** do vídeo final, **Mapa de expressões**, "O que falam" por falante, botão **Sem contexto** e veredito do juiz de contexto ([clipper-video.md](clipper-video.md), [clipper-ai-team.md](clipper-ai-team.md)) | `clipper-clips-page.tsx`, `clipper-clip-table.tsx`, `clipper-clip-dialog.tsx`, `clipper-clip-parts.tsx`; ordenar/apagar/selecionar em utilitários de `clipper-queue.tsx` |
|
||||
| `/clipper/sessions` | lista de sessões; "Gravar pelo link" em diálogo (`RecordForm`) | `clipper-sessions-page.tsx` |
|
||||
| `/clipper/sessions/[id]` | saúde, resumo da IA, tiles, gráfico do chat, emotes, configuração do corte | `clipper-session-detail.tsx` |
|
||||
| `/clipper/sources` | fontes em tabela, "Adicionar fonte" em diálogo, monitor ligado/**pausado** + Religar, idioma da live, canais de publicação; coluna "Ao vivo" = "gravando #N" (sessão ativa) ou "ao vivo há X" apagado se a checagem tem > 10 min (gotchas, item 174) | `clipper-channels.tsx` |
|
||||
| `/clipper/games` | jogos em tabela (nome, gênero, estado, missões, última pesquisa/edição), "Adicionar jogo" em diálogo, `?game=ID` abre o modal do jogo e emotes do canal | `clipper-games-page.tsx`, `clipper-game-dialog.tsx` (modal), `clipper-game-parts.tsx` (seções, `AiChat`, editor à mão), `clipper-games.tsx` |
|
||||
| `/clipper/settings` | abas Juiz (IA) / Serviço / Idiomas e públicos | `clipper-settings-page.tsx`, `clipper-judge.tsx` |
|
||||
| `/clipper/settings` | abas Juiz (IA) / Serviço / Idiomas e públicos; em Juiz, a **Equipe de IA** (um cartão por papel: provedor, modelo, raciocínio, instruções do administrador, mosaico/`timelineJson`) e a **Medição** ([clipper-ai-team.md](clipper-ai-team.md)) | `clipper-settings-page.tsx`, `clipper-judge.tsx`, `clipper-ai-team.tsx` |
|
||||
| `/clipper/edit/[clipId]` | editor em tela cheia, **fora** do grupo `(studio)` | ver "Editor de cortes" |
|
||||
|
||||
`clipper-studio.tsx` foi **apagado**; `clipper-queue.tsx` virou só utilitários da lista (a lista é `ClipTable`);
|
||||
|
||||
@@ -74,6 +74,9 @@ No texto visível do Clipador "Canais" virou **"Fontes"**; código, tabelas e ro
|
||||
- Encerrar fonte/história cancela os jobs não enviados (`unlinked`); religar zera `linked_at` (a automática não pega
|
||||
cortes do intervalo desligado). Cancelar no meio de um ciclo vale (UPDATEs condicionais; se o Publicador já criou o
|
||||
envio, o painel cancela lá). Aprovação automática é registrada em `clip_auto_approvals` antes do PATCH no Clipador.
|
||||
- **Só o vídeo FINAL sai** (18/11/2026): corte de fonte com camadas de teste (tradução, dublagem) tem um vídeo de revisão e, ao
|
||||
aprovar, um final sem elas. `clipPublishFile` (`publishing-rules.ts`) devolve `publishFile` ou o motivo de esperar; `sendDue`
|
||||
relê o corte e deixa o job em "Esperando o vídeo final…" até estar pronto; nunca use `file`. Detalhes: [clipper-video.md](clipper-video.md), gotchas 180.
|
||||
- **Botão "Publicar" do corte** (`POST /api/publishing/clips/<id>`, corpo `{accountId, platforms[], timing?: "now"|"best_slot"}`,
|
||||
resposta `{jobs, skipped[{platform, reason}], placed}`; `publishClip`; `timing` também aceita `"at"`, ver abaixo): serve para corte aprovado cuja fonte **não** está
|
||||
ligada a canal (`account_channels`) ou para outra rede. O clique é a aprovação humana. `timing` omitido = o do canal.
|
||||
|
||||
@@ -142,6 +142,7 @@ no `clipper/.venv` em 16/11/2026 (`importlib.metadata`). Evidência (`doc/FACE_B
|
||||
| mediapipe (Face Landmarker `face_landmarker.task` float16/1) | 1.2.3 | Apache-2.0 | 478 pontos + 52 blendshapes; 5–7 ms/quadro na bancada; bloco de 30 s em 1,71 s ao vivo (com gravação + transcrição juntas) |
|
||||
| opencv-contrib-python (`cv2.FaceDetectorYN`) + YuNet `face_detection_yunet_2026may.onnx` | 5.0.0.93 (`cv2` 5.0.0) | Apache-2.0 / MIT (peso) | acha a câmera pelo rosto no quadro inteiro (piso de confiança 0,7: gotchas, item 92). Sem `opencv-python-headless` junto (gotchas, item 80) |
|
||||
| numpy | 2.5.5 | BSD | séries e recorte |
|
||||
| onnxruntime + WeSpeaker ResNet34-LM `wespeaker_voxceleb_resnet34_LM.onnx` (`wespeaker_r34` no lock, commit `f0c48c2…`) | 1.32.0 (onnxruntime reconferido em 18/11/2026) | CC-BY-4.0 (pesos; atribuição "WeSpeaker, wenet-e2e") | impressão de voz: quem fala cada palavra (streamer × `otherN`); 0,19 s de CPU por bloco de 30 s. Medido em `doc/clipador/FALANTES.md` (sessão 15, informado; **não reexecutado** aqui). Quadro: [clipper-video.md](clipper-video.md) |
|
||||
| onnxruntime + OpenSeeFace `osf_lm_model3_opt.onnx` / `osf_mnv3_detection_opt.onnx` | 1.32.0 | MIT / BSD-2-Clause (pesos) | plano B (só posição, sem expressões; sem linha de rosto ao analista). Pesos reais no `face.py` em 17/11/2026: rosto 96,7–100 %, 12,3–13,9 ms/quadro (MediaPipe no mesmo trecho: 94,4–100 %, 9,8–13,2) |
|
||||
|
||||
Pesos fixados em `clipper/models.lock.json` (commit/caminho versionado + sha256), baixados em `data/clipper/models/`.
|
||||
|
||||
Reference in New Issue
Block a user