Files
CenaForge/doc/clipador/PESQUISA-JUIZ.md
T

31 KiB
Raw Blame History

Clipador — pesquisa: três papéis de IA, vídeo como "linha do tempo JSON" e juiz de contexto (18/11/2026)

Pesquisa + proposta. Nada foi implementado. Números de custo marcados com "≈" são estimativas a partir das fórmulas oficiais e do tamanho real dos prompts; números marcados com "medir" ainda não existem.

1. Pedido do dono

  1. Três papéis, cada um com provedor + modelo próprios e instruções editáveis no painel: ANALISTA (o que aconteceu) → EDITOR (vira corte? trecho, título, legenda) → JUIZ (novo: o corte tem CONTEXTO e faz sentido sozinho? "não trazer corte sem sentido", principalmente em inglês).
  2. "Ler o vídeo como JSON": transformar o vídeo em uma linha curta por cena/instante, barata em tokens, e descobrir o que melhora a nota/decisão de corte.

2. Ponto de partida (lido no código e no banco, 18/11/2026)

  • Frames: media.grab_frame gera JPEG 768×432 (scale=768:-2, -q:v 4). Varredura: 7 frames por janela de 180 s (intel.SCAN_MAX_FRAMES); analista: 6–8 frames do trecho (worker.judge_clip); editor: só texto quando há análise. Os mesmos instantes podem ser enviados duas vezes (varredura e depois analista).
  • Prompts de sistema (EN): analista ≈ 670 tokens, editor ≈ 1.020, varredura ≈ 810 (+ schema 160–250). Perfil do jogo ROB RUN em inglês: 4.156 caracteres (≈ 1.000 tokens) em toda chamada.
  • Claude pela CLI: imagens via ferramenta Read (uma leitura por imagem = mais turnos); custo fixo medido da CLI ≈ 2,6 mil tokens por chamada (comentário em judge._claude). Codex e Gemini: fixo não medido.
  • Volume real: sessão 15 (tfue, ROB RUN, 1h22) teve 35 candidatos (≈ 25/h; 18 descartados pela IA); sessão 7 (5h07) teve 81 (≈ 16/h). Ou seja, os candidatos pesam mais que a varredura (2 chamadas × 15–25/h contra 20/h).
  • Exemplo do problema que o JUIZ deve pegar (corte 291, mantido com nota 7,5): o próprio analista escreveu "The messages do not clearly establish the outcome of the encounter" — o corte não tem o desfecho, e passou.

3. O que o mercado faz (sinais conhecidos)

Ferramenta O que se sabe dos sinais Fonte
Opus Clip (ClipAnything) Multimodal (visual, áudio, "sentimento"); nota de viralidade 0–99 com 4 eixos: Hook (a abertura prende e tem a ver com o tema), Flow (segue lógico até uma conclusão satisfatória), Value (emoção/conexão), Trend; + relevância ao prompt. Fórmula não publicada. help.opus.pro (sem data)
Eklipse "Gameplay Intelligence" (Premium desde 01/06/2026) Abandonou "gatilho + janela" (1 kill/pico de chat/pico de áudio = 1 corte). Agora pontua candidatos por 4 sinais juntos: eventos de estado do jogo, composição do áudio (voz × jogo × fundo), densidade de ação na tela e continuidade (começo de sequência × lance isolado). Lê o estado visível do jogo para decidir início/fim: mantém o setup quando o momento depende dele e corta o tempo morto. Roteia por gênero pela categoria. Camada de "arco narrativo" (escalada em voz, chat e jogo) para conteúdo falado. Antes: OCR/detecção de objeto no HUD e kill feed; HUD tapado pela câmera = não detecta. blog Eklipse (26/05/2026); páginas de comparação/ajuda
Twitch Auto Clips Out/2025: "empolgação positiva, conversa engraçada". Mai/2026: atividade do chat, inflexão da voz e eventos na tela; corte já legendado. Dados de teste: 50% → 85% dos streamers com um corte para postar (alegação da empresa). TwitchCon San Diego (17/10/2025) e Rotterdam (30/05/2026)
YouTube "Live recap"/destaques Escolhe momentos da live encerrada e gera Shorts para o criador publicar (experimental). Sinais não publicados. Made on YouTube (set/2025)
StreamLadder ClipGPT Até 10 cortes por VOD + "Virality Score"; terceiros citam áudio + engajamento do chat (não confirmado pelo fornecedor). streamladder.com; comparativos 2026
Klap / Vizard Generalistas, bons em conteúdo falado; Klap publica os fatores da nota 0–100. Não específicos de jogo. comparativos 2026
Medal, Powder, Athenascope Não achei fonte atual confiável sobre os sinais (Medal aparece como captura manual em comparativo). Fora da análise. —

Lições para nós: (1) pontuar com vários sinais ao mesmo tempo, não um gatilho; (2) estado do jogo pelo HUD (texto na tela) é o sinal visual mais barato e confiável; (3) "continuidade/arco" e "conclusão satisfatória" são exatamente o que falta hoje — é o papel do JUIZ; (4) o corte precisa incluir o setup quando o momento depende dele (Eklipse) — é a principal correção que o juiz pode pedir.

4. Como ler vídeo barato

4.1 Custo de imagem por provedor (fórmulas oficiais, consultadas em 18/11/2026)

Provedor Fórmula 1 frame 768×432 (hoje) Mosaico 4×2 de 384×216 (1536×432)
OpenAI (Codex) patches de 32 px: ceil(w/32)·ceil(h/32) × multiplicador (1,2 na família gpt-5.x/gpt-6-astra; assumido 1,2 para gpt-6-luna) 24·14 = 336 × 1,2 ≈ 404 48·14 = 672 × 1,2 ≈ 807 (8 frames)
Anthropic (Claude) patches de 28 px: ceil(w/28)·ceil(h/28); teto 1.568 (padrão) / 4.784 (alta resolução, 4.7+) 28·16 = 448 55·16 = 880 (8 frames)
Google (Gemini 3/4) fixo por imagem conforme media_resolution: padrão 1.120, low 280, medium 560 1.120 (a CLI usa o padrão) 1.120 (8 frames) ou 280 em low
Gemini vídeo nativo 1 fps padrão; 70 tokens/frame (low/medium), 280 (high); áudio 32 tokens/s; ≈ 100 tokens/s no total; fps e start/end_offset configuráveis (API) — corte de 90 s ≈ 9 mil tokens com áudio (fps 0,5 ≈ 6 mil)

Hoje, por hora (tfue, ~25 candidatos/h, Codex): imagens ≈ 20×7×404 + 25×8×404 ≈ 138 mil tokens. No Gemini (1.120/imagem) o mesmo fluxo daria ≈ 381 mil — o mosaico ou o texto cortam isso em 4–8×.

4.2 Técnicas (o que a pesquisa mostra)

  • Mosaico/grade de frames numa imagem só. IG-VLM (2024) mostrou que uma grade de frames numa imagem deixa um modelo de imagem entender vídeo sem treino; TS-LLaVA (2024): 16 frames em 4 grades > frames soltos com o mesmo número de tokens. "Paying for Too Many Tokens?" (30/09/2026, AACL 2026): uma grade 2×8 de frames escolhidos por mudança de plano chegou perto do vídeo inteiro (κ dentro de 0,05) com ~15% do custo, e "só texto" muitas vezes já bastava. Limite: grade perde detalhe fino (texto pequeno do HUD) → cobrir com OCR local. Para nós: ffmpeg já faz (select + scale=384:-2 + tile=4x2), sem dependência nova; no Claude vira 1 Read em vez de 8.
  • Amostrar por mudança, não por relógio. Em gameplay a câmera é contínua: corte de plano quase só acontece em menu, loading, morte, teleporte, troca de câmera — justamente eventos úteis. Proposta híbrida: nova entrada quando muda a cena (ffmpeg scdet/select='gt(scene,x)', ou PySceneDetect, BSD-3) ou a cada no máximo 8 s, ou num pico de chat/áudio/rosto, ou numa pausa da fala. PySceneDetect não publica velocidade; medir.
  • "Legenda primeiro, raciocínio depois" (caption-then-reason). LLoVi (EMNLP 2024): um legendador descreve pedaços curtos e um LLM raciocina só sobre o texto — bateu o estado da arte em vídeo longo. HiVid (fev/2026): modelos de vídeo dão nota subjetiva ruim no zero-shot; janela deslizante local + resumo global funciona melhor. É exatamente a "linha do tempo JSON".
  • OCR do HUD (o sinal que o Eklipse usa): RapidOCR/PaddleOCR PP-OCRv5 (Apache-2.0), recortes fixos por jogo (canto do kill feed, faixa central de "MISSION PASSED"/"WASTED", estrelas de procurado, dinheiro). Só registrar texto novo.
  • Eventos de áudio: YAMNet (Apache-2.0, 521 classes AudioSet: Laughter, Screaming, Shout, Gunshot/gunfire, Explosion, Siren, Applause, Cheering, Music; saídas não calibradas → limiar por classe) roda em CPU sobre o mesmo áudio 16 kHz do Whisper. PANNs (código MIT; pesos CC-BY-4.0 segundo os ports — atribuição, permitido) como alternativa mais precisa.
  • VLM local pequeno para a frase da cena (licença dos PESOS conferida):
Modelo Licença dos pesos Situação para o dono
Qwen3-VL-2B/4B-Instruct Apache-2.0 (card oficial do 4B; 2B por espelhos — conferir o LICENSE oficial) OK — melhor candidato (entende jogo, segue JSON)
SmolVLM2 2.2B / 500M / 256M Apache-2.0 (card oficial) OK — leve, feito para vídeo, ~5 GB VRAM no 2.2B em fp16
Florence-2 base/large MIT OK — rápido (~1 s/img numa T4), mas legenda genérica ("a car on a street"); bom para OCR/objetos
Moondream 2 Apache-2.0 OK (não testado aqui)
Moondream 3 (preview) / 3.1 BSL 1.1 com concessão / "Moondream Model License" Evitar (licença própria com restrição)
Qwen2.5-VL-3B Qwen Research License = não comercial Proibido
Gemma 3 termos próprios do Gemma (não verificado nesta pesquisa) Evitar por precaução
  • Máquina local: nvidia-smi em 18/11/2026 → RTX 2060 SUPER, 8 GB, 7,1 GB já ocupados naquele momento (Whisper e o que mais estava aberto). VRAM é o gargalo: VLM só quantizado (Qwen3-VL-2B Q4 ≈ 1,5–2 GB via llama.cpp/Ollama, ambos MIT) ou Florence-2-base (< 1 GB). Turing não tem bf16 → fp16/int4.
Etapa local Onde roda Tempo por minuto de live (estimativa — medir)
Mudança de cena (ffmpeg scdet em 160 px, NVDEC) GPU decode/CPU 1–3 s
OCR de 2–4 recortes do HUD a cada 2 s CPU (RapidOCR ONNX) 1–3 s
YAMNet em janelas de 0,96 s CPU < 1 s
Frase da cena: ~8–10 keyframes/min, Qwen3-VL-2B Q4 GPU 5–15 s
Rosto, chat, fala, volume já existem 0

Total ≈ 10–20 s por minuto de live (abaixo do tempo real), concorrendo com o Whisper pela GPU.

5. A "linha do tempo JSON" (proposta)

Formato: JSON Lines, uma linha por cena/instante, chaves curtas (a legenda das chaves vai uma vez no prompt de sistema), segundos inteiros da gravação (o editor devolve start_s/end_s nessa régua), campos vazios omitidos.

Campo Conteúdo De onde vem
t, d início (s da gravação) e duração da entrada local: segmentação híbrida (cena / ≤ 8 s / pico / pausa da fala)
k só quando houve corte de plano: "cut" local: scdet
v o que está na tela / ação, ≤ 12 palavras, no idioma da fonte VLM local (F3) ou a própria varredura escreve a partir do mosaico (F1)
hud texto novo do HUD ("WANTED 3★", "-$1,200", "MISSION PASSED") local: OCR nos recortes do perfil do jogo
face expressão do streamer + intensidade 0–1 ("laugh.7", "shock.8", "talk") local: YuNet + MediaPipe (reaction.summarize)
aud eventos de áudio acima do limiar (gunshot, laughter, siren…) local: YAMNet
lvl volume relativo ao normal da live, 0–9 local: RMS já calculado
sp fala literal do trecho (até ~25 palavras) local: Whisper (palavras com tempo)
chat "msgs|emote×n|frase mais repetida" local: scoring/emotes já calculados

Exemplo inventado — 60 s de ROB RUN (tfue, inglês) — 1.681 caracteres ≈ 470 tokens:

{"win":[4521,4581],"game":"ROB RUN","cam":"bottom-left","src":"en"}
{"t":4521,"d":6,"v":"Tfue on foot at beach house, aims rifle at masked player","hud":["WANTED 2★"],"face":"talk","aud":["music"],"lvl":3,"sp":"yo yo we're just passing through bro, we're friendly","chat":"6|LUL×2|he's lying"}
{"t":4527,"d":8,"v":"masked player points shotgun back, both standing still","face":"smile.4","lvl":3,"sp":"I literally only have an action camera, I swear","chat":"9|KEKW×3|action camera LMAO"}
{"t":4535,"d":7,"v":"teammate's car pulls up behind masked player","aud":["engine"],"lvl":4,"sp":"don't shoot, don't shoot, it's my first day in the city","chat":"8|ICANT×2|first day 💀"}
{"t":4542,"d":4,"k":"cut","v":"masked player fires, Tfue ragdolls to the ground","hud":["YOU ARE DOWN","-$1,200"],"face":"shock.8","aud":["gunshot","shout"],"lvl":8,"sp":"WHAT? BRO WHAT","chat":"21|OMEGALUL×7|LMAOOO"}
{"t":4546,"d":6,"v":"downed view, masked player loots Tfue's bag","hud":["REVIVE 0:12"],"face":"laugh.7","aud":["laughter"],"lvl":7,"sp":"he took my camera! he took my action camera!","chat":"26|KEKW×9|he's cooked"}
{"t":4552,"d":8,"v":"teammate runs over, revives Tfue behind car","hud":["REVIVED"],"face":"talk","lvl":5,"sp":"that guy came out of nowhere, he's gotta be hacking","chat":"14|Clueless×3|skill issue"}
{"t":4560,"d":9,"v":"Tfue drives car along beach road, police car behind","hud":["WANTED 3★"],"aud":["siren","engine"],"lvl":6,"sp":"cops cops cops, go go go","chat":"10|monkaS×2|"}
{"t":4569,"d":12,"v":"car chase through Looty Bay streets, crashes into fence","aud":["crash","siren"],"lvl":7,"face":"focus","sp":"I can't see anything, where are we going","chat":"7||"}

Lendo só isso, qualquer modelo de texto vê setup (4521–4541: implora paz, "action camera"), gatilho (4542: tiro), desfecho (4546: rouba a câmera — a piada fecha) e a cauda que não pertence ao corte (4560+: perseguição). É o que faltou no corte 291.

Tokens por minuto: ≈ 450–550 com fala contínua (tfue), ≈ 250 em minuto calado. Comparação da evidência (sem prompt de sistema nem perfil):

Chamada Hoje (frames + transcrição + chat) Linha do tempo Cobertura visual
Varredura (3 min + 2 min de volta) 7×404 + ~1.000 + ~400 ≈ 4.200 3 min × 500 + volta resumida ~400 ≈ 1.900 1 frame/25 s → 1 entrada/6–8 s + áudio + HUD
Analista (janela ~225 s, 8 frames) 8×404 + ~800 + ~350 ≈ 4.400 3,75 min × 500 ≈ 1.900 (+ mosaico opcional 807) 1 frame/20 s → 1 entrada/6–8 s
No Gemini (1.120/imagem) varredura ≈ 9.200 · analista ≈ 10.100 igual acima —

6. Arquitetura recomendada dos três papéis (+ varredura)

blocos .ts ─► LOCAL: cena/HUD/áudio/rosto/fala/chat ─► timeline.jsonl (por sessão, reaproveitada por todos)
VARREDURA (texto [+ 1 mosaico/3 min]) ─► candidatos ─┐
chat/áudio/rosto ─► candidatos ──────────────────────┴► ANALISTA ─► EDITOR ─► (manteve e nota ≥ mínima) ─► JUIZ
                                                                                      ├ aprova ─► render
                                                                                      ├ ajusta ─► 1 nova checagem ─► render | descarta
                                                                                      └ reprova ─► "descartado pelo juiz" (forçável)
Papel Vê imagem? Entrada Saída JSON (chaves em inglês; pt para o painel em fonte EN)
Varredura opcional: 1 mosaico 4×2 por janela timeline da janela + memória + perfil enxuto (clip_worthy, jargon) como hoje (moments, summary) + em F1 lines: a frase v de cada keyframe do mosaico, que vai para a timeline e é reaproveitada
Analista opcional: 1 mosaico do trecho (só se v faltar ou confiança baixa) timeline da janela (volta até backtrackS) + perfil enxuto + rosto campos atuais + setup_s (onde começa o contexto necessário), trigger_s, payoff_s e beats (≤ 4 frases curtas: setup → gatilho → desfecho)
Editor não análise + timeline só do trecho ± 15 s + perfil (hashtags, jargão) atual (keep, score, start_s, end_s, title, caption, hashtags, reason) + context_line opcional (≤ 8 palavras na tela nos 2 primeiros segundos, ex.: "Tfue tries to talk his way out of a robbery")
Juiz não só o que o espectador verá: timeline de start_s..end_s + 20 s antes marcados "fora do corte" + título/legenda/context_line + "história pretendida" (what_happened do analista) + 1 linha do jogo viewer_summary (o que um espectador frio entende, escrito ANTES dos checks), checks, fix, confidence, reason, pt

Schema do JUIZ (saída):

{
  "viewer_summary": "Tfue begs a robber to spare him, gets shot anyway and loses his 'action camera'.",
  "checks": {                         // cada um: ok + instante de evidência + motivo curto
    "setup":        {"ok": true,  "t": 4521, "why": "plea starts at 4521"},
    "payoff":       {"ok": true,  "t": 4546, "why": "camera stolen = punchline"},
    "who_what":     {"ok": true,  "t": 4521, "why": "streamer vs masked robber clear"},
    "standalone":   {"ok": false, "t": 4552, "why": "'that guy came out of nowhere' refers to earlier fight"},
    "intelligible": {"ok": true,  "t": null, "why": ""},
    "faithful":     {"ok": true,  "t": null, "why": ""},
    "strong_open":  {"ok": false, "t": 4521, "why": "first 3 s are calm talking"}
  },
  "fix": {"start_s": null, "end_s": 4551, "context_line": "Tfue tries to talk his way out of a robbery"},
  "confidence": 0.8,
  "reason": "Works alone if it ends on the stolen camera; tail depends on earlier context.",
  "pt": {"viewer_summary": "…", "reason": "…"}
}

Decisão pelo código, não pelo modelo (calibrável no painel): setup, payoff e standalone são críticos. Crítico falho + fix dentro da margem (backtrackS, duração mín./máx.) → aplica (fit_window) e roda o juiz uma vez de novo no trecho novo; falhou de novo → descarta com motivo em português. Crítico falho sem fix → descarta. Não críticos só baixam a nota (score_final = score_editor − 0,5 por check não crítico falho, ajustável). Corte manual: juiz só avisa (não descarta), como o editor hoje.

Critérios específicos para lives em inglês (instruções padrão do juiz):

  • Referência a algo fora do corte: "that guy", "again", "like I said", "remember when", nomes nunca apresentados, callbacks a doação/raid/sub, piada interna do chat ou do canal.
  • Fala-chave de colega no Discord ou de outro jogador que o Whisper não pegou (o streamer só reage) → intelligible falha.
  • Ironia/gíria que muda o sentido ("he's cooked", "Clueless", "W") só vale se a tela confirma.
  • Corte que termina antes do desfecho (sem resultado da treta, da fuga, da missão) → payoff falha (o caso 291).
  • Título que afirma o que só foi suspeita ("caught a hacker" quando ele só acusa) → faithful falha.
  • Conteúdo que só funciona para quem acompanha o streamer (lore do canal) → standalone falha, salvo context_line resolver.

6.1 Técnicas de LLM-como-juiz aplicadas

  • Checklist sim/não em vez de nota livre (TICK, 2024: checklist gerada elevou a concordância exata com humanos de 46,4% para 52,2%; guias de 2025–2026 recomendam critérios binários com justificativa; white paper da Microsoft (jun/2026) aponta nota direta 1–5 como frágil). A nota final sai das checagens.
  • Raciocínio antes do veredito: viewer_summary vem primeiro; comparar com a "história pretendida" é um juiz com referência, que a literatura mostra ser mais estável (G-Eval, 2023; MT-Bench, 2023).
  • Cascata barata (Trust or Escalate, ICLR 2025: juiz pequeno primeiro, escala para um forte só quando não está confiante — >80% de concordância garantida cobrindo ~80% dos casos): confidence < 0,6 ou exatamente um crítico falho → segunda opinião com outro provedor/modelo (configurável); empate decide pelo descarte. Votação (self-consistency) só nesses casos, não em todos.
  • Evitar autopreferência: o juiz de preferência em provedor diferente do editor (modelos julgam melhor o texto que eles mesmos gerariam).
  • Calibração com o dono: aprovar/rejeitar no painel já existe; acrescentar o motivo "sem contexto" na rejeição e medir a concordância juiz × dono. Exemplos reais (2 bons, 2 ruins) entram como few-shot nas instruções do admin.

6.2 Modelo por papel

Papel Perfil de modelo Sugestão inicial (CLI logada)
Varredura muito frequente, barato; só texto (+1 mosaico) gpt-6-luna / haiku / gemini-3.1-flash-lite
Analista cruza fontes; visão só no mosaico opcional gemini-3.5-flash (boa visão; vídeo nativo na escalada) ou gpt-6-luna
Editor escreve título/legenda em inglês nativo haiku ou gpt-6-luna; modelo maior só se o dono notar título fraco
Juiz raciocínio curto e rígido, só texto provedor ≠ editor; gpt-6-luna com model_reasoning_effort="medium" ou haiku; segunda opinião: sonnet / gemini-2.5-pro

Com chave de API: deixar estáveis no início do prompt (sistema + perfil) e o variável no fim, para aproveitar o cache automático de prefixo (OpenAI) / cache do Claude.

6.3 Custo estimado por candidato e por hora (tfue, ~25 candidatos/h, Codex)

Chamada Hoje (entrada ≈) Proposta (entrada ≈) Observação
Varredura ×20/h 6.300 → 126 mil/h 3.400 → 68 mil/h perfil enxuto (~500) + timeline
Analista ×25/h 6.600 → 165 mil/h 3.500–4.300 → 88–108 mil/h com/sem mosaico
Editor ×25/h 4.450 → 111 mil/h 2.850 → 71 mil/h só o trecho, sem a volta inteira
Juiz ×~13/h (só mantidos) — 1.950 (+30% 2ª opinião/rechecagem) → ≈ 33 mil/h saída ≈ 250
Conteúdo total ≈ 400 mil/h ≈ 260–280 mil/h (−30 a −35%)
Fixo das CLIs (≈ 2,5 mil/chamada) 70 chamadas → ≈ 175 mil ≈ 83 chamadas → ≈ 208 mil medir (Codex/Gemini)
Total ≈ 575 mil/h ≈ 470–490 mil/h (−15%) no Gemini a economia passa de −40% (imagens a 1.120)

Por candidato mantido: hoje ≈ 11 mil (analista + editor); proposta ≈ 8–9 mil com o juiz. A economia de token é moderada; o ganho principal é qualidade (cobertura a cada 6–8 s, áudio e HUD, desfecho checado). Alavancas extras: portão local antes do analista (timeline mostra menu/loading, sem fala e sem reação → não gasta IA); candidato da varredura que já veio com análise pula o analista; o fixo da CLI é o maior item restante — medir antes de otimizar.

7. Plano em fases

Fase O que entra Precisa de modelo novo?
F0 — medir (1–2 dias) Gravar usage por chamada em judge_json (claude -p --output-format json traz uso; codex exec --json e gemini -o json trazem stats); base: tokens/h por papel, latência, % descartado, % aprovado pelo dono. Separar 50–100 cortes antigos rotulados pelo dono (bom / ruim / "sem contexto"). não
F1 — três papéis + timeline v0 Configuração por papel (provedor, modelo, esforço, instruções, liga/desliga); JUIZ só texto com o schema acima e decisão pelo código; mosaico 4×2 (ffmpeg tile) no lugar dos N frames; timeline com o que já existe (fala, chat, rosto, volume, scdet) + frase v escrita pela varredura a partir do mosaico e guardada; perfil enxuto por papel. não
F2 — sinais locais leves YAMNet (áudio, CPU) e RapidOCR (HUD, CPU); perfil do jogo ganha hud_regions e hud_keywords (ex.: "WANTED", "MISSION PASSED", "YOU ARE DOWN"). sim, pequenos (Apache-2.0)
F3 — legenda local de cena Qwen3-VL-2B/4B (Apache-2.0) via llama.cpp/Ollama, ou SmolVLM2; bake-off contra a frase da varredura em 30 cortes (como doc/FACE_BAKEOFF.md). Ganhando, analista e varredura ficam só texto; imagem só na escalada. sim (VLM)
F4 — escalada com vídeo nativo (opcional) Casos duvidosos: Gemini por API key com o trecho em vídeo (fps 0,5–1, low; ≈ 6–9 mil tokens por 90 s, com áudio). não (API)

Riscos: VRAM de 8 GB já cheia (VLM concorre com o Whisper → F3 só quantizado, e medir); legenda de VLM pequeno alucina (mitigar: vocabulário do perfil, confiança, analista cruza com fala/HUD); OCR falha em fonte estilizada; gameplay contínuo gera poucos cortes de plano (por isso o teto de 8 s); juiz rígido demais mata corte bom (medir falso negativo); +1 chamada (~5–7 s) por corte mantido; a CLI do Gemini cobra 1.120 tokens por imagem e não expõe media_resolution (por isso mosaico/texto); mudanças de flags nas CLIs.

O que medir para saber se melhorou (antes × depois, mesma fonte):

  • Precisão: % dos cortes "prontos" que o dono aprova (meta: subir); falso positivo: mantido pela IA e rejeitado pelo dono, em especial com motivo "sem contexto/sem sentido" (meta: cair pela metade).
  • Falso negativo: amostra semanal de 10 descartados pelo juiz — quantos o dono aprovaria (meta: ≤ 1).
  • Concordância juiz × dono no conjunto rotulado (κ de Cohen); % de cortes ajustados pelo juiz que o dono mantém sem editar o trecho.
  • Tokens/h e chamadas/h por papel; latência por candidato; tempo local por minuto de live (F2/F3).

8. Esboço da UI (Clipador → Juiz → "Equipe de IA")

┌ Equipe de IA ─────────────────────────────────────────────────────────────────────┐
│ Papel        Ligado  Provedor   Modelo               Esforço  Imagens            │
│ Varredura     [x]    Codex ▾    gpt-6-luna ▾         baixo ▾  mosaico/3 min ▾    │
│ Analista      [x]    Gemini ▾   gemini-3.5-flash ▾   —        se faltar cena ▾   │
│ Editor        [x]    Claude ▾   haiku ▾              —        nunca              │
│ Juiz          [x]    Codex ▾    gpt-6-luna ▾         médio ▾  nunca              │
│   2ª opinião  [x]    Claude ▾   sonnet ▾   quando: confiança < [0,6] ou 1 crítico│
│                                                                                   │
│ ▸ Instruções — Juiz                                                               │
│   Padrão (somente leitura, EN/PT)  [ver]                    [restaurar padrão]    │
│   Do administrador (somadas ao padrão; pode escrever em português):               │
│   [ Não aprove corte que termina antes do resultado da treta.              ]     │
│   Checagens:  setup [crítico]  desfecho [crítico]  sozinho [crítico]              │
│               quem/o quê [ ]  fala clara [ ]  título fiel [ ]  abertura forte [ ] │
│   Pode ajustar o trecho [x]   Pode pôr frase de contexto na tela [x]              │
│   Exemplos do dono: + escolher corte (bom/ruim + 1 frase)                         │
│ [Testar nos últimos 10 cortes]  → mostra o que mudaria, sem gravar                │
│                                                       [Salvar]                    │
└───────────────────────────────────────────────────────────────────────────────────┘

Gravação sugerida (tabela settings, chave judge.roles; identificadores em inglês):

{
  "scan":    {"enabled": true, "provider": "codex",  "model": "", "effort": "low",    "images": "mosaic", "extra": ""},
  "analyst": {"enabled": true, "provider": "gemini", "model": "", "effort": "low",    "images": "fallback", "extra": ""},
  "editor":  {"enabled": true, "provider": "claude", "model": "haiku", "images": "never", "extra": ""},
  "judge":   {"enabled": true, "provider": "codex",  "model": "", "effort": "medium", "extra": "",
              "critical": ["setup", "payoff", "standalone"], "allowFix": true, "allowContextLine": true,
              "second": {"enabled": true, "provider": "claude", "model": "sonnet", "minConfidence": 0.6},
              "examples": [{"clipId": 291, "good": false, "note": "termina antes do desfecho"}]}
}

model: "" = padrão do provedor; a reserva (fallback_chain) passa a valer por papel. As instruções do administrador entram depois do texto padrão com o rótulo "Admin notes (may be in Portuguese)" — os juízes trabalham em inglês e entendem português; a saída para o painel continua no bloco pt.

9. Fontes (consultadas em 18/11/2026)