31 KiB
Clipador — pesquisa: três papéis de IA, vídeo como "linha do tempo JSON" e juiz de contexto (18/11/2026)
Pesquisa + proposta. Nada foi implementado. Números de custo marcados com "≈" são estimativas a partir das fórmulas oficiais e do tamanho real dos prompts; números marcados com "medir" ainda não existem.
1. Pedido do dono
- Três papéis, cada um com provedor + modelo próprios e instruções editáveis no painel: ANALISTA (o que aconteceu) → EDITOR (vira corte? trecho, título, legenda) → JUIZ (novo: o corte tem CONTEXTO e faz sentido sozinho? "não trazer corte sem sentido", principalmente em inglês).
- "Ler o vídeo como JSON": transformar o vídeo em uma linha curta por cena/instante, barata em tokens, e descobrir o que melhora a nota/decisão de corte.
2. Ponto de partida (lido no código e no banco, 18/11/2026)
- Frames:
media.grab_framegera JPEG 768×432 (scale=768:-2,-q:v 4). Varredura: 7 frames por janela de 180 s (intel.SCAN_MAX_FRAMES); analista: 6–8 frames do trecho (worker.judge_clip); editor: só texto quando há análise. Os mesmos instantes podem ser enviados duas vezes (varredura e depois analista). - Prompts de sistema (EN): analista ≈ 670 tokens, editor ≈ 1.020, varredura ≈ 810 (+ schema 160–250). Perfil do jogo ROB RUN em inglês: 4.156 caracteres (≈ 1.000 tokens) em toda chamada.
- Claude pela CLI: imagens via ferramenta
Read(uma leitura por imagem = mais turnos); custo fixo medido da CLI ≈ 2,6 mil tokens por chamada (comentário emjudge._claude). Codex e Gemini: fixo não medido. - Volume real: sessão 15 (tfue, ROB RUN, 1h22) teve 35 candidatos (≈ 25/h; 18 descartados pela IA); sessão 7 (5h07) teve 81 (≈ 16/h). Ou seja, os candidatos pesam mais que a varredura (2 chamadas × 15–25/h contra 20/h).
- Exemplo do problema que o JUIZ deve pegar (corte 291, mantido com nota 7,5): o próprio analista escreveu "The messages do not clearly establish the outcome of the encounter" — o corte não tem o desfecho, e passou.
3. O que o mercado faz (sinais conhecidos)
| Ferramenta | O que se sabe dos sinais | Fonte |
|---|---|---|
| Opus Clip (ClipAnything) | Multimodal (visual, áudio, "sentimento"); nota de viralidade 0–99 com 4 eixos: Hook (a abertura prende e tem a ver com o tema), Flow (segue lógico até uma conclusão satisfatória), Value (emoção/conexão), Trend; + relevância ao prompt. Fórmula não publicada. | help.opus.pro (sem data) |
| Eklipse "Gameplay Intelligence" (Premium desde 01/06/2026) | Abandonou "gatilho + janela" (1 kill/pico de chat/pico de áudio = 1 corte). Agora pontua candidatos por 4 sinais juntos: eventos de estado do jogo, composição do áudio (voz × jogo × fundo), densidade de ação na tela e continuidade (começo de sequência × lance isolado). Lê o estado visível do jogo para decidir início/fim: mantém o setup quando o momento depende dele e corta o tempo morto. Roteia por gênero pela categoria. Camada de "arco narrativo" (escalada em voz, chat e jogo) para conteúdo falado. Antes: OCR/detecção de objeto no HUD e kill feed; HUD tapado pela câmera = não detecta. | blog Eklipse (26/05/2026); páginas de comparação/ajuda |
| Twitch Auto Clips | Out/2025: "empolgação positiva, conversa engraçada". Mai/2026: atividade do chat, inflexão da voz e eventos na tela; corte já legendado. Dados de teste: 50% → 85% dos streamers com um corte para postar (alegação da empresa). | TwitchCon San Diego (17/10/2025) e Rotterdam (30/05/2026) |
| YouTube "Live recap"/destaques | Escolhe momentos da live encerrada e gera Shorts para o criador publicar (experimental). Sinais não publicados. | Made on YouTube (set/2025) |
| StreamLadder ClipGPT | Até 10 cortes por VOD + "Virality Score"; terceiros citam áudio + engajamento do chat (não confirmado pelo fornecedor). | streamladder.com; comparativos 2026 |
| Klap / Vizard | Generalistas, bons em conteúdo falado; Klap publica os fatores da nota 0–100. Não específicos de jogo. | comparativos 2026 |
| Medal, Powder, Athenascope | Não achei fonte atual confiável sobre os sinais (Medal aparece como captura manual em comparativo). Fora da análise. | — |
Lições para nós: (1) pontuar com vários sinais ao mesmo tempo, não um gatilho; (2) estado do jogo pelo HUD (texto na tela) é o sinal visual mais barato e confiável; (3) "continuidade/arco" e "conclusão satisfatória" são exatamente o que falta hoje — é o papel do JUIZ; (4) o corte precisa incluir o setup quando o momento depende dele (Eklipse) — é a principal correção que o juiz pode pedir.
4. Como ler vídeo barato
4.1 Custo de imagem por provedor (fórmulas oficiais, consultadas em 18/11/2026)
| Provedor | Fórmula | 1 frame 768×432 (hoje) | Mosaico 4×2 de 384×216 (1536×432) |
|---|---|---|---|
| OpenAI (Codex) | patches de 32 px: ceil(w/32)·ceil(h/32) × multiplicador (1,2 na família gpt-5.x/gpt-6-astra; assumido 1,2 para gpt-6-luna) |
24·14 = 336 × 1,2 ≈ 404 | 48·14 = 672 × 1,2 ≈ 807 (8 frames) |
| Anthropic (Claude) | patches de 28 px: ceil(w/28)·ceil(h/28); teto 1.568 (padrão) / 4.784 (alta resolução, 4.7+) |
28·16 = 448 | 55·16 = 880 (8 frames) |
| Google (Gemini 3/4) | fixo por imagem conforme media_resolution: padrão 1.120, low 280, medium 560 |
1.120 (a CLI usa o padrão) | 1.120 (8 frames) ou 280 em low |
| Gemini vídeo nativo | 1 fps padrão; 70 tokens/frame (low/medium), 280 (high); áudio 32 tokens/s; ≈ 100 tokens/s no total; fps e start/end_offset configuráveis (API) |
— | corte de 90 s ≈ 9 mil tokens com áudio (fps 0,5 ≈ 6 mil) |
Hoje, por hora (tfue, ~25 candidatos/h, Codex): imagens ≈ 20×7×404 + 25×8×404 ≈ 138 mil tokens. No Gemini (1.120/imagem) o mesmo fluxo daria ≈ 381 mil — o mosaico ou o texto cortam isso em 4–8×.
4.2 Técnicas (o que a pesquisa mostra)
- Mosaico/grade de frames numa imagem só. IG-VLM (2024) mostrou que uma grade de frames numa imagem deixa um
modelo de imagem entender vídeo sem treino; TS-LLaVA (2024): 16 frames em 4 grades > frames soltos com o mesmo
número de tokens. "Paying for Too Many Tokens?" (30/09/2026, AACL 2026): uma grade 2×8 de frames escolhidos por
mudança de plano chegou perto do vídeo inteiro (κ dentro de 0,05) com ~15% do custo, e "só texto" muitas vezes
já bastava. Limite: grade perde detalhe fino (texto pequeno do HUD) → cobrir com OCR local.
Para nós: ffmpeg já faz (
select+scale=384:-2+tile=4x2), sem dependência nova; no Claude vira 1Readem vez de 8. - Amostrar por mudança, não por relógio. Em gameplay a câmera é contínua: corte de plano quase só acontece em
menu, loading, morte, teleporte, troca de câmera — justamente eventos úteis. Proposta híbrida: nova entrada quando
muda a cena (ffmpeg
scdet/select='gt(scene,x)', ou PySceneDetect, BSD-3) ou a cada no máximo 8 s, ou num pico de chat/áudio/rosto, ou numa pausa da fala. PySceneDetect não publica velocidade; medir. - "Legenda primeiro, raciocínio depois" (caption-then-reason). LLoVi (EMNLP 2024): um legendador descreve pedaços curtos e um LLM raciocina só sobre o texto — bateu o estado da arte em vídeo longo. HiVid (fev/2026): modelos de vídeo dão nota subjetiva ruim no zero-shot; janela deslizante local + resumo global funciona melhor. É exatamente a "linha do tempo JSON".
- OCR do HUD (o sinal que o Eklipse usa): RapidOCR/PaddleOCR PP-OCRv5 (Apache-2.0), recortes fixos por jogo (canto do kill feed, faixa central de "MISSION PASSED"/"WASTED", estrelas de procurado, dinheiro). Só registrar texto novo.
- Eventos de áudio: YAMNet (Apache-2.0, 521 classes AudioSet: Laughter, Screaming, Shout, Gunshot/gunfire, Explosion, Siren, Applause, Cheering, Music; saídas não calibradas → limiar por classe) roda em CPU sobre o mesmo áudio 16 kHz do Whisper. PANNs (código MIT; pesos CC-BY-4.0 segundo os ports — atribuição, permitido) como alternativa mais precisa.
- VLM local pequeno para a frase da cena (licença dos PESOS conferida):
| Modelo | Licença dos pesos | Situação para o dono |
|---|---|---|
| Qwen3-VL-2B/4B-Instruct | Apache-2.0 (card oficial do 4B; 2B por espelhos — conferir o LICENSE oficial) | OK — melhor candidato (entende jogo, segue JSON) |
| SmolVLM2 2.2B / 500M / 256M | Apache-2.0 (card oficial) | OK — leve, feito para vídeo, ~5 GB VRAM no 2.2B em fp16 |
| Florence-2 base/large | MIT | OK — rápido (~1 s/img numa T4), mas legenda genérica ("a car on a street"); bom para OCR/objetos |
| Moondream 2 | Apache-2.0 | OK (não testado aqui) |
| Moondream 3 (preview) / 3.1 | BSL 1.1 com concessão / "Moondream Model License" | Evitar (licença própria com restrição) |
| Qwen2.5-VL-3B | Qwen Research License = não comercial | Proibido |
| Gemma 3 | termos próprios do Gemma (não verificado nesta pesquisa) | Evitar por precaução |
- Máquina local:
nvidia-smiem 18/11/2026 → RTX 2060 SUPER, 8 GB, 7,1 GB já ocupados naquele momento (Whisper e o que mais estava aberto). VRAM é o gargalo: VLM só quantizado (Qwen3-VL-2B Q4 ≈ 1,5–2 GB via llama.cpp/Ollama, ambos MIT) ou Florence-2-base (< 1 GB). Turing não tem bf16 → fp16/int4.
| Etapa local | Onde roda | Tempo por minuto de live (estimativa — medir) |
|---|---|---|
Mudança de cena (ffmpeg scdet em 160 px, NVDEC) |
GPU decode/CPU | 1–3 s |
| OCR de 2–4 recortes do HUD a cada 2 s | CPU (RapidOCR ONNX) | 1–3 s |
| YAMNet em janelas de 0,96 s | CPU | < 1 s |
| Frase da cena: ~8–10 keyframes/min, Qwen3-VL-2B Q4 | GPU | 5–15 s |
| Rosto, chat, fala, volume | já existem | 0 |
Total ≈ 10–20 s por minuto de live (abaixo do tempo real), concorrendo com o Whisper pela GPU.
5. A "linha do tempo JSON" (proposta)
Formato: JSON Lines, uma linha por cena/instante, chaves curtas (a legenda das chaves vai uma vez no prompt de
sistema), segundos inteiros da gravação (o editor devolve start_s/end_s nessa régua), campos vazios omitidos.
| Campo | Conteúdo | De onde vem |
|---|---|---|
t, d |
início (s da gravação) e duração da entrada | local: segmentação híbrida (cena / ≤ 8 s / pico / pausa da fala) |
k |
só quando houve corte de plano: "cut" |
local: scdet |
v |
o que está na tela / ação, ≤ 12 palavras, no idioma da fonte | VLM local (F3) ou a própria varredura escreve a partir do mosaico (F1) |
hud |
texto novo do HUD ("WANTED 3★", "-$1,200", "MISSION PASSED") |
local: OCR nos recortes do perfil do jogo |
face |
expressão do streamer + intensidade 0–1 ("laugh.7", "shock.8", "talk") |
local: YuNet + MediaPipe (reaction.summarize) |
aud |
eventos de áudio acima do limiar (gunshot, laughter, siren…) |
local: YAMNet |
lvl |
volume relativo ao normal da live, 0–9 | local: RMS já calculado |
sp |
fala literal do trecho (até ~25 palavras) | local: Whisper (palavras com tempo) |
chat |
"msgs|emote×n|frase mais repetida" |
local: scoring/emotes já calculados |
Exemplo inventado — 60 s de ROB RUN (tfue, inglês) — 1.681 caracteres ≈ 470 tokens:
{"win":[4521,4581],"game":"ROB RUN","cam":"bottom-left","src":"en"}
{"t":4521,"d":6,"v":"Tfue on foot at beach house, aims rifle at masked player","hud":["WANTED 2★"],"face":"talk","aud":["music"],"lvl":3,"sp":"yo yo we're just passing through bro, we're friendly","chat":"6|LUL×2|he's lying"}
{"t":4527,"d":8,"v":"masked player points shotgun back, both standing still","face":"smile.4","lvl":3,"sp":"I literally only have an action camera, I swear","chat":"9|KEKW×3|action camera LMAO"}
{"t":4535,"d":7,"v":"teammate's car pulls up behind masked player","aud":["engine"],"lvl":4,"sp":"don't shoot, don't shoot, it's my first day in the city","chat":"8|ICANT×2|first day 💀"}
{"t":4542,"d":4,"k":"cut","v":"masked player fires, Tfue ragdolls to the ground","hud":["YOU ARE DOWN","-$1,200"],"face":"shock.8","aud":["gunshot","shout"],"lvl":8,"sp":"WHAT? BRO WHAT","chat":"21|OMEGALUL×7|LMAOOO"}
{"t":4546,"d":6,"v":"downed view, masked player loots Tfue's bag","hud":["REVIVE 0:12"],"face":"laugh.7","aud":["laughter"],"lvl":7,"sp":"he took my camera! he took my action camera!","chat":"26|KEKW×9|he's cooked"}
{"t":4552,"d":8,"v":"teammate runs over, revives Tfue behind car","hud":["REVIVED"],"face":"talk","lvl":5,"sp":"that guy came out of nowhere, he's gotta be hacking","chat":"14|Clueless×3|skill issue"}
{"t":4560,"d":9,"v":"Tfue drives car along beach road, police car behind","hud":["WANTED 3★"],"aud":["siren","engine"],"lvl":6,"sp":"cops cops cops, go go go","chat":"10|monkaS×2|"}
{"t":4569,"d":12,"v":"car chase through Looty Bay streets, crashes into fence","aud":["crash","siren"],"lvl":7,"face":"focus","sp":"I can't see anything, where are we going","chat":"7||"}
Lendo só isso, qualquer modelo de texto vê setup (4521–4541: implora paz, "action camera"), gatilho (4542: tiro), desfecho (4546: rouba a câmera — a piada fecha) e a cauda que não pertence ao corte (4560+: perseguição). É o que faltou no corte 291.
Tokens por minuto: ≈ 450–550 com fala contínua (tfue), ≈ 250 em minuto calado. Comparação da evidência (sem prompt de sistema nem perfil):
| Chamada | Hoje (frames + transcrição + chat) | Linha do tempo | Cobertura visual |
|---|---|---|---|
| Varredura (3 min + 2 min de volta) | 7×404 + ~1.000 + ~400 ≈ 4.200 | 3 min × 500 + volta resumida ~400 ≈ 1.900 | 1 frame/25 s → 1 entrada/6–8 s + áudio + HUD |
| Analista (janela ~225 s, 8 frames) | 8×404 + ~800 + ~350 ≈ 4.400 | 3,75 min × 500 ≈ 1.900 (+ mosaico opcional 807) | 1 frame/20 s → 1 entrada/6–8 s |
| No Gemini (1.120/imagem) | varredura ≈ 9.200 · analista ≈ 10.100 | igual acima | — |
6. Arquitetura recomendada dos três papéis (+ varredura)
blocos .ts ─► LOCAL: cena/HUD/áudio/rosto/fala/chat ─► timeline.jsonl (por sessão, reaproveitada por todos)
VARREDURA (texto [+ 1 mosaico/3 min]) ─► candidatos ─┐
chat/áudio/rosto ─► candidatos ──────────────────────┴► ANALISTA ─► EDITOR ─► (manteve e nota ≥ mínima) ─► JUIZ
├ aprova ─► render
├ ajusta ─► 1 nova checagem ─► render | descarta
└ reprova ─► "descartado pelo juiz" (forçável)
| Papel | Vê imagem? | Entrada | Saída JSON (chaves em inglês; pt para o painel em fonte EN) |
|---|---|---|---|
| Varredura | opcional: 1 mosaico 4×2 por janela | timeline da janela + memória + perfil enxuto (clip_worthy, jargon) |
como hoje (moments, summary) + em F1 lines: a frase v de cada keyframe do mosaico, que vai para a timeline e é reaproveitada |
| Analista | opcional: 1 mosaico do trecho (só se v faltar ou confiança baixa) |
timeline da janela (volta até backtrackS) + perfil enxuto + rosto |
campos atuais + setup_s (onde começa o contexto necessário), trigger_s, payoff_s e beats (≤ 4 frases curtas: setup → gatilho → desfecho) |
| Editor | não | análise + timeline só do trecho ± 15 s + perfil (hashtags, jargão) | atual (keep, score, start_s, end_s, title, caption, hashtags, reason) + context_line opcional (≤ 8 palavras na tela nos 2 primeiros segundos, ex.: "Tfue tries to talk his way out of a robbery") |
| Juiz | não | só o que o espectador verá: timeline de start_s..end_s + 20 s antes marcados "fora do corte" + título/legenda/context_line + "história pretendida" (what_happened do analista) + 1 linha do jogo |
viewer_summary (o que um espectador frio entende, escrito ANTES dos checks), checks, fix, confidence, reason, pt |
Schema do JUIZ (saída):
{
"viewer_summary": "Tfue begs a robber to spare him, gets shot anyway and loses his 'action camera'.",
"checks": { // cada um: ok + instante de evidência + motivo curto
"setup": {"ok": true, "t": 4521, "why": "plea starts at 4521"},
"payoff": {"ok": true, "t": 4546, "why": "camera stolen = punchline"},
"who_what": {"ok": true, "t": 4521, "why": "streamer vs masked robber clear"},
"standalone": {"ok": false, "t": 4552, "why": "'that guy came out of nowhere' refers to earlier fight"},
"intelligible": {"ok": true, "t": null, "why": ""},
"faithful": {"ok": true, "t": null, "why": ""},
"strong_open": {"ok": false, "t": 4521, "why": "first 3 s are calm talking"}
},
"fix": {"start_s": null, "end_s": 4551, "context_line": "Tfue tries to talk his way out of a robbery"},
"confidence": 0.8,
"reason": "Works alone if it ends on the stolen camera; tail depends on earlier context.",
"pt": {"viewer_summary": "…", "reason": "…"}
}
Decisão pelo código, não pelo modelo (calibrável no painel): setup, payoff e standalone são críticos.
Crítico falho + fix dentro da margem (backtrackS, duração mín./máx.) → aplica (fit_window) e roda o juiz uma
vez de novo no trecho novo; falhou de novo → descarta com motivo em português. Crítico falho sem fix → descarta.
Não críticos só baixam a nota (score_final = score_editor − 0,5 por check não crítico falho, ajustável).
Corte manual: juiz só avisa (não descarta), como o editor hoje.
Critérios específicos para lives em inglês (instruções padrão do juiz):
- Referência a algo fora do corte: "that guy", "again", "like I said", "remember when", nomes nunca apresentados, callbacks a doação/raid/sub, piada interna do chat ou do canal.
- Fala-chave de colega no Discord ou de outro jogador que o Whisper não pegou (o streamer só reage) →
intelligiblefalha. - Ironia/gíria que muda o sentido ("he's cooked", "Clueless", "W") só vale se a tela confirma.
- Corte que termina antes do desfecho (sem resultado da treta, da fuga, da missão) →
payofffalha (o caso 291). - Título que afirma o que só foi suspeita ("caught a hacker" quando ele só acusa) →
faithfulfalha. - Conteúdo que só funciona para quem acompanha o streamer (lore do canal) →
standalonefalha, salvocontext_lineresolver.
6.1 Técnicas de LLM-como-juiz aplicadas
- Checklist sim/não em vez de nota livre (TICK, 2024: checklist gerada elevou a concordância exata com humanos de 46,4% para 52,2%; guias de 2025–2026 recomendam critérios binários com justificativa; white paper da Microsoft (jun/2026) aponta nota direta 1–5 como frágil). A nota final sai das checagens.
- Raciocínio antes do veredito:
viewer_summaryvem primeiro; comparar com a "história pretendida" é um juiz com referência, que a literatura mostra ser mais estável (G-Eval, 2023; MT-Bench, 2023). - Cascata barata (Trust or Escalate, ICLR 2025: juiz pequeno primeiro, escala para um forte só quando não está
confiante — >80% de concordância garantida cobrindo ~80% dos casos):
confidence < 0,6ou exatamente um crítico falho → segunda opinião com outro provedor/modelo (configurável); empate decide pelo descarte. Votação (self-consistency) só nesses casos, não em todos. - Evitar autopreferência: o juiz de preferência em provedor diferente do editor (modelos julgam melhor o texto que eles mesmos gerariam).
- Calibração com o dono: aprovar/rejeitar no painel já existe; acrescentar o motivo "sem contexto" na rejeição e medir a concordância juiz × dono. Exemplos reais (2 bons, 2 ruins) entram como few-shot nas instruções do admin.
6.2 Modelo por papel
| Papel | Perfil de modelo | Sugestão inicial (CLI logada) |
|---|---|---|
| Varredura | muito frequente, barato; só texto (+1 mosaico) | gpt-6-luna / haiku / gemini-3.1-flash-lite |
| Analista | cruza fontes; visão só no mosaico opcional | gemini-3.5-flash (boa visão; vídeo nativo na escalada) ou gpt-6-luna |
| Editor | escreve título/legenda em inglês nativo | haiku ou gpt-6-luna; modelo maior só se o dono notar título fraco |
| Juiz | raciocínio curto e rígido, só texto | provedor ≠ editor; gpt-6-luna com model_reasoning_effort="medium" ou haiku; segunda opinião: sonnet / gemini-2.5-pro |
Com chave de API: deixar estáveis no início do prompt (sistema + perfil) e o variável no fim, para aproveitar o cache automático de prefixo (OpenAI) / cache do Claude.
6.3 Custo estimado por candidato e por hora (tfue, ~25 candidatos/h, Codex)
| Chamada | Hoje (entrada ≈) | Proposta (entrada ≈) | Observação |
|---|---|---|---|
| Varredura ×20/h | 6.300 → 126 mil/h | 3.400 → 68 mil/h | perfil enxuto (~500) + timeline |
| Analista ×25/h | 6.600 → 165 mil/h | 3.500–4.300 → 88–108 mil/h | com/sem mosaico |
| Editor ×25/h | 4.450 → 111 mil/h | 2.850 → 71 mil/h | só o trecho, sem a volta inteira |
| Juiz ×~13/h (só mantidos) | — | 1.950 (+30% 2ª opinião/rechecagem) → ≈ 33 mil/h | saída ≈ 250 |
| Conteúdo total | ≈ 400 mil/h | ≈ 260–280 mil/h (−30 a −35%) | |
| Fixo das CLIs (≈ 2,5 mil/chamada) | 70 chamadas → ≈ 175 mil | ≈ 83 chamadas → ≈ 208 mil | medir (Codex/Gemini) |
| Total | ≈ 575 mil/h | ≈ 470–490 mil/h (−15%) | no Gemini a economia passa de −40% (imagens a 1.120) |
Por candidato mantido: hoje ≈ 11 mil (analista + editor); proposta ≈ 8–9 mil com o juiz. A economia de token é moderada; o ganho principal é qualidade (cobertura a cada 6–8 s, áudio e HUD, desfecho checado). Alavancas extras: portão local antes do analista (timeline mostra menu/loading, sem fala e sem reação → não gasta IA); candidato da varredura que já veio com análise pula o analista; o fixo da CLI é o maior item restante — medir antes de otimizar.
7. Plano em fases
| Fase | O que entra | Precisa de modelo novo? |
|---|---|---|
| F0 — medir (1–2 dias) | Gravar usage por chamada em judge_json (claude -p --output-format json traz uso; codex exec --json e gemini -o json trazem stats); base: tokens/h por papel, latência, % descartado, % aprovado pelo dono. Separar 50–100 cortes antigos rotulados pelo dono (bom / ruim / "sem contexto"). |
não |
| F1 — três papéis + timeline v0 | Configuração por papel (provedor, modelo, esforço, instruções, liga/desliga); JUIZ só texto com o schema acima e decisão pelo código; mosaico 4×2 (ffmpeg tile) no lugar dos N frames; timeline com o que já existe (fala, chat, rosto, volume, scdet) + frase v escrita pela varredura a partir do mosaico e guardada; perfil enxuto por papel. |
não |
| F2 — sinais locais leves | YAMNet (áudio, CPU) e RapidOCR (HUD, CPU); perfil do jogo ganha hud_regions e hud_keywords (ex.: "WANTED", "MISSION PASSED", "YOU ARE DOWN"). |
sim, pequenos (Apache-2.0) |
| F3 — legenda local de cena | Qwen3-VL-2B/4B (Apache-2.0) via llama.cpp/Ollama, ou SmolVLM2; bake-off contra a frase da varredura em 30 cortes (como doc/FACE_BAKEOFF.md). Ganhando, analista e varredura ficam só texto; imagem só na escalada. |
sim (VLM) |
| F4 — escalada com vídeo nativo (opcional) | Casos duvidosos: Gemini por API key com o trecho em vídeo (fps 0,5–1, low; ≈ 6–9 mil tokens por 90 s, com áudio). | não (API) |
Riscos: VRAM de 8 GB já cheia (VLM concorre com o Whisper → F3 só quantizado, e medir); legenda de VLM pequeno
alucina (mitigar: vocabulário do perfil, confiança, analista cruza com fala/HUD); OCR falha em fonte estilizada;
gameplay contínuo gera poucos cortes de plano (por isso o teto de 8 s); juiz rígido demais mata corte bom (medir
falso negativo); +1 chamada (~5–7 s) por corte mantido; a CLI do Gemini cobra 1.120 tokens por imagem e não expõe
media_resolution (por isso mosaico/texto); mudanças de flags nas CLIs.
O que medir para saber se melhorou (antes × depois, mesma fonte):
- Precisão: % dos cortes "prontos" que o dono aprova (meta: subir); falso positivo: mantido pela IA e rejeitado pelo dono, em especial com motivo "sem contexto/sem sentido" (meta: cair pela metade).
- Falso negativo: amostra semanal de 10 descartados pelo juiz — quantos o dono aprovaria (meta: ≤ 1).
- Concordância juiz × dono no conjunto rotulado (κ de Cohen); % de cortes ajustados pelo juiz que o dono mantém sem editar o trecho.
- Tokens/h e chamadas/h por papel; latência por candidato; tempo local por minuto de live (F2/F3).
8. Esboço da UI (Clipador → Juiz → "Equipe de IA")
┌ Equipe de IA ─────────────────────────────────────────────────────────────────────┐
│ Papel Ligado Provedor Modelo Esforço Imagens │
│ Varredura [x] Codex ▾ gpt-6-luna ▾ baixo ▾ mosaico/3 min ▾ │
│ Analista [x] Gemini ▾ gemini-3.5-flash ▾ — se faltar cena ▾ │
│ Editor [x] Claude ▾ haiku ▾ — nunca │
│ Juiz [x] Codex ▾ gpt-6-luna ▾ médio ▾ nunca │
│ 2ª opinião [x] Claude ▾ sonnet ▾ quando: confiança < [0,6] ou 1 crítico│
│ │
│ ▸ Instruções — Juiz │
│ Padrão (somente leitura, EN/PT) [ver] [restaurar padrão] │
│ Do administrador (somadas ao padrão; pode escrever em português): │
│ [ Não aprove corte que termina antes do resultado da treta. ] │
│ Checagens: setup [crítico] desfecho [crítico] sozinho [crítico] │
│ quem/o quê [ ] fala clara [ ] título fiel [ ] abertura forte [ ] │
│ Pode ajustar o trecho [x] Pode pôr frase de contexto na tela [x] │
│ Exemplos do dono: + escolher corte (bom/ruim + 1 frase) │
│ [Testar nos últimos 10 cortes] → mostra o que mudaria, sem gravar │
│ [Salvar] │
└───────────────────────────────────────────────────────────────────────────────────┘
Gravação sugerida (tabela settings, chave judge.roles; identificadores em inglês):
{
"scan": {"enabled": true, "provider": "codex", "model": "", "effort": "low", "images": "mosaic", "extra": ""},
"analyst": {"enabled": true, "provider": "gemini", "model": "", "effort": "low", "images": "fallback", "extra": ""},
"editor": {"enabled": true, "provider": "claude", "model": "haiku", "images": "never", "extra": ""},
"judge": {"enabled": true, "provider": "codex", "model": "", "effort": "medium", "extra": "",
"critical": ["setup", "payoff", "standalone"], "allowFix": true, "allowContextLine": true,
"second": {"enabled": true, "provider": "claude", "model": "sonnet", "minConfidence": 0.6},
"examples": [{"clipId": 291, "good": false, "note": "termina antes do desfecho"}]}
}
model: "" = padrão do provedor; a reserva (fallback_chain) passa a valer por papel. As instruções do
administrador entram depois do texto padrão com o rótulo "Admin notes (may be in Portuguese)" — os juízes trabalham
em inglês e entendem português; a saída para o painel continua no bloco pt.
9. Fontes (consultadas em 18/11/2026)
- OpenAI — Images and vision (tokens por patch/tile e multiplicadores): https://developers.openai.com/api/docs/guides/images-vision
- Anthropic — Vision (patches de 28 px, tetos por modelo): https://platform.claude.com/docs/en/build-with-claude/vision
- Google — Media resolution (Gemini 3/4: 1.120/280/560 por imagem, 70/280 por frame): https://aistudio.google.com/docs/media-resolution
- Google — Video understanding (1 fps, ~100 tokens/s, áudio 32/s,
fpse offsets): https://aistudio.google.com/docs/video-understanding - Opus Clip — Virality score (Hook, Flow, Value, Trend): https://help.opus.pro/docs/article/virality-score
- Eklipse — Gameplay Intelligence (26/05/2026): https://blog.eklipse.gg/streaming-tips/gameplay-intelligence.html ; HUD/kill feed: https://eklipse.gg/compare/eklipse-vs-spikes-studio/
- Twitch — TwitchCon Rotterdam (30/05/2026): https://blog.twitch.com/en/2026/05/30/everything-we-announced-at-twitchcon-rotterdam-2026/ ; San Diego (17/10/2025): https://blog.twitch.com/en/2025/10/17/ten-years-of-twitchcon-here-s-what-we-announced-in-san-diego/
- YouTube — Made on YouTube (20/09/2025): https://techcrunch.com/2025/09/20/updates-to-studio-youtube-live-new-gen-ai-tools-and-everything-else-announced-at-made-on-youtube/
- StreamLadder ClipGPT: https://streamladder.com/clipgpt-features/ai-virality-score ; comparativo 2026: https://www.twoaveragegamers.com/best-ai-clip-detection-tools-for-streamers-2026/
- Grade de frames: IG-VLM https://arxiv.org/abs/2403.18406 ; TS-LLaVA https://arxiv.org/abs/2411.11066 ; "Paying for Too Many Tokens?" (30/09/2026) https://arxiv.org/abs/2610.00809
- Legenda → LLM: LLoVi (EMNLP 2024) https://arxiv.org/abs/2312.17235 ; HiVid (fev/2026) https://arxiv.org/abs/2602.14214
- Juiz: TICK https://arxiv.org/abs/2410.03608 ; Trust or Escalate https://arxiv.org/abs/2407.18370 ; MT-Bench https://arxiv.org/abs/2306.05685 ; G-Eval https://arxiv.org/abs/2303.16634 ; Self-consistency https://arxiv.org/abs/2203.11171 ; Microsoft, nota 1–5 (jun/2026) https://microsoft.github.io/mcscatblog/assets/posts/better-llm-scoring/20260626_LLM1-5Scoring_WhitePaper.pdf
- Licenças: Qwen3-VL-4B https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct ; Qwen2.5-VL-3B (não comercial) https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/blob/main/LICENSE ; SmolVLM2 https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct ; Florence-2 https://huggingface.co/microsoft/Florence-2-large-ft ; Moondream 3 https://huggingface.co/moondream/moondream3-preview ; YAMNet https://github.com/tensorflow/models/blob/master/research/audioset/yamnet/README.md ; PANNs (pesos CC-BY-4.0 via port) https://huggingface.co/litert-community/PANNs-CNN14-AudioSet-LiteRT ; PP-OCRv5 https://paddlepaddle.github.io/PaddleOCR/main/en/version3.x/algorithm/PP-OCRv5/PP-OCRv5.html ; PySceneDetect (BSD-3) https://scenedetect.com/copyright