diff --git a/doc/clipador/PESQUISA-JUIZ.md b/doc/clipador/PESQUISA-JUIZ.md new file mode 100644 index 0000000..9535974 --- /dev/null +++ b/doc/clipador/PESQUISA-JUIZ.md @@ -0,0 +1,332 @@ +# Clipador — pesquisa: três papéis de IA, vídeo como "linha do tempo JSON" e juiz de contexto (18/11/2026) + +> Pesquisa + proposta. **Nada foi implementado.** Números de custo marcados com "≈" são estimativas a partir das +> fórmulas oficiais e do tamanho real dos prompts; números marcados com "medir" ainda não existem. + +## 1. Pedido do dono + +1. **Três papéis**, cada um com provedor + modelo próprios e instruções editáveis no painel: + ANALISTA (o que aconteceu) → EDITOR (vira corte? trecho, título, legenda) → **JUIZ** (novo: o corte tem + CONTEXTO e faz sentido sozinho? "não trazer corte sem sentido", principalmente em inglês). +2. **"Ler o vídeo como JSON"**: transformar o vídeo em uma linha curta por cena/instante, barata em tokens, e + descobrir o que melhora a nota/decisão de corte. + +## 2. Ponto de partida (lido no código e no banco, 18/11/2026) + +- Frames: `media.grab_frame` gera JPEG **768×432** (`scale=768:-2`, `-q:v 4`). Varredura: 7 frames por janela de + 180 s (`intel.SCAN_MAX_FRAMES`); analista: 6–8 frames do trecho (`worker.judge_clip`); editor: só texto quando há + análise. Os mesmos instantes podem ser enviados duas vezes (varredura e depois analista). +- Prompts de sistema (EN): analista ≈ 670 tokens, editor ≈ 1.020, varredura ≈ 810 (+ schema 160–250). Perfil do jogo + ROB RUN em inglês: 4.156 caracteres (≈ 1.000 tokens) em **toda** chamada. +- Claude pela CLI: imagens via ferramenta `Read` (uma leitura por imagem = mais turnos); custo fixo medido da CLI + ≈ 2,6 mil tokens por chamada (comentário em `judge._claude`). Codex e Gemini: fixo **não medido**. +- Volume real: sessão 15 (tfue, ROB RUN, 1h22) teve **35 candidatos** (≈ 25/h; 18 descartados pela IA); sessão 7 + (5h07) teve 81 (≈ 16/h). Ou seja, **os candidatos pesam mais que a varredura** (2 chamadas × 15–25/h contra 20/h). +- Exemplo do problema que o JUIZ deve pegar (corte 291, mantido com nota 7,5): o próprio analista escreveu + *"The messages do not clearly establish the outcome of the encounter"* — o corte não tem o desfecho, e passou. + +## 3. O que o mercado faz (sinais conhecidos) + +| Ferramenta | O que se sabe dos sinais | Fonte | +| --- | --- | --- | +| **Opus Clip** (ClipAnything) | Multimodal (visual, áudio, "sentimento"); nota de viralidade 0–99 com 4 eixos: **Hook** (a abertura prende e tem a ver com o tema), **Flow** (segue lógico até uma **conclusão satisfatória**), **Value** (emoção/conexão), **Trend**; + relevância ao prompt. Fórmula não publicada. | help.opus.pro (sem data) | +| **Eklipse** "Gameplay Intelligence" (Premium desde 01/06/2026) | Abandonou "gatilho + janela" (1 kill/pico de chat/pico de áudio = 1 corte). Agora pontua candidatos por 4 sinais juntos: **eventos de estado do jogo**, **composição do áudio** (voz × jogo × fundo), **densidade de ação na tela** e **continuidade** (começo de sequência × lance isolado). Lê o estado visível do jogo para decidir início/fim: **mantém o setup quando o momento depende dele** e corta o tempo morto. Roteia por gênero pela categoria. Camada de "arco narrativo" (escalada em voz, chat e jogo) para conteúdo falado. Antes: OCR/detecção de objeto no HUD e **kill feed**; HUD tapado pela câmera = não detecta. | blog Eklipse (26/05/2026); páginas de comparação/ajuda | +| **Twitch Auto Clips** | Out/2025: "empolgação positiva, conversa engraçada". Mai/2026: **atividade do chat, inflexão da voz e eventos na tela**; corte já legendado. Dados de teste: 50% → 85% dos streamers com um corte para postar (alegação da empresa). | TwitchCon San Diego (17/10/2025) e Rotterdam (30/05/2026) | +| **YouTube** "Live recap"/destaques | Escolhe momentos da live encerrada e gera Shorts para o criador publicar (experimental). Sinais não publicados. | Made on YouTube (set/2025) | +| **StreamLadder ClipGPT** | Até 10 cortes por VOD + "Virality Score"; terceiros citam áudio + engajamento do chat (não confirmado pelo fornecedor). | streamladder.com; comparativos 2026 | +| **Klap / Vizard** | Generalistas, bons em conteúdo falado; Klap publica os fatores da nota 0–100. Não específicos de jogo. | comparativos 2026 | +| Medal, Powder, Athenascope | Não achei fonte atual confiável sobre os sinais (Medal aparece como captura manual em comparativo). Fora da análise. | — | + +**Lições para nós:** (1) pontuar com vários sinais ao mesmo tempo, não um gatilho; (2) **estado do jogo pelo HUD** +(texto na tela) é o sinal visual mais barato e confiável; (3) "continuidade/arco" e "conclusão satisfatória" são +exatamente o que falta hoje — é o papel do JUIZ; (4) o corte precisa **incluir o setup quando o momento depende +dele** (Eklipse) — é a principal correção que o juiz pode pedir. + +## 4. Como ler vídeo barato + +### 4.1 Custo de imagem por provedor (fórmulas oficiais, consultadas em 18/11/2026) + +| Provedor | Fórmula | 1 frame 768×432 (hoje) | Mosaico 4×2 de 384×216 (1536×432) | +| --- | --- | --- | --- | +| OpenAI (Codex) | patches de 32 px: `ceil(w/32)·ceil(h/32)` × multiplicador (1,2 na família gpt-5.x/gpt-6-astra; **assumido 1,2** para gpt-6-luna) | 24·14 = 336 × 1,2 ≈ **404** | 48·14 = 672 × 1,2 ≈ **807** (8 frames) | +| Anthropic (Claude) | patches de 28 px: `ceil(w/28)·ceil(h/28)`; teto 1.568 (padrão) / 4.784 (alta resolução, 4.7+) | 28·16 = **448** | 55·16 = **880** (8 frames) | +| Google (Gemini 3/4) | fixo por imagem conforme `media_resolution`: padrão **1.120**, low 280, medium 560 | **1.120** (a CLI usa o padrão) | **1.120** (8 frames) ou 280 em low | +| Gemini vídeo nativo | 1 fps padrão; **70 tokens/frame** (low/medium), 280 (high); áudio 32 tokens/s; ≈ 100 tokens/s no total; `fps` e `start/end_offset` configuráveis (API) | — | corte de 90 s ≈ 9 mil tokens com áudio (fps 0,5 ≈ 6 mil) | + +Hoje, por hora (tfue, ~25 candidatos/h, Codex): imagens ≈ 20×7×404 + 25×8×404 ≈ **138 mil tokens**. No Gemini +(1.120/imagem) o mesmo fluxo daria ≈ **381 mil** — o mosaico ou o texto cortam isso em 4–8×. + +### 4.2 Técnicas (o que a pesquisa mostra) + +- **Mosaico/grade de frames numa imagem só.** IG-VLM (2024) mostrou que uma grade de frames numa imagem deixa um + modelo de imagem entender vídeo sem treino; TS-LLaVA (2024): 16 frames em 4 grades > frames soltos com o mesmo + número de tokens. **"Paying for Too Many Tokens?" (30/09/2026, AACL 2026): uma grade 2×8 de frames escolhidos por + mudança de plano chegou perto do vídeo inteiro (κ dentro de 0,05) com ~15% do custo**, e "só texto" muitas vezes + já bastava. Limite: grade perde detalhe fino (texto pequeno do HUD) → cobrir com OCR local. + Para nós: ffmpeg já faz (`select` + `scale=384:-2` + `tile=4x2`), sem dependência nova; no Claude vira 1 `Read` + em vez de 8. +- **Amostrar por mudança, não por relógio.** Em gameplay a câmera é contínua: corte de plano quase só acontece em + menu, loading, morte, teleporte, troca de câmera — justamente eventos úteis. Proposta híbrida: nova entrada quando + muda a cena (ffmpeg `scdet`/`select='gt(scene,x)'`, ou PySceneDetect, BSD-3) **ou** a cada no máximo 8 s, **ou** + num pico de chat/áudio/rosto, **ou** numa pausa da fala. PySceneDetect não publica velocidade; medir. +- **"Legenda primeiro, raciocínio depois" (caption-then-reason).** LLoVi (EMNLP 2024): um legendador descreve + pedaços curtos e um LLM raciocina só sobre o texto — bateu o estado da arte em vídeo longo. HiVid (fev/2026): + modelos de vídeo dão nota subjetiva ruim no zero-shot; janela deslizante local + resumo global funciona melhor. + É exatamente a "linha do tempo JSON". +- **OCR do HUD** (o sinal que o Eklipse usa): RapidOCR/PaddleOCR PP-OCRv5 (**Apache-2.0**), recortes fixos por jogo + (canto do kill feed, faixa central de "MISSION PASSED"/"WASTED", estrelas de procurado, dinheiro). Só registrar + texto **novo**. +- **Eventos de áudio**: YAMNet (**Apache-2.0**, 521 classes AudioSet: *Laughter, Screaming, Shout, Gunshot/gunfire, + Explosion, Siren, Applause, Cheering, Music*; saídas não calibradas → limiar por classe) roda em CPU sobre o mesmo + áudio 16 kHz do Whisper. PANNs (código MIT; pesos **CC-BY-4.0** segundo os ports — atribuição, permitido) como + alternativa mais precisa. +- **VLM local pequeno para a frase da cena** (licença dos PESOS conferida): + +| Modelo | Licença dos pesos | Situação para o dono | +| --- | --- | --- | +| Qwen3-VL-2B/4B-Instruct | Apache-2.0 (card oficial do 4B; 2B por espelhos — conferir o LICENSE oficial) | **OK — melhor candidato** (entende jogo, segue JSON) | +| SmolVLM2 2.2B / 500M / 256M | Apache-2.0 (card oficial) | OK — leve, feito para vídeo, ~5 GB VRAM no 2.2B em fp16 | +| Florence-2 base/large | MIT | OK — rápido (~1 s/img numa T4), mas legenda genérica ("a car on a street"); bom para OCR/objetos | +| Moondream 2 | Apache-2.0 | OK (não testado aqui) | +| Moondream 3 (preview) / 3.1 | BSL 1.1 com concessão / "Moondream Model License" | **Evitar** (licença própria com restrição) | +| Qwen2.5-VL-**3B** | Qwen Research License = **não comercial** | **Proibido** | +| Gemma 3 | termos próprios do Gemma (não verificado nesta pesquisa) | Evitar por precaução | + +- **Máquina local**: `nvidia-smi` em 18/11/2026 → **RTX 2060 SUPER, 8 GB, 7,1 GB já ocupados** naquele momento + (Whisper e o que mais estava aberto). VRAM é o gargalo: VLM só quantizado (Qwen3-VL-2B Q4 ≈ 1,5–2 GB via + llama.cpp/Ollama, ambos MIT) ou Florence-2-base (< 1 GB). Turing não tem bf16 → fp16/int4. + +| Etapa local | Onde roda | Tempo por minuto de live (estimativa — medir) | +| --- | --- | --- | +| Mudança de cena (ffmpeg `scdet` em 160 px, NVDEC) | GPU decode/CPU | 1–3 s | +| OCR de 2–4 recortes do HUD a cada 2 s | CPU (RapidOCR ONNX) | 1–3 s | +| YAMNet em janelas de 0,96 s | CPU | < 1 s | +| Frase da cena: ~8–10 keyframes/min, Qwen3-VL-2B Q4 | GPU | 5–15 s | +| Rosto, chat, fala, volume | já existem | 0 | + +Total ≈ 10–20 s por minuto de live (abaixo do tempo real), concorrendo com o Whisper pela GPU. + +## 5. A "linha do tempo JSON" (proposta) + +**Formato:** JSON Lines, uma linha por cena/instante, chaves curtas (a legenda das chaves vai **uma vez** no prompt de +sistema), segundos inteiros da gravação (o editor devolve `start_s/end_s` nessa régua), campos vazios omitidos. + +| Campo | Conteúdo | De onde vem | +| --- | --- | --- | +| `t`, `d` | início (s da gravação) e duração da entrada | local: segmentação híbrida (cena / ≤ 8 s / pico / pausa da fala) | +| `k` | só quando houve corte de plano: `"cut"` | local: `scdet` | +| `v` | o que está na tela / ação, **≤ 12 palavras**, no idioma da fonte | VLM local (F3) **ou** a própria varredura escreve a partir do mosaico (F1) | +| `hud` | texto novo do HUD (`"WANTED 3★"`, `"-$1,200"`, `"MISSION PASSED"`) | local: OCR nos recortes do perfil do jogo | +| `face` | expressão do streamer + intensidade 0–1 (`"laugh.7"`, `"shock.8"`, `"talk"`) | local: YuNet + MediaPipe (`reaction.summarize`) | +| `aud` | eventos de áudio acima do limiar (`gunshot`, `laughter`, `siren`…) | local: YAMNet | +| `lvl` | volume relativo ao normal da live, 0–9 | local: RMS já calculado | +| `sp` | fala **literal** do trecho (até ~25 palavras) | local: Whisper (palavras com tempo) | +| `chat` | `"msgs\|emote×n\|frase mais repetida"` | local: `scoring`/emotes já calculados | + +**Exemplo inventado — 60 s de ROB RUN (tfue, inglês)** — 1.681 caracteres ≈ **470 tokens**: + +```jsonl +{"win":[4521,4581],"game":"ROB RUN","cam":"bottom-left","src":"en"} +{"t":4521,"d":6,"v":"Tfue on foot at beach house, aims rifle at masked player","hud":["WANTED 2★"],"face":"talk","aud":["music"],"lvl":3,"sp":"yo yo we're just passing through bro, we're friendly","chat":"6|LUL×2|he's lying"} +{"t":4527,"d":8,"v":"masked player points shotgun back, both standing still","face":"smile.4","lvl":3,"sp":"I literally only have an action camera, I swear","chat":"9|KEKW×3|action camera LMAO"} +{"t":4535,"d":7,"v":"teammate's car pulls up behind masked player","aud":["engine"],"lvl":4,"sp":"don't shoot, don't shoot, it's my first day in the city","chat":"8|ICANT×2|first day 💀"} +{"t":4542,"d":4,"k":"cut","v":"masked player fires, Tfue ragdolls to the ground","hud":["YOU ARE DOWN","-$1,200"],"face":"shock.8","aud":["gunshot","shout"],"lvl":8,"sp":"WHAT? BRO WHAT","chat":"21|OMEGALUL×7|LMAOOO"} +{"t":4546,"d":6,"v":"downed view, masked player loots Tfue's bag","hud":["REVIVE 0:12"],"face":"laugh.7","aud":["laughter"],"lvl":7,"sp":"he took my camera! he took my action camera!","chat":"26|KEKW×9|he's cooked"} +{"t":4552,"d":8,"v":"teammate runs over, revives Tfue behind car","hud":["REVIVED"],"face":"talk","lvl":5,"sp":"that guy came out of nowhere, he's gotta be hacking","chat":"14|Clueless×3|skill issue"} +{"t":4560,"d":9,"v":"Tfue drives car along beach road, police car behind","hud":["WANTED 3★"],"aud":["siren","engine"],"lvl":6,"sp":"cops cops cops, go go go","chat":"10|monkaS×2|"} +{"t":4569,"d":12,"v":"car chase through Looty Bay streets, crashes into fence","aud":["crash","siren"],"lvl":7,"face":"focus","sp":"I can't see anything, where are we going","chat":"7||"} +``` + +Lendo só isso, qualquer modelo de texto vê setup (4521–4541: implora paz, "action camera"), gatilho (4542: tiro), +desfecho (4546: rouba a câmera — a piada fecha) e a cauda que **não** pertence ao corte (4560+: perseguição). +É o que faltou no corte 291. + +**Tokens por minuto:** ≈ 450–550 com fala contínua (tfue), ≈ 250 em minuto calado. Comparação da **evidência** +(sem prompt de sistema nem perfil): + +| Chamada | Hoje (frames + transcrição + chat) | Linha do tempo | Cobertura visual | +| --- | --- | --- | --- | +| Varredura (3 min + 2 min de volta) | 7×404 + ~1.000 + ~400 ≈ **4.200** | 3 min × 500 + volta resumida ~400 ≈ **1.900** | 1 frame/25 s → 1 entrada/6–8 s + áudio + HUD | +| Analista (janela ~225 s, 8 frames) | 8×404 + ~800 + ~350 ≈ **4.400** | 3,75 min × 500 ≈ **1.900** (+ mosaico opcional 807) | 1 frame/20 s → 1 entrada/6–8 s | +| No Gemini (1.120/imagem) | varredura ≈ 9.200 · analista ≈ 10.100 | igual acima | — | + +## 6. Arquitetura recomendada dos três papéis (+ varredura) + +``` +blocos .ts ─► LOCAL: cena/HUD/áudio/rosto/fala/chat ─► timeline.jsonl (por sessão, reaproveitada por todos) +VARREDURA (texto [+ 1 mosaico/3 min]) ─► candidatos ─┐ +chat/áudio/rosto ─► candidatos ──────────────────────┴► ANALISTA ─► EDITOR ─► (manteve e nota ≥ mínima) ─► JUIZ + ├ aprova ─► render + ├ ajusta ─► 1 nova checagem ─► render | descarta + └ reprova ─► "descartado pelo juiz" (forçável) +``` + +| Papel | Vê imagem? | Entrada | Saída JSON (chaves em inglês; `pt` para o painel em fonte EN) | +| --- | --- | --- | --- | +| **Varredura** | opcional: 1 mosaico 4×2 por janela | timeline da janela + memória + perfil enxuto (`clip_worthy`, `jargon`) | como hoje (`moments`, `summary`) + em F1 **`lines`: a frase `v` de cada keyframe do mosaico**, que vai para a timeline e é reaproveitada | +| **Analista** | opcional: 1 mosaico do trecho (só se `v` faltar ou confiança baixa) | timeline da janela (volta até `backtrackS`) + perfil enxuto + rosto | campos atuais + **`setup_s`** (onde começa o contexto necessário), **`trigger_s`**, **`payoff_s`** e `beats` (≤ 4 frases curtas: setup → gatilho → desfecho) | +| **Editor** | não | análise + timeline **só do trecho** ± 15 s + perfil (hashtags, jargão) | atual (`keep`, `score`, `start_s`, `end_s`, `title`, `caption`, `hashtags`, `reason`) + **`context_line`** opcional (≤ 8 palavras na tela nos 2 primeiros segundos, ex.: "Tfue tries to talk his way out of a robbery") | +| **Juiz** | não | **só o que o espectador verá**: timeline de `start_s..end_s` + 20 s antes marcados "fora do corte" + título/legenda/`context_line` + "história pretendida" (`what_happened` do analista) + 1 linha do jogo | `viewer_summary` (o que um espectador frio entende, escrito ANTES dos checks), `checks`, `fix`, `confidence`, `reason`, `pt` | + +**Schema do JUIZ (saída):** + +```jsonc +{ + "viewer_summary": "Tfue begs a robber to spare him, gets shot anyway and loses his 'action camera'.", + "checks": { // cada um: ok + instante de evidência + motivo curto + "setup": {"ok": true, "t": 4521, "why": "plea starts at 4521"}, + "payoff": {"ok": true, "t": 4546, "why": "camera stolen = punchline"}, + "who_what": {"ok": true, "t": 4521, "why": "streamer vs masked robber clear"}, + "standalone": {"ok": false, "t": 4552, "why": "'that guy came out of nowhere' refers to earlier fight"}, + "intelligible": {"ok": true, "t": null, "why": ""}, + "faithful": {"ok": true, "t": null, "why": ""}, + "strong_open": {"ok": false, "t": 4521, "why": "first 3 s are calm talking"} + }, + "fix": {"start_s": null, "end_s": 4551, "context_line": "Tfue tries to talk his way out of a robbery"}, + "confidence": 0.8, + "reason": "Works alone if it ends on the stolen camera; tail depends on earlier context.", + "pt": {"viewer_summary": "…", "reason": "…"} +} +``` + +**Decisão pelo código, não pelo modelo** (calibrável no painel): `setup`, `payoff` e `standalone` são **críticos**. +Crítico falho + `fix` dentro da margem (`backtrackS`, duração mín./máx.) → aplica (`fit_window`) e roda o juiz **uma** +vez de novo no trecho novo; falhou de novo → descarta com motivo em português. Crítico falho sem `fix` → descarta. +Não críticos só baixam a nota (`score_final = score_editor − 0,5 por check não crítico falho`, ajustável). +Corte manual: juiz só **avisa** (não descarta), como o editor hoje. + +**Critérios específicos para lives em inglês** (instruções padrão do juiz): +- Referência a algo **fora do corte**: "that guy", "again", "like I said", "remember when", nomes nunca apresentados, + callbacks a doação/raid/sub, piada interna do chat ou do canal. +- Fala-chave **de colega no Discord** ou de outro jogador que o Whisper não pegou (o streamer só reage) → `intelligible` falha. +- Ironia/gíria que muda o sentido ("he's cooked", "Clueless", "W") só vale se a tela confirma. +- Corte que termina **antes do desfecho** (sem resultado da treta, da fuga, da missão) → `payoff` falha (o caso 291). +- Título que afirma o que só foi suspeita ("caught a hacker" quando ele só acusa) → `faithful` falha. +- Conteúdo que só funciona para quem acompanha o streamer (lore do canal) → `standalone` falha, salvo `context_line` resolver. + +### 6.1 Técnicas de LLM-como-juiz aplicadas + +- **Checklist sim/não em vez de nota livre** (TICK, 2024: checklist gerada elevou a concordância exata com humanos de + 46,4% para 52,2%; guias de 2025–2026 recomendam critérios binários com justificativa; white paper da Microsoft + (jun/2026) aponta nota direta 1–5 como frágil). A nota final sai das checagens. +- **Raciocínio antes do veredito**: `viewer_summary` vem primeiro; comparar com a "história pretendida" é um juiz com + **referência**, que a literatura mostra ser mais estável (G-Eval, 2023; MT-Bench, 2023). +- **Cascata barata** (Trust or Escalate, ICLR 2025: juiz pequeno primeiro, escala para um forte só quando não está + confiante — >80% de concordância garantida cobrindo ~80% dos casos): `confidence < 0,6` ou exatamente um crítico + falho → **segunda opinião** com outro provedor/modelo (configurável); empate decide pelo descarte. Votação + (self-consistency) só nesses casos, não em todos. +- **Evitar autopreferência**: o juiz de preferência em **provedor diferente** do editor (modelos julgam melhor o + texto que eles mesmos gerariam). +- **Calibração com o dono**: aprovar/rejeitar no painel já existe; acrescentar o motivo "sem contexto" na rejeição e + medir a concordância juiz × dono. Exemplos reais (2 bons, 2 ruins) entram como few-shot nas instruções do admin. + +### 6.2 Modelo por papel + +| Papel | Perfil de modelo | Sugestão inicial (CLI logada) | +| --- | --- | --- | +| Varredura | muito frequente, barato; só texto (+1 mosaico) | `gpt-6-luna` / `haiku` / `gemini-3.1-flash-lite` | +| Analista | cruza fontes; visão só no mosaico opcional | `gemini-3.5-flash` (boa visão; vídeo nativo na escalada) ou `gpt-6-luna` | +| Editor | escreve título/legenda em inglês nativo | `haiku` ou `gpt-6-luna`; modelo maior só se o dono notar título fraco | +| Juiz | raciocínio curto e rígido, só texto | provedor ≠ editor; `gpt-6-luna` com `model_reasoning_effort="medium"` ou `haiku`; segunda opinião: `sonnet` / `gemini-2.5-pro` | + +Com chave de API: deixar estáveis no início do prompt (sistema + perfil) e o variável no fim, para aproveitar o +cache automático de prefixo (OpenAI) / cache do Claude. + +### 6.3 Custo estimado por candidato e por hora (tfue, ~25 candidatos/h, Codex) + +| Chamada | Hoje (entrada ≈) | Proposta (entrada ≈) | Observação | +| --- | --- | --- | --- | +| Varredura ×20/h | 6.300 → **126 mil/h** | 3.400 → **68 mil/h** | perfil enxuto (~500) + timeline | +| Analista ×25/h | 6.600 → **165 mil/h** | 3.500–4.300 → **88–108 mil/h** | com/sem mosaico | +| Editor ×25/h | 4.450 → **111 mil/h** | 2.850 → **71 mil/h** | só o trecho, sem a volta inteira | +| Juiz ×~13/h (só mantidos) | — | 1.950 (+30% 2ª opinião/rechecagem) → **≈ 33 mil/h** | saída ≈ 250 | +| **Conteúdo total** | **≈ 400 mil/h** | **≈ 260–280 mil/h (−30 a −35%)** | | +| Fixo das CLIs (≈ 2,5 mil/chamada) | 70 chamadas → ≈ 175 mil | ≈ 83 chamadas → ≈ 208 mil | **medir** (Codex/Gemini) | +| **Total** | **≈ 575 mil/h** | **≈ 470–490 mil/h (−15%)** | no Gemini a economia passa de −40% (imagens a 1.120) | + +Por candidato mantido: hoje ≈ 11 mil (analista + editor); proposta ≈ 8–9 mil **com** o juiz. A economia de token é +moderada; o ganho principal é **qualidade** (cobertura a cada 6–8 s, áudio e HUD, desfecho checado). Alavancas extras: +portão local antes do analista (timeline mostra menu/loading, sem fala e sem reação → não gasta IA); candidato da +varredura que já veio com análise pula o analista; o fixo da CLI é o maior item restante — medir antes de otimizar. + +## 7. Plano em fases + +| Fase | O que entra | Precisa de modelo novo? | +| --- | --- | --- | +| **F0 — medir (1–2 dias)** | Gravar `usage` por chamada em `judge_json` (`claude -p --output-format json` traz uso; `codex exec --json` e `gemini -o json` trazem `stats`); base: tokens/h por papel, latência, % descartado, % aprovado pelo dono. Separar 50–100 cortes antigos rotulados pelo dono (bom / ruim / "sem contexto"). | não | +| **F1 — três papéis + timeline v0** | Configuração por papel (provedor, modelo, esforço, instruções, liga/desliga); JUIZ só texto com o schema acima e decisão pelo código; mosaico 4×2 (ffmpeg `tile`) no lugar dos N frames; timeline com o que já existe (fala, chat, rosto, volume, `scdet`) + frase `v` escrita pela varredura a partir do mosaico e guardada; perfil enxuto por papel. | não | +| **F2 — sinais locais leves** | YAMNet (áudio, CPU) e RapidOCR (HUD, CPU); perfil do jogo ganha `hud_regions` e `hud_keywords` (ex.: "WANTED", "MISSION PASSED", "YOU ARE DOWN"). | sim, pequenos (Apache-2.0) | +| **F3 — legenda local de cena** | Qwen3-VL-2B/4B (Apache-2.0) via llama.cpp/Ollama, ou SmolVLM2; bake-off contra a frase da varredura em 30 cortes (como `doc/FACE_BAKEOFF.md`). Ganhando, analista e varredura ficam só texto; imagem só na escalada. | sim (VLM) | +| **F4 — escalada com vídeo nativo (opcional)** | Casos duvidosos: Gemini por API key com o trecho em vídeo (fps 0,5–1, low; ≈ 6–9 mil tokens por 90 s, com áudio). | não (API) | + +**Riscos:** VRAM de 8 GB já cheia (VLM concorre com o Whisper → F3 só quantizado, e medir); legenda de VLM pequeno +alucina (mitigar: vocabulário do perfil, confiança, analista cruza com fala/HUD); OCR falha em fonte estilizada; +gameplay contínuo gera poucos cortes de plano (por isso o teto de 8 s); juiz rígido demais mata corte bom (medir +falso negativo); +1 chamada (~5–7 s) por corte mantido; a CLI do Gemini cobra 1.120 tokens por imagem e não expõe +`media_resolution` (por isso mosaico/texto); mudanças de flags nas CLIs. + +**O que medir para saber se melhorou** (antes × depois, mesma fonte): +- **Precisão**: % dos cortes "prontos" que o dono aprova (meta: subir); **falso positivo**: mantido pela IA e + rejeitado pelo dono, em especial com motivo "sem contexto/sem sentido" (meta: cair pela metade). +- **Falso negativo**: amostra semanal de 10 descartados pelo juiz — quantos o dono aprovaria (meta: ≤ 1). +- Concordância juiz × dono no conjunto rotulado (κ de Cohen); % de cortes ajustados pelo juiz que o dono mantém + sem editar o trecho. +- Tokens/h e chamadas/h por papel; latência por candidato; tempo local por minuto de live (F2/F3). + +## 8. Esboço da UI (Clipador → Juiz → "Equipe de IA") + +``` +┌ Equipe de IA ─────────────────────────────────────────────────────────────────────┐ +│ Papel Ligado Provedor Modelo Esforço Imagens │ +│ Varredura [x] Codex ▾ gpt-6-luna ▾ baixo ▾ mosaico/3 min ▾ │ +│ Analista [x] Gemini ▾ gemini-3.5-flash ▾ — se faltar cena ▾ │ +│ Editor [x] Claude ▾ haiku ▾ — nunca │ +│ Juiz [x] Codex ▾ gpt-6-luna ▾ médio ▾ nunca │ +│ 2ª opinião [x] Claude ▾ sonnet ▾ quando: confiança < [0,6] ou 1 crítico│ +│ │ +│ ▸ Instruções — Juiz │ +│ Padrão (somente leitura, EN/PT) [ver] [restaurar padrão] │ +│ Do administrador (somadas ao padrão; pode escrever em português): │ +│ [ Não aprove corte que termina antes do resultado da treta. ] │ +│ Checagens: setup [crítico] desfecho [crítico] sozinho [crítico] │ +│ quem/o quê [ ] fala clara [ ] título fiel [ ] abertura forte [ ] │ +│ Pode ajustar o trecho [x] Pode pôr frase de contexto na tela [x] │ +│ Exemplos do dono: + escolher corte (bom/ruim + 1 frase) │ +│ [Testar nos últimos 10 cortes] → mostra o que mudaria, sem gravar │ +│ [Salvar] │ +└───────────────────────────────────────────────────────────────────────────────────┘ +``` + +Gravação sugerida (tabela `settings`, chave `judge.roles`; identificadores em inglês): + +```jsonc +{ + "scan": {"enabled": true, "provider": "codex", "model": "", "effort": "low", "images": "mosaic", "extra": ""}, + "analyst": {"enabled": true, "provider": "gemini", "model": "", "effort": "low", "images": "fallback", "extra": ""}, + "editor": {"enabled": true, "provider": "claude", "model": "haiku", "images": "never", "extra": ""}, + "judge": {"enabled": true, "provider": "codex", "model": "", "effort": "medium", "extra": "", + "critical": ["setup", "payoff", "standalone"], "allowFix": true, "allowContextLine": true, + "second": {"enabled": true, "provider": "claude", "model": "sonnet", "minConfidence": 0.6}, + "examples": [{"clipId": 291, "good": false, "note": "termina antes do desfecho"}]} +} +``` + +`model: ""` = padrão do provedor; a reserva (`fallback_chain`) passa a valer **por papel**. As instruções do +administrador entram depois do texto padrão com o rótulo "Admin notes (may be in Portuguese)" — os juízes trabalham +em inglês e entendem português; a saída para o painel continua no bloco `pt`. + +## 9. Fontes (consultadas em 18/11/2026) + +- OpenAI — Images and vision (tokens por patch/tile e multiplicadores): https://developers.openai.com/api/docs/guides/images-vision +- Anthropic — Vision (patches de 28 px, tetos por modelo): https://platform.claude.com/docs/en/build-with-claude/vision +- Google — Media resolution (Gemini 3/4: 1.120/280/560 por imagem, 70/280 por frame): https://aistudio.google.com/docs/media-resolution +- Google — Video understanding (1 fps, ~100 tokens/s, áudio 32/s, `fps` e offsets): https://aistudio.google.com/docs/video-understanding +- Opus Clip — Virality score (Hook, Flow, Value, Trend): https://help.opus.pro/docs/article/virality-score +- Eklipse — Gameplay Intelligence (26/05/2026): https://blog.eklipse.gg/streaming-tips/gameplay-intelligence.html ; HUD/kill feed: https://eklipse.gg/compare/eklipse-vs-spikes-studio/ +- Twitch — TwitchCon Rotterdam (30/05/2026): https://blog.twitch.com/en/2026/05/30/everything-we-announced-at-twitchcon-rotterdam-2026/ ; San Diego (17/10/2025): https://blog.twitch.com/en/2025/10/17/ten-years-of-twitchcon-here-s-what-we-announced-in-san-diego/ +- YouTube — Made on YouTube (20/09/2025): https://techcrunch.com/2025/09/20/updates-to-studio-youtube-live-new-gen-ai-tools-and-everything-else-announced-at-made-on-youtube/ +- StreamLadder ClipGPT: https://streamladder.com/clipgpt-features/ai-virality-score ; comparativo 2026: https://www.twoaveragegamers.com/best-ai-clip-detection-tools-for-streamers-2026/ +- Grade de frames: IG-VLM https://arxiv.org/abs/2403.18406 ; TS-LLaVA https://arxiv.org/abs/2411.11066 ; "Paying for Too Many Tokens?" (30/09/2026) https://arxiv.org/abs/2610.00809 +- Legenda → LLM: LLoVi (EMNLP 2024) https://arxiv.org/abs/2312.17235 ; HiVid (fev/2026) https://arxiv.org/abs/2602.14214 +- Juiz: TICK https://arxiv.org/abs/2410.03608 ; Trust or Escalate https://arxiv.org/abs/2407.18370 ; MT-Bench https://arxiv.org/abs/2306.05685 ; G-Eval https://arxiv.org/abs/2303.16634 ; Self-consistency https://arxiv.org/abs/2203.11171 ; Microsoft, nota 1–5 (jun/2026) https://microsoft.github.io/mcscatblog/assets/posts/better-llm-scoring/20260626_LLM1-5Scoring_WhitePaper.pdf +- Licenças: Qwen3-VL-4B https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct ; Qwen2.5-VL-3B (não comercial) https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/blob/main/LICENSE ; SmolVLM2 https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct ; Florence-2 https://huggingface.co/microsoft/Florence-2-large-ft ; Moondream 3 https://huggingface.co/moondream/moondream3-preview ; YAMNet https://github.com/tensorflow/models/blob/master/research/audioset/yamnet/README.md ; PANNs (pesos CC-BY-4.0 via port) https://huggingface.co/litert-community/PANNs-CNN14-AudioSet-LiteRT ; PP-OCRv5 https://paddlepaddle.github.io/PaddleOCR/main/en/version3.x/algorithm/PP-OCRv5/PP-OCRv5.html ; PySceneDetect (BSD-3) https://scenedetect.com/copyright