Files

333 lines
31 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Clipador — pesquisa: três papéis de IA, vídeo como "linha do tempo JSON" e juiz de contexto (18/11/2026)
> Pesquisa + proposta. **Nada foi implementado.** Números de custo marcados com "≈" são estimativas a partir das
> fórmulas oficiais e do tamanho real dos prompts; números marcados com "medir" ainda não existem.
## 1. Pedido do dono
1. **Três papéis**, cada um com provedor + modelo próprios e instruções editáveis no painel:
ANALISTA (o que aconteceu) → EDITOR (vira corte? trecho, título, legenda) → **JUIZ** (novo: o corte tem
CONTEXTO e faz sentido sozinho? "não trazer corte sem sentido", principalmente em inglês).
2. **"Ler o vídeo como JSON"**: transformar o vídeo em uma linha curta por cena/instante, barata em tokens, e
descobrir o que melhora a nota/decisão de corte.
## 2. Ponto de partida (lido no código e no banco, 18/11/2026)
- Frames: `media.grab_frame` gera JPEG **768×432** (`scale=768:-2`, `-q:v 4`). Varredura: 7 frames por janela de
180 s (`intel.SCAN_MAX_FRAMES`); analista: 6–8 frames do trecho (`worker.judge_clip`); editor: só texto quando há
análise. Os mesmos instantes podem ser enviados duas vezes (varredura e depois analista).
- Prompts de sistema (EN): analista ≈ 670 tokens, editor ≈ 1.020, varredura ≈ 810 (+ schema 160–250). Perfil do jogo
ROB RUN em inglês: 4.156 caracteres (≈ 1.000 tokens) em **toda** chamada.
- Claude pela CLI: imagens via ferramenta `Read` (uma leitura por imagem = mais turnos); custo fixo medido da CLI
≈ 2,6 mil tokens por chamada (comentário em `judge._claude`). Codex e Gemini: fixo **não medido**.
- Volume real: sessão 15 (tfue, ROB RUN, 1h22) teve **35 candidatos** (≈ 25/h; 18 descartados pela IA); sessão 7
(5h07) teve 81 (≈ 16/h). Ou seja, **os candidatos pesam mais que a varredura** (2 chamadas × 15–25/h contra 20/h).
- Exemplo do problema que o JUIZ deve pegar (corte 291, mantido com nota 7,5): o próprio analista escreveu
*"The messages do not clearly establish the outcome of the encounter"* — o corte não tem o desfecho, e passou.
## 3. O que o mercado faz (sinais conhecidos)
| Ferramenta | O que se sabe dos sinais | Fonte |
| --- | --- | --- |
| **Opus Clip** (ClipAnything) | Multimodal (visual, áudio, "sentimento"); nota de viralidade 0–99 com 4 eixos: **Hook** (a abertura prende e tem a ver com o tema), **Flow** (segue lógico até uma **conclusão satisfatória**), **Value** (emoção/conexão), **Trend**; + relevância ao prompt. Fórmula não publicada. | help.opus.pro (sem data) |
| **Eklipse** "Gameplay Intelligence" (Premium desde 01/06/2026) | Abandonou "gatilho + janela" (1 kill/pico de chat/pico de áudio = 1 corte). Agora pontua candidatos por 4 sinais juntos: **eventos de estado do jogo**, **composição do áudio** (voz × jogo × fundo), **densidade de ação na tela** e **continuidade** (começo de sequência × lance isolado). Lê o estado visível do jogo para decidir início/fim: **mantém o setup quando o momento depende dele** e corta o tempo morto. Roteia por gênero pela categoria. Camada de "arco narrativo" (escalada em voz, chat e jogo) para conteúdo falado. Antes: OCR/detecção de objeto no HUD e **kill feed**; HUD tapado pela câmera = não detecta. | blog Eklipse (26/05/2026); páginas de comparação/ajuda |
| **Twitch Auto Clips** | Out/2025: "empolgação positiva, conversa engraçada". Mai/2026: **atividade do chat, inflexão da voz e eventos na tela**; corte já legendado. Dados de teste: 50% → 85% dos streamers com um corte para postar (alegação da empresa). | TwitchCon San Diego (17/10/2025) e Rotterdam (30/05/2026) |
| **YouTube** "Live recap"/destaques | Escolhe momentos da live encerrada e gera Shorts para o criador publicar (experimental). Sinais não publicados. | Made on YouTube (set/2025) |
| **StreamLadder ClipGPT** | Até 10 cortes por VOD + "Virality Score"; terceiros citam áudio + engajamento do chat (não confirmado pelo fornecedor). | streamladder.com; comparativos 2026 |
| **Klap / Vizard** | Generalistas, bons em conteúdo falado; Klap publica os fatores da nota 0–100. Não específicos de jogo. | comparativos 2026 |
| Medal, Powder, Athenascope | Não achei fonte atual confiável sobre os sinais (Medal aparece como captura manual em comparativo). Fora da análise. | — |
**Lições para nós:** (1) pontuar com vários sinais ao mesmo tempo, não um gatilho; (2) **estado do jogo pelo HUD**
(texto na tela) é o sinal visual mais barato e confiável; (3) "continuidade/arco" e "conclusão satisfatória" são
exatamente o que falta hoje — é o papel do JUIZ; (4) o corte precisa **incluir o setup quando o momento depende
dele** (Eklipse) — é a principal correção que o juiz pode pedir.
## 4. Como ler vídeo barato
### 4.1 Custo de imagem por provedor (fórmulas oficiais, consultadas em 18/11/2026)
| Provedor | Fórmula | 1 frame 768×432 (hoje) | Mosaico 4×2 de 384×216 (1536×432) |
| --- | --- | --- | --- |
| OpenAI (Codex) | patches de 32 px: `ceil(w/32)·ceil(h/32)` × multiplicador (1,2 na família gpt-5.x/gpt-6-astra; **assumido 1,2** para gpt-6-luna) | 24·14 = 336 × 1,2 ≈ **404** | 48·14 = 672 × 1,2 ≈ **807** (8 frames) |
| Anthropic (Claude) | patches de 28 px: `ceil(w/28)·ceil(h/28)`; teto 1.568 (padrão) / 4.784 (alta resolução, 4.7+) | 28·16 = **448** | 55·16 = **880** (8 frames) |
| Google (Gemini 3/4) | fixo por imagem conforme `media_resolution`: padrão **1.120**, low 280, medium 560 | **1.120** (a CLI usa o padrão) | **1.120** (8 frames) ou 280 em low |
| Gemini vídeo nativo | 1 fps padrão; **70 tokens/frame** (low/medium), 280 (high); áudio 32 tokens/s; ≈ 100 tokens/s no total; `fps` e `start/end_offset` configuráveis (API) | — | corte de 90 s ≈ 9 mil tokens com áudio (fps 0,5 ≈ 6 mil) |
Hoje, por hora (tfue, ~25 candidatos/h, Codex): imagens ≈ 20×7×404 + 25×8×404 ≈ **138 mil tokens**. No Gemini
(1.120/imagem) o mesmo fluxo daria ≈ **381 mil** — o mosaico ou o texto cortam isso em 4–8×.
### 4.2 Técnicas (o que a pesquisa mostra)
- **Mosaico/grade de frames numa imagem só.** IG-VLM (2024) mostrou que uma grade de frames numa imagem deixa um
modelo de imagem entender vídeo sem treino; TS-LLaVA (2024): 16 frames em 4 grades > frames soltos com o mesmo
número de tokens. **"Paying for Too Many Tokens?" (30/09/2026, AACL 2026): uma grade 2×8 de frames escolhidos por
mudança de plano chegou perto do vídeo inteiro (κ dentro de 0,05) com ~15% do custo**, e "só texto" muitas vezes
já bastava. Limite: grade perde detalhe fino (texto pequeno do HUD) → cobrir com OCR local.
Para nós: ffmpeg já faz (`select` + `scale=384:-2` + `tile=4x2`), sem dependência nova; no Claude vira 1 `Read`
em vez de 8.
- **Amostrar por mudança, não por relógio.** Em gameplay a câmera é contínua: corte de plano quase só acontece em
menu, loading, morte, teleporte, troca de câmera — justamente eventos úteis. Proposta híbrida: nova entrada quando
muda a cena (ffmpeg `scdet`/`select='gt(scene,x)'`, ou PySceneDetect, BSD-3) **ou** a cada no máximo 8 s, **ou**
num pico de chat/áudio/rosto, **ou** numa pausa da fala. PySceneDetect não publica velocidade; medir.
- **"Legenda primeiro, raciocínio depois" (caption-then-reason).** LLoVi (EMNLP 2024): um legendador descreve
pedaços curtos e um LLM raciocina só sobre o texto — bateu o estado da arte em vídeo longo. HiVid (fev/2026):
modelos de vídeo dão nota subjetiva ruim no zero-shot; janela deslizante local + resumo global funciona melhor.
É exatamente a "linha do tempo JSON".
- **OCR do HUD** (o sinal que o Eklipse usa): RapidOCR/PaddleOCR PP-OCRv5 (**Apache-2.0**), recortes fixos por jogo
(canto do kill feed, faixa central de "MISSION PASSED"/"WASTED", estrelas de procurado, dinheiro). Só registrar
texto **novo**.
- **Eventos de áudio**: YAMNet (**Apache-2.0**, 521 classes AudioSet: *Laughter, Screaming, Shout, Gunshot/gunfire,
Explosion, Siren, Applause, Cheering, Music*; saídas não calibradas → limiar por classe) roda em CPU sobre o mesmo
áudio 16 kHz do Whisper. PANNs (código MIT; pesos **CC-BY-4.0** segundo os ports — atribuição, permitido) como
alternativa mais precisa.
- **VLM local pequeno para a frase da cena** (licença dos PESOS conferida):
| Modelo | Licença dos pesos | Situação para o dono |
| --- | --- | --- |
| Qwen3-VL-2B/4B-Instruct | Apache-2.0 (card oficial do 4B; 2B por espelhos — conferir o LICENSE oficial) | **OK — melhor candidato** (entende jogo, segue JSON) |
| SmolVLM2 2.2B / 500M / 256M | Apache-2.0 (card oficial) | OK — leve, feito para vídeo, ~5 GB VRAM no 2.2B em fp16 |
| Florence-2 base/large | MIT | OK — rápido (~1 s/img numa T4), mas legenda genérica ("a car on a street"); bom para OCR/objetos |
| Moondream 2 | Apache-2.0 | OK (não testado aqui) |
| Moondream 3 (preview) / 3.1 | BSL 1.1 com concessão / "Moondream Model License" | **Evitar** (licença própria com restrição) |
| Qwen2.5-VL-**3B** | Qwen Research License = **não comercial** | **Proibido** |
| Gemma 3 | termos próprios do Gemma (não verificado nesta pesquisa) | Evitar por precaução |
- **Máquina local**: `nvidia-smi` em 18/11/2026 → **RTX 2060 SUPER, 8 GB, 7,1 GB já ocupados** naquele momento
(Whisper e o que mais estava aberto). VRAM é o gargalo: VLM só quantizado (Qwen3-VL-2B Q4 ≈ 1,5–2 GB via
llama.cpp/Ollama, ambos MIT) ou Florence-2-base (< 1 GB). Turing não tem bf16 → fp16/int4.
| Etapa local | Onde roda | Tempo por minuto de live (estimativa — medir) |
| --- | --- | --- |
| Mudança de cena (ffmpeg `scdet` em 160 px, NVDEC) | GPU decode/CPU | 1–3 s |
| OCR de 2–4 recortes do HUD a cada 2 s | CPU (RapidOCR ONNX) | 1–3 s |
| YAMNet em janelas de 0,96 s | CPU | < 1 s |
| Frase da cena: ~8–10 keyframes/min, Qwen3-VL-2B Q4 | GPU | 5–15 s |
| Rosto, chat, fala, volume | já existem | 0 |
Total ≈ 10–20 s por minuto de live (abaixo do tempo real), concorrendo com o Whisper pela GPU.
## 5. A "linha do tempo JSON" (proposta)
**Formato:** JSON Lines, uma linha por cena/instante, chaves curtas (a legenda das chaves vai **uma vez** no prompt de
sistema), segundos inteiros da gravação (o editor devolve `start_s/end_s` nessa régua), campos vazios omitidos.
| Campo | Conteúdo | De onde vem |
| --- | --- | --- |
| `t`, `d` | início (s da gravação) e duração da entrada | local: segmentação híbrida (cena / ≤ 8 s / pico / pausa da fala) |
| `k` | só quando houve corte de plano: `"cut"` | local: `scdet` |
| `v` | o que está na tela / ação, **≤ 12 palavras**, no idioma da fonte | VLM local (F3) **ou** a própria varredura escreve a partir do mosaico (F1) |
| `hud` | texto novo do HUD (`"WANTED 3★"`, `"-$1,200"`, `"MISSION PASSED"`) | local: OCR nos recortes do perfil do jogo |
| `face` | expressão do streamer + intensidade 0–1 (`"laugh.7"`, `"shock.8"`, `"talk"`) | local: YuNet + MediaPipe (`reaction.summarize`) |
| `aud` | eventos de áudio acima do limiar (`gunshot`, `laughter`, `siren`…) | local: YAMNet |
| `lvl` | volume relativo ao normal da live, 0–9 | local: RMS já calculado |
| `sp` | fala **literal** do trecho (até ~25 palavras) | local: Whisper (palavras com tempo) |
| `chat` | `"msgs\|emote×n\|frase mais repetida"` | local: `scoring`/emotes já calculados |
**Exemplo inventado — 60 s de ROB RUN (tfue, inglês)** — 1.681 caracteres ≈ **470 tokens**:
```jsonl
{"win":[4521,4581],"game":"ROB RUN","cam":"bottom-left","src":"en"}
{"t":4521,"d":6,"v":"Tfue on foot at beach house, aims rifle at masked player","hud":["WANTED 2★"],"face":"talk","aud":["music"],"lvl":3,"sp":"yo yo we're just passing through bro, we're friendly","chat":"6|LUL×2|he's lying"}
{"t":4527,"d":8,"v":"masked player points shotgun back, both standing still","face":"smile.4","lvl":3,"sp":"I literally only have an action camera, I swear","chat":"9|KEKW×3|action camera LMAO"}
{"t":4535,"d":7,"v":"teammate's car pulls up behind masked player","aud":["engine"],"lvl":4,"sp":"don't shoot, don't shoot, it's my first day in the city","chat":"8|ICANT×2|first day 💀"}
{"t":4542,"d":4,"k":"cut","v":"masked player fires, Tfue ragdolls to the ground","hud":["YOU ARE DOWN","-$1,200"],"face":"shock.8","aud":["gunshot","shout"],"lvl":8,"sp":"WHAT? BRO WHAT","chat":"21|OMEGALUL×7|LMAOOO"}
{"t":4546,"d":6,"v":"downed view, masked player loots Tfue's bag","hud":["REVIVE 0:12"],"face":"laugh.7","aud":["laughter"],"lvl":7,"sp":"he took my camera! he took my action camera!","chat":"26|KEKW×9|he's cooked"}
{"t":4552,"d":8,"v":"teammate runs over, revives Tfue behind car","hud":["REVIVED"],"face":"talk","lvl":5,"sp":"that guy came out of nowhere, he's gotta be hacking","chat":"14|Clueless×3|skill issue"}
{"t":4560,"d":9,"v":"Tfue drives car along beach road, police car behind","hud":["WANTED 3★"],"aud":["siren","engine"],"lvl":6,"sp":"cops cops cops, go go go","chat":"10|monkaS×2|"}
{"t":4569,"d":12,"v":"car chase through Looty Bay streets, crashes into fence","aud":["crash","siren"],"lvl":7,"face":"focus","sp":"I can't see anything, where are we going","chat":"7||"}
```
Lendo só isso, qualquer modelo de texto vê setup (4521–4541: implora paz, "action camera"), gatilho (4542: tiro),
desfecho (4546: rouba a câmera — a piada fecha) e a cauda que **não** pertence ao corte (4560+: perseguição).
É o que faltou no corte 291.
**Tokens por minuto:** ≈ 450–550 com fala contínua (tfue), ≈ 250 em minuto calado. Comparação da **evidência**
(sem prompt de sistema nem perfil):
| Chamada | Hoje (frames + transcrição + chat) | Linha do tempo | Cobertura visual |
| --- | --- | --- | --- |
| Varredura (3 min + 2 min de volta) | 7×404 + ~1.000 + ~400 ≈ **4.200** | 3 min × 500 + volta resumida ~400 ≈ **1.900** | 1 frame/25 s → 1 entrada/6–8 s + áudio + HUD |
| Analista (janela ~225 s, 8 frames) | 8×404 + ~800 + ~350 ≈ **4.400** | 3,75 min × 500 ≈ **1.900** (+ mosaico opcional 807) | 1 frame/20 s → 1 entrada/6–8 s |
| No Gemini (1.120/imagem) | varredura ≈ 9.200 · analista ≈ 10.100 | igual acima | — |
## 6. Arquitetura recomendada dos três papéis (+ varredura)
```
blocos .ts ─► LOCAL: cena/HUD/áudio/rosto/fala/chat ─► timeline.jsonl (por sessão, reaproveitada por todos)
VARREDURA (texto [+ 1 mosaico/3 min]) ─► candidatos ─┐
chat/áudio/rosto ─► candidatos ──────────────────────┴► ANALISTA ─► EDITOR ─► (manteve e nota ≥ mínima) ─► JUIZ
├ aprova ─► render
├ ajusta ─► 1 nova checagem ─► render | descarta
└ reprova ─► "descartado pelo juiz" (forçável)
```
| Papel | Vê imagem? | Entrada | Saída JSON (chaves em inglês; `pt` para o painel em fonte EN) |
| --- | --- | --- | --- |
| **Varredura** | opcional: 1 mosaico 4×2 por janela | timeline da janela + memória + perfil enxuto (`clip_worthy`, `jargon`) | como hoje (`moments`, `summary`) + em F1 **`lines`: a frase `v` de cada keyframe do mosaico**, que vai para a timeline e é reaproveitada |
| **Analista** | opcional: 1 mosaico do trecho (só se `v` faltar ou confiança baixa) | timeline da janela (volta até `backtrackS`) + perfil enxuto + rosto | campos atuais + **`setup_s`** (onde começa o contexto necessário), **`trigger_s`**, **`payoff_s`** e `beats` (≤ 4 frases curtas: setup → gatilho → desfecho) |
| **Editor** | não | análise + timeline **só do trecho** ± 15 s + perfil (hashtags, jargão) | atual (`keep`, `score`, `start_s`, `end_s`, `title`, `caption`, `hashtags`, `reason`) + **`context_line`** opcional (≤ 8 palavras na tela nos 2 primeiros segundos, ex.: "Tfue tries to talk his way out of a robbery") |
| **Juiz** | não | **só o que o espectador verá**: timeline de `start_s..end_s` + 20 s antes marcados "fora do corte" + título/legenda/`context_line` + "história pretendida" (`what_happened` do analista) + 1 linha do jogo | `viewer_summary` (o que um espectador frio entende, escrito ANTES dos checks), `checks`, `fix`, `confidence`, `reason`, `pt` |
**Schema do JUIZ (saída):**
```jsonc
{
"viewer_summary": "Tfue begs a robber to spare him, gets shot anyway and loses his 'action camera'.",
"checks": { // cada um: ok + instante de evidência + motivo curto
"setup": {"ok": true, "t": 4521, "why": "plea starts at 4521"},
"payoff": {"ok": true, "t": 4546, "why": "camera stolen = punchline"},
"who_what": {"ok": true, "t": 4521, "why": "streamer vs masked robber clear"},
"standalone": {"ok": false, "t": 4552, "why": "'that guy came out of nowhere' refers to earlier fight"},
"intelligible": {"ok": true, "t": null, "why": ""},
"faithful": {"ok": true, "t": null, "why": ""},
"strong_open": {"ok": false, "t": 4521, "why": "first 3 s are calm talking"}
},
"fix": {"start_s": null, "end_s": 4551, "context_line": "Tfue tries to talk his way out of a robbery"},
"confidence": 0.8,
"reason": "Works alone if it ends on the stolen camera; tail depends on earlier context.",
"pt": {"viewer_summary": "…", "reason": "…"}
}
```
**Decisão pelo código, não pelo modelo** (calibrável no painel): `setup`, `payoff` e `standalone` são **críticos**.
Crítico falho + `fix` dentro da margem (`backtrackS`, duração mín./máx.) → aplica (`fit_window`) e roda o juiz **uma**
vez de novo no trecho novo; falhou de novo → descarta com motivo em português. Crítico falho sem `fix` → descarta.
Não críticos só baixam a nota (`score_final = score_editor − 0,5 por check não crítico falho`, ajustável).
Corte manual: juiz só **avisa** (não descarta), como o editor hoje.
**Critérios específicos para lives em inglês** (instruções padrão do juiz):
- Referência a algo **fora do corte**: "that guy", "again", "like I said", "remember when", nomes nunca apresentados,
callbacks a doação/raid/sub, piada interna do chat ou do canal.
- Fala-chave **de colega no Discord** ou de outro jogador que o Whisper não pegou (o streamer só reage) → `intelligible` falha.
- Ironia/gíria que muda o sentido ("he's cooked", "Clueless", "W") só vale se a tela confirma.
- Corte que termina **antes do desfecho** (sem resultado da treta, da fuga, da missão) → `payoff` falha (o caso 291).
- Título que afirma o que só foi suspeita ("caught a hacker" quando ele só acusa) → `faithful` falha.
- Conteúdo que só funciona para quem acompanha o streamer (lore do canal) → `standalone` falha, salvo `context_line` resolver.
### 6.1 Técnicas de LLM-como-juiz aplicadas
- **Checklist sim/não em vez de nota livre** (TICK, 2024: checklist gerada elevou a concordância exata com humanos de
46,4% para 52,2%; guias de 2025–2026 recomendam critérios binários com justificativa; white paper da Microsoft
(jun/2026) aponta nota direta 1–5 como frágil). A nota final sai das checagens.
- **Raciocínio antes do veredito**: `viewer_summary` vem primeiro; comparar com a "história pretendida" é um juiz com
**referência**, que a literatura mostra ser mais estável (G-Eval, 2023; MT-Bench, 2023).
- **Cascata barata** (Trust or Escalate, ICLR 2025: juiz pequeno primeiro, escala para um forte só quando não está
confiante — >80% de concordância garantida cobrindo ~80% dos casos): `confidence < 0,6` ou exatamente um crítico
falho → **segunda opinião** com outro provedor/modelo (configurável); empate decide pelo descarte. Votação
(self-consistency) só nesses casos, não em todos.
- **Evitar autopreferência**: o juiz de preferência em **provedor diferente** do editor (modelos julgam melhor o
texto que eles mesmos gerariam).
- **Calibração com o dono**: aprovar/rejeitar no painel já existe; acrescentar o motivo "sem contexto" na rejeição e
medir a concordância juiz × dono. Exemplos reais (2 bons, 2 ruins) entram como few-shot nas instruções do admin.
### 6.2 Modelo por papel
| Papel | Perfil de modelo | Sugestão inicial (CLI logada) |
| --- | --- | --- |
| Varredura | muito frequente, barato; só texto (+1 mosaico) | `gpt-6-luna` / `haiku` / `gemini-3.1-flash-lite` |
| Analista | cruza fontes; visão só no mosaico opcional | `gemini-3.5-flash` (boa visão; vídeo nativo na escalada) ou `gpt-6-luna` |
| Editor | escreve título/legenda em inglês nativo | `haiku` ou `gpt-6-luna`; modelo maior só se o dono notar título fraco |
| Juiz | raciocínio curto e rígido, só texto | provedor ≠ editor; `gpt-6-luna` com `model_reasoning_effort="medium"` ou `haiku`; segunda opinião: `sonnet` / `gemini-2.5-pro` |
Com chave de API: deixar estáveis no início do prompt (sistema + perfil) e o variável no fim, para aproveitar o
cache automático de prefixo (OpenAI) / cache do Claude.
### 6.3 Custo estimado por candidato e por hora (tfue, ~25 candidatos/h, Codex)
| Chamada | Hoje (entrada ≈) | Proposta (entrada ≈) | Observação |
| --- | --- | --- | --- |
| Varredura ×20/h | 6.300 → **126 mil/h** | 3.400 → **68 mil/h** | perfil enxuto (~500) + timeline |
| Analista ×25/h | 6.600 → **165 mil/h** | 3.500–4.300 → **88–108 mil/h** | com/sem mosaico |
| Editor ×25/h | 4.450 → **111 mil/h** | 2.850 → **71 mil/h** | só o trecho, sem a volta inteira |
| Juiz ×~13/h (só mantidos) | — | 1.950 (+30% 2ª opinião/rechecagem) → **≈ 33 mil/h** | saída ≈ 250 |
| **Conteúdo total** | **≈ 400 mil/h** | **≈ 260–280 mil/h (−30 a −35%)** | |
| Fixo das CLIs (≈ 2,5 mil/chamada) | 70 chamadas → ≈ 175 mil | ≈ 83 chamadas → ≈ 208 mil | **medir** (Codex/Gemini) |
| **Total** | **≈ 575 mil/h** | **≈ 470–490 mil/h (−15%)** | no Gemini a economia passa de −40% (imagens a 1.120) |
Por candidato mantido: hoje ≈ 11 mil (analista + editor); proposta ≈ 8–9 mil **com** o juiz. A economia de token é
moderada; o ganho principal é **qualidade** (cobertura a cada 6–8 s, áudio e HUD, desfecho checado). Alavancas extras:
portão local antes do analista (timeline mostra menu/loading, sem fala e sem reação → não gasta IA); candidato da
varredura que já veio com análise pula o analista; o fixo da CLI é o maior item restante — medir antes de otimizar.
## 7. Plano em fases
| Fase | O que entra | Precisa de modelo novo? |
| --- | --- | --- |
| **F0 — medir (1–2 dias)** | Gravar `usage` por chamada em `judge_json` (`claude -p --output-format json` traz uso; `codex exec --json` e `gemini -o json` trazem `stats`); base: tokens/h por papel, latência, % descartado, % aprovado pelo dono. Separar 50–100 cortes antigos rotulados pelo dono (bom / ruim / "sem contexto"). | não |
| **F1 — três papéis + timeline v0** | Configuração por papel (provedor, modelo, esforço, instruções, liga/desliga); JUIZ só texto com o schema acima e decisão pelo código; mosaico 4×2 (ffmpeg `tile`) no lugar dos N frames; timeline com o que já existe (fala, chat, rosto, volume, `scdet`) + frase `v` escrita pela varredura a partir do mosaico e guardada; perfil enxuto por papel. | não |
| **F2 — sinais locais leves** | YAMNet (áudio, CPU) e RapidOCR (HUD, CPU); perfil do jogo ganha `hud_regions` e `hud_keywords` (ex.: "WANTED", "MISSION PASSED", "YOU ARE DOWN"). | sim, pequenos (Apache-2.0) |
| **F3 — legenda local de cena** | Qwen3-VL-2B/4B (Apache-2.0) via llama.cpp/Ollama, ou SmolVLM2; bake-off contra a frase da varredura em 30 cortes (como `doc/FACE_BAKEOFF.md`). Ganhando, analista e varredura ficam só texto; imagem só na escalada. | sim (VLM) |
| **F4 — escalada com vídeo nativo (opcional)** | Casos duvidosos: Gemini por API key com o trecho em vídeo (fps 0,5–1, low; ≈ 6–9 mil tokens por 90 s, com áudio). | não (API) |
**Riscos:** VRAM de 8 GB já cheia (VLM concorre com o Whisper → F3 só quantizado, e medir); legenda de VLM pequeno
alucina (mitigar: vocabulário do perfil, confiança, analista cruza com fala/HUD); OCR falha em fonte estilizada;
gameplay contínuo gera poucos cortes de plano (por isso o teto de 8 s); juiz rígido demais mata corte bom (medir
falso negativo); +1 chamada (~5–7 s) por corte mantido; a CLI do Gemini cobra 1.120 tokens por imagem e não expõe
`media_resolution` (por isso mosaico/texto); mudanças de flags nas CLIs.
**O que medir para saber se melhorou** (antes × depois, mesma fonte):
- **Precisão**: % dos cortes "prontos" que o dono aprova (meta: subir); **falso positivo**: mantido pela IA e
rejeitado pelo dono, em especial com motivo "sem contexto/sem sentido" (meta: cair pela metade).
- **Falso negativo**: amostra semanal de 10 descartados pelo juiz — quantos o dono aprovaria (meta: ≤ 1).
- Concordância juiz × dono no conjunto rotulado (κ de Cohen); % de cortes ajustados pelo juiz que o dono mantém
sem editar o trecho.
- Tokens/h e chamadas/h por papel; latência por candidato; tempo local por minuto de live (F2/F3).
## 8. Esboço da UI (Clipador → Juiz → "Equipe de IA")
```
┌ Equipe de IA ─────────────────────────────────────────────────────────────────────┐
│ Papel Ligado Provedor Modelo Esforço Imagens │
│ Varredura [x] Codex ▾ gpt-6-luna ▾ baixo ▾ mosaico/3 min ▾ │
│ Analista [x] Gemini ▾ gemini-3.5-flash ▾ — se faltar cena ▾ │
│ Editor [x] Claude ▾ haiku ▾ — nunca │
│ Juiz [x] Codex ▾ gpt-6-luna ▾ médio ▾ nunca │
│ 2ª opinião [x] Claude ▾ sonnet ▾ quando: confiança < [0,6] ou 1 crítico│
│ │
│ ▸ Instruções — Juiz │
│ Padrão (somente leitura, EN/PT) [ver] [restaurar padrão] │
│ Do administrador (somadas ao padrão; pode escrever em português): │
│ [ Não aprove corte que termina antes do resultado da treta. ] │
│ Checagens: setup [crítico] desfecho [crítico] sozinho [crítico] │
│ quem/o quê [ ] fala clara [ ] título fiel [ ] abertura forte [ ] │
│ Pode ajustar o trecho [x] Pode pôr frase de contexto na tela [x] │
│ Exemplos do dono: + escolher corte (bom/ruim + 1 frase) │
│ [Testar nos últimos 10 cortes] → mostra o que mudaria, sem gravar │
│ [Salvar] │
└───────────────────────────────────────────────────────────────────────────────────┘
```
Gravação sugerida (tabela `settings`, chave `judge.roles`; identificadores em inglês):
```jsonc
{
"scan": {"enabled": true, "provider": "codex", "model": "", "effort": "low", "images": "mosaic", "extra": ""},
"analyst": {"enabled": true, "provider": "gemini", "model": "", "effort": "low", "images": "fallback", "extra": ""},
"editor": {"enabled": true, "provider": "claude", "model": "haiku", "images": "never", "extra": ""},
"judge": {"enabled": true, "provider": "codex", "model": "", "effort": "medium", "extra": "",
"critical": ["setup", "payoff", "standalone"], "allowFix": true, "allowContextLine": true,
"second": {"enabled": true, "provider": "claude", "model": "sonnet", "minConfidence": 0.6},
"examples": [{"clipId": 291, "good": false, "note": "termina antes do desfecho"}]}
}
```
`model: ""` = padrão do provedor; a reserva (`fallback_chain`) passa a valer **por papel**. As instruções do
administrador entram depois do texto padrão com o rótulo "Admin notes (may be in Portuguese)" — os juízes trabalham
em inglês e entendem português; a saída para o painel continua no bloco `pt`.
## 9. Fontes (consultadas em 18/11/2026)
- OpenAI — Images and vision (tokens por patch/tile e multiplicadores): https://developers.openai.com/api/docs/guides/images-vision
- Anthropic — Vision (patches de 28 px, tetos por modelo): https://platform.claude.com/docs/en/build-with-claude/vision
- Google — Media resolution (Gemini 3/4: 1.120/280/560 por imagem, 70/280 por frame): https://aistudio.google.com/docs/media-resolution
- Google — Video understanding (1 fps, ~100 tokens/s, áudio 32/s, `fps` e offsets): https://aistudio.google.com/docs/video-understanding
- Opus Clip — Virality score (Hook, Flow, Value, Trend): https://help.opus.pro/docs/article/virality-score
- Eklipse — Gameplay Intelligence (26/05/2026): https://blog.eklipse.gg/streaming-tips/gameplay-intelligence.html ; HUD/kill feed: https://eklipse.gg/compare/eklipse-vs-spikes-studio/
- Twitch — TwitchCon Rotterdam (30/05/2026): https://blog.twitch.com/en/2026/05/30/everything-we-announced-at-twitchcon-rotterdam-2026/ ; San Diego (17/10/2025): https://blog.twitch.com/en/2025/10/17/ten-years-of-twitchcon-here-s-what-we-announced-in-san-diego/
- YouTube — Made on YouTube (20/09/2025): https://techcrunch.com/2025/09/20/updates-to-studio-youtube-live-new-gen-ai-tools-and-everything-else-announced-at-made-on-youtube/
- StreamLadder ClipGPT: https://streamladder.com/clipgpt-features/ai-virality-score ; comparativo 2026: https://www.twoaveragegamers.com/best-ai-clip-detection-tools-for-streamers-2026/
- Grade de frames: IG-VLM https://arxiv.org/abs/2403.18406 ; TS-LLaVA https://arxiv.org/abs/2411.11066 ; "Paying for Too Many Tokens?" (30/09/2026) https://arxiv.org/abs/2610.00809
- Legenda → LLM: LLoVi (EMNLP 2024) https://arxiv.org/abs/2312.17235 ; HiVid (fev/2026) https://arxiv.org/abs/2602.14214
- Juiz: TICK https://arxiv.org/abs/2410.03608 ; Trust or Escalate https://arxiv.org/abs/2407.18370 ; MT-Bench https://arxiv.org/abs/2306.05685 ; G-Eval https://arxiv.org/abs/2303.16634 ; Self-consistency https://arxiv.org/abs/2203.11171 ; Microsoft, nota 1–5 (jun/2026) https://microsoft.github.io/mcscatblog/assets/posts/better-llm-scoring/20260626_LLM1-5Scoring_WhitePaper.pdf
- Licenças: Qwen3-VL-4B https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct ; Qwen2.5-VL-3B (não comercial) https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/blob/main/LICENSE ; SmolVLM2 https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct ; Florence-2 https://huggingface.co/microsoft/Florence-2-large-ft ; Moondream 3 https://huggingface.co/moondream/moondream3-preview ; YAMNet https://github.com/tensorflow/models/blob/master/research/audioset/yamnet/README.md ; PANNs (pesos CC-BY-4.0 via port) https://huggingface.co/litert-community/PANNs-CNN14-AudioSet-LiteRT ; PP-OCRv5 https://paddlepaddle.github.io/PaddleOCR/main/en/version3.x/algorithm/PP-OCRv5/PP-OCRv5.html ; PySceneDetect (BSD-3) https://scenedetect.com/copyright