Doc: pesquisa e proposta do juiz de contexto e da linha do tempo em JSON (doc/clipador/PESQUISA-JUIZ.md)
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
1ea8445808
commit
5be6c09c16
@@ -0,0 +1,332 @@
|
||||
# Clipador — pesquisa: três papéis de IA, vídeo como "linha do tempo JSON" e juiz de contexto (18/11/2026)
|
||||
|
||||
> Pesquisa + proposta. **Nada foi implementado.** Números de custo marcados com "≈" são estimativas a partir das
|
||||
> fórmulas oficiais e do tamanho real dos prompts; números marcados com "medir" ainda não existem.
|
||||
|
||||
## 1. Pedido do dono
|
||||
|
||||
1. **Três papéis**, cada um com provedor + modelo próprios e instruções editáveis no painel:
|
||||
ANALISTA (o que aconteceu) → EDITOR (vira corte? trecho, título, legenda) → **JUIZ** (novo: o corte tem
|
||||
CONTEXTO e faz sentido sozinho? "não trazer corte sem sentido", principalmente em inglês).
|
||||
2. **"Ler o vídeo como JSON"**: transformar o vídeo em uma linha curta por cena/instante, barata em tokens, e
|
||||
descobrir o que melhora a nota/decisão de corte.
|
||||
|
||||
## 2. Ponto de partida (lido no código e no banco, 18/11/2026)
|
||||
|
||||
- Frames: `media.grab_frame` gera JPEG **768×432** (`scale=768:-2`, `-q:v 4`). Varredura: 7 frames por janela de
|
||||
180 s (`intel.SCAN_MAX_FRAMES`); analista: 6–8 frames do trecho (`worker.judge_clip`); editor: só texto quando há
|
||||
análise. Os mesmos instantes podem ser enviados duas vezes (varredura e depois analista).
|
||||
- Prompts de sistema (EN): analista ≈ 670 tokens, editor ≈ 1.020, varredura ≈ 810 (+ schema 160–250). Perfil do jogo
|
||||
ROB RUN em inglês: 4.156 caracteres (≈ 1.000 tokens) em **toda** chamada.
|
||||
- Claude pela CLI: imagens via ferramenta `Read` (uma leitura por imagem = mais turnos); custo fixo medido da CLI
|
||||
≈ 2,6 mil tokens por chamada (comentário em `judge._claude`). Codex e Gemini: fixo **não medido**.
|
||||
- Volume real: sessão 15 (tfue, ROB RUN, 1h22) teve **35 candidatos** (≈ 25/h; 18 descartados pela IA); sessão 7
|
||||
(5h07) teve 81 (≈ 16/h). Ou seja, **os candidatos pesam mais que a varredura** (2 chamadas × 15–25/h contra 20/h).
|
||||
- Exemplo do problema que o JUIZ deve pegar (corte 291, mantido com nota 7,5): o próprio analista escreveu
|
||||
*"The messages do not clearly establish the outcome of the encounter"* — o corte não tem o desfecho, e passou.
|
||||
|
||||
## 3. O que o mercado faz (sinais conhecidos)
|
||||
|
||||
| Ferramenta | O que se sabe dos sinais | Fonte |
|
||||
| --- | --- | --- |
|
||||
| **Opus Clip** (ClipAnything) | Multimodal (visual, áudio, "sentimento"); nota de viralidade 0–99 com 4 eixos: **Hook** (a abertura prende e tem a ver com o tema), **Flow** (segue lógico até uma **conclusão satisfatória**), **Value** (emoção/conexão), **Trend**; + relevância ao prompt. Fórmula não publicada. | help.opus.pro (sem data) |
|
||||
| **Eklipse** "Gameplay Intelligence" (Premium desde 01/06/2026) | Abandonou "gatilho + janela" (1 kill/pico de chat/pico de áudio = 1 corte). Agora pontua candidatos por 4 sinais juntos: **eventos de estado do jogo**, **composição do áudio** (voz × jogo × fundo), **densidade de ação na tela** e **continuidade** (começo de sequência × lance isolado). Lê o estado visível do jogo para decidir início/fim: **mantém o setup quando o momento depende dele** e corta o tempo morto. Roteia por gênero pela categoria. Camada de "arco narrativo" (escalada em voz, chat e jogo) para conteúdo falado. Antes: OCR/detecção de objeto no HUD e **kill feed**; HUD tapado pela câmera = não detecta. | blog Eklipse (26/05/2026); páginas de comparação/ajuda |
|
||||
| **Twitch Auto Clips** | Out/2025: "empolgação positiva, conversa engraçada". Mai/2026: **atividade do chat, inflexão da voz e eventos na tela**; corte já legendado. Dados de teste: 50% → 85% dos streamers com um corte para postar (alegação da empresa). | TwitchCon San Diego (17/10/2025) e Rotterdam (30/05/2026) |
|
||||
| **YouTube** "Live recap"/destaques | Escolhe momentos da live encerrada e gera Shorts para o criador publicar (experimental). Sinais não publicados. | Made on YouTube (set/2025) |
|
||||
| **StreamLadder ClipGPT** | Até 10 cortes por VOD + "Virality Score"; terceiros citam áudio + engajamento do chat (não confirmado pelo fornecedor). | streamladder.com; comparativos 2026 |
|
||||
| **Klap / Vizard** | Generalistas, bons em conteúdo falado; Klap publica os fatores da nota 0–100. Não específicos de jogo. | comparativos 2026 |
|
||||
| Medal, Powder, Athenascope | Não achei fonte atual confiável sobre os sinais (Medal aparece como captura manual em comparativo). Fora da análise. | — |
|
||||
|
||||
**Lições para nós:** (1) pontuar com vários sinais ao mesmo tempo, não um gatilho; (2) **estado do jogo pelo HUD**
|
||||
(texto na tela) é o sinal visual mais barato e confiável; (3) "continuidade/arco" e "conclusão satisfatória" são
|
||||
exatamente o que falta hoje — é o papel do JUIZ; (4) o corte precisa **incluir o setup quando o momento depende
|
||||
dele** (Eklipse) — é a principal correção que o juiz pode pedir.
|
||||
|
||||
## 4. Como ler vídeo barato
|
||||
|
||||
### 4.1 Custo de imagem por provedor (fórmulas oficiais, consultadas em 18/11/2026)
|
||||
|
||||
| Provedor | Fórmula | 1 frame 768×432 (hoje) | Mosaico 4×2 de 384×216 (1536×432) |
|
||||
| --- | --- | --- | --- |
|
||||
| OpenAI (Codex) | patches de 32 px: `ceil(w/32)·ceil(h/32)` × multiplicador (1,2 na família gpt-5.x/gpt-6-astra; **assumido 1,2** para gpt-6-luna) | 24·14 = 336 × 1,2 ≈ **404** | 48·14 = 672 × 1,2 ≈ **807** (8 frames) |
|
||||
| Anthropic (Claude) | patches de 28 px: `ceil(w/28)·ceil(h/28)`; teto 1.568 (padrão) / 4.784 (alta resolução, 4.7+) | 28·16 = **448** | 55·16 = **880** (8 frames) |
|
||||
| Google (Gemini 3/4) | fixo por imagem conforme `media_resolution`: padrão **1.120**, low 280, medium 560 | **1.120** (a CLI usa o padrão) | **1.120** (8 frames) ou 280 em low |
|
||||
| Gemini vídeo nativo | 1 fps padrão; **70 tokens/frame** (low/medium), 280 (high); áudio 32 tokens/s; ≈ 100 tokens/s no total; `fps` e `start/end_offset` configuráveis (API) | — | corte de 90 s ≈ 9 mil tokens com áudio (fps 0,5 ≈ 6 mil) |
|
||||
|
||||
Hoje, por hora (tfue, ~25 candidatos/h, Codex): imagens ≈ 20×7×404 + 25×8×404 ≈ **138 mil tokens**. No Gemini
|
||||
(1.120/imagem) o mesmo fluxo daria ≈ **381 mil** — o mosaico ou o texto cortam isso em 4–8×.
|
||||
|
||||
### 4.2 Técnicas (o que a pesquisa mostra)
|
||||
|
||||
- **Mosaico/grade de frames numa imagem só.** IG-VLM (2024) mostrou que uma grade de frames numa imagem deixa um
|
||||
modelo de imagem entender vídeo sem treino; TS-LLaVA (2024): 16 frames em 4 grades > frames soltos com o mesmo
|
||||
número de tokens. **"Paying for Too Many Tokens?" (30/09/2026, AACL 2026): uma grade 2×8 de frames escolhidos por
|
||||
mudança de plano chegou perto do vídeo inteiro (κ dentro de 0,05) com ~15% do custo**, e "só texto" muitas vezes
|
||||
já bastava. Limite: grade perde detalhe fino (texto pequeno do HUD) → cobrir com OCR local.
|
||||
Para nós: ffmpeg já faz (`select` + `scale=384:-2` + `tile=4x2`), sem dependência nova; no Claude vira 1 `Read`
|
||||
em vez de 8.
|
||||
- **Amostrar por mudança, não por relógio.** Em gameplay a câmera é contínua: corte de plano quase só acontece em
|
||||
menu, loading, morte, teleporte, troca de câmera — justamente eventos úteis. Proposta híbrida: nova entrada quando
|
||||
muda a cena (ffmpeg `scdet`/`select='gt(scene,x)'`, ou PySceneDetect, BSD-3) **ou** a cada no máximo 8 s, **ou**
|
||||
num pico de chat/áudio/rosto, **ou** numa pausa da fala. PySceneDetect não publica velocidade; medir.
|
||||
- **"Legenda primeiro, raciocínio depois" (caption-then-reason).** LLoVi (EMNLP 2024): um legendador descreve
|
||||
pedaços curtos e um LLM raciocina só sobre o texto — bateu o estado da arte em vídeo longo. HiVid (fev/2026):
|
||||
modelos de vídeo dão nota subjetiva ruim no zero-shot; janela deslizante local + resumo global funciona melhor.
|
||||
É exatamente a "linha do tempo JSON".
|
||||
- **OCR do HUD** (o sinal que o Eklipse usa): RapidOCR/PaddleOCR PP-OCRv5 (**Apache-2.0**), recortes fixos por jogo
|
||||
(canto do kill feed, faixa central de "MISSION PASSED"/"WASTED", estrelas de procurado, dinheiro). Só registrar
|
||||
texto **novo**.
|
||||
- **Eventos de áudio**: YAMNet (**Apache-2.0**, 521 classes AudioSet: *Laughter, Screaming, Shout, Gunshot/gunfire,
|
||||
Explosion, Siren, Applause, Cheering, Music*; saídas não calibradas → limiar por classe) roda em CPU sobre o mesmo
|
||||
áudio 16 kHz do Whisper. PANNs (código MIT; pesos **CC-BY-4.0** segundo os ports — atribuição, permitido) como
|
||||
alternativa mais precisa.
|
||||
- **VLM local pequeno para a frase da cena** (licença dos PESOS conferida):
|
||||
|
||||
| Modelo | Licença dos pesos | Situação para o dono |
|
||||
| --- | --- | --- |
|
||||
| Qwen3-VL-2B/4B-Instruct | Apache-2.0 (card oficial do 4B; 2B por espelhos — conferir o LICENSE oficial) | **OK — melhor candidato** (entende jogo, segue JSON) |
|
||||
| SmolVLM2 2.2B / 500M / 256M | Apache-2.0 (card oficial) | OK — leve, feito para vídeo, ~5 GB VRAM no 2.2B em fp16 |
|
||||
| Florence-2 base/large | MIT | OK — rápido (~1 s/img numa T4), mas legenda genérica ("a car on a street"); bom para OCR/objetos |
|
||||
| Moondream 2 | Apache-2.0 | OK (não testado aqui) |
|
||||
| Moondream 3 (preview) / 3.1 | BSL 1.1 com concessão / "Moondream Model License" | **Evitar** (licença própria com restrição) |
|
||||
| Qwen2.5-VL-**3B** | Qwen Research License = **não comercial** | **Proibido** |
|
||||
| Gemma 3 | termos próprios do Gemma (não verificado nesta pesquisa) | Evitar por precaução |
|
||||
|
||||
- **Máquina local**: `nvidia-smi` em 18/11/2026 → **RTX 2060 SUPER, 8 GB, 7,1 GB já ocupados** naquele momento
|
||||
(Whisper e o que mais estava aberto). VRAM é o gargalo: VLM só quantizado (Qwen3-VL-2B Q4 ≈ 1,5–2 GB via
|
||||
llama.cpp/Ollama, ambos MIT) ou Florence-2-base (< 1 GB). Turing não tem bf16 → fp16/int4.
|
||||
|
||||
| Etapa local | Onde roda | Tempo por minuto de live (estimativa — medir) |
|
||||
| --- | --- | --- |
|
||||
| Mudança de cena (ffmpeg `scdet` em 160 px, NVDEC) | GPU decode/CPU | 1–3 s |
|
||||
| OCR de 2–4 recortes do HUD a cada 2 s | CPU (RapidOCR ONNX) | 1–3 s |
|
||||
| YAMNet em janelas de 0,96 s | CPU | < 1 s |
|
||||
| Frase da cena: ~8–10 keyframes/min, Qwen3-VL-2B Q4 | GPU | 5–15 s |
|
||||
| Rosto, chat, fala, volume | já existem | 0 |
|
||||
|
||||
Total ≈ 10–20 s por minuto de live (abaixo do tempo real), concorrendo com o Whisper pela GPU.
|
||||
|
||||
## 5. A "linha do tempo JSON" (proposta)
|
||||
|
||||
**Formato:** JSON Lines, uma linha por cena/instante, chaves curtas (a legenda das chaves vai **uma vez** no prompt de
|
||||
sistema), segundos inteiros da gravação (o editor devolve `start_s/end_s` nessa régua), campos vazios omitidos.
|
||||
|
||||
| Campo | Conteúdo | De onde vem |
|
||||
| --- | --- | --- |
|
||||
| `t`, `d` | início (s da gravação) e duração da entrada | local: segmentação híbrida (cena / ≤ 8 s / pico / pausa da fala) |
|
||||
| `k` | só quando houve corte de plano: `"cut"` | local: `scdet` |
|
||||
| `v` | o que está na tela / ação, **≤ 12 palavras**, no idioma da fonte | VLM local (F3) **ou** a própria varredura escreve a partir do mosaico (F1) |
|
||||
| `hud` | texto novo do HUD (`"WANTED 3★"`, `"-$1,200"`, `"MISSION PASSED"`) | local: OCR nos recortes do perfil do jogo |
|
||||
| `face` | expressão do streamer + intensidade 0–1 (`"laugh.7"`, `"shock.8"`, `"talk"`) | local: YuNet + MediaPipe (`reaction.summarize`) |
|
||||
| `aud` | eventos de áudio acima do limiar (`gunshot`, `laughter`, `siren`…) | local: YAMNet |
|
||||
| `lvl` | volume relativo ao normal da live, 0–9 | local: RMS já calculado |
|
||||
| `sp` | fala **literal** do trecho (até ~25 palavras) | local: Whisper (palavras com tempo) |
|
||||
| `chat` | `"msgs\|emote×n\|frase mais repetida"` | local: `scoring`/emotes já calculados |
|
||||
|
||||
**Exemplo inventado — 60 s de ROB RUN (tfue, inglês)** — 1.681 caracteres ≈ **470 tokens**:
|
||||
|
||||
```jsonl
|
||||
{"win":[4521,4581],"game":"ROB RUN","cam":"bottom-left","src":"en"}
|
||||
{"t":4521,"d":6,"v":"Tfue on foot at beach house, aims rifle at masked player","hud":["WANTED 2★"],"face":"talk","aud":["music"],"lvl":3,"sp":"yo yo we're just passing through bro, we're friendly","chat":"6|LUL×2|he's lying"}
|
||||
{"t":4527,"d":8,"v":"masked player points shotgun back, both standing still","face":"smile.4","lvl":3,"sp":"I literally only have an action camera, I swear","chat":"9|KEKW×3|action camera LMAO"}
|
||||
{"t":4535,"d":7,"v":"teammate's car pulls up behind masked player","aud":["engine"],"lvl":4,"sp":"don't shoot, don't shoot, it's my first day in the city","chat":"8|ICANT×2|first day 💀"}
|
||||
{"t":4542,"d":4,"k":"cut","v":"masked player fires, Tfue ragdolls to the ground","hud":["YOU ARE DOWN","-$1,200"],"face":"shock.8","aud":["gunshot","shout"],"lvl":8,"sp":"WHAT? BRO WHAT","chat":"21|OMEGALUL×7|LMAOOO"}
|
||||
{"t":4546,"d":6,"v":"downed view, masked player loots Tfue's bag","hud":["REVIVE 0:12"],"face":"laugh.7","aud":["laughter"],"lvl":7,"sp":"he took my camera! he took my action camera!","chat":"26|KEKW×9|he's cooked"}
|
||||
{"t":4552,"d":8,"v":"teammate runs over, revives Tfue behind car","hud":["REVIVED"],"face":"talk","lvl":5,"sp":"that guy came out of nowhere, he's gotta be hacking","chat":"14|Clueless×3|skill issue"}
|
||||
{"t":4560,"d":9,"v":"Tfue drives car along beach road, police car behind","hud":["WANTED 3★"],"aud":["siren","engine"],"lvl":6,"sp":"cops cops cops, go go go","chat":"10|monkaS×2|"}
|
||||
{"t":4569,"d":12,"v":"car chase through Looty Bay streets, crashes into fence","aud":["crash","siren"],"lvl":7,"face":"focus","sp":"I can't see anything, where are we going","chat":"7||"}
|
||||
```
|
||||
|
||||
Lendo só isso, qualquer modelo de texto vê setup (4521–4541: implora paz, "action camera"), gatilho (4542: tiro),
|
||||
desfecho (4546: rouba a câmera — a piada fecha) e a cauda que **não** pertence ao corte (4560+: perseguição).
|
||||
É o que faltou no corte 291.
|
||||
|
||||
**Tokens por minuto:** ≈ 450–550 com fala contínua (tfue), ≈ 250 em minuto calado. Comparação da **evidência**
|
||||
(sem prompt de sistema nem perfil):
|
||||
|
||||
| Chamada | Hoje (frames + transcrição + chat) | Linha do tempo | Cobertura visual |
|
||||
| --- | --- | --- | --- |
|
||||
| Varredura (3 min + 2 min de volta) | 7×404 + ~1.000 + ~400 ≈ **4.200** | 3 min × 500 + volta resumida ~400 ≈ **1.900** | 1 frame/25 s → 1 entrada/6–8 s + áudio + HUD |
|
||||
| Analista (janela ~225 s, 8 frames) | 8×404 + ~800 + ~350 ≈ **4.400** | 3,75 min × 500 ≈ **1.900** (+ mosaico opcional 807) | 1 frame/20 s → 1 entrada/6–8 s |
|
||||
| No Gemini (1.120/imagem) | varredura ≈ 9.200 · analista ≈ 10.100 | igual acima | — |
|
||||
|
||||
## 6. Arquitetura recomendada dos três papéis (+ varredura)
|
||||
|
||||
```
|
||||
blocos .ts ─► LOCAL: cena/HUD/áudio/rosto/fala/chat ─► timeline.jsonl (por sessão, reaproveitada por todos)
|
||||
VARREDURA (texto [+ 1 mosaico/3 min]) ─► candidatos ─┐
|
||||
chat/áudio/rosto ─► candidatos ──────────────────────┴► ANALISTA ─► EDITOR ─► (manteve e nota ≥ mínima) ─► JUIZ
|
||||
├ aprova ─► render
|
||||
├ ajusta ─► 1 nova checagem ─► render | descarta
|
||||
└ reprova ─► "descartado pelo juiz" (forçável)
|
||||
```
|
||||
|
||||
| Papel | Vê imagem? | Entrada | Saída JSON (chaves em inglês; `pt` para o painel em fonte EN) |
|
||||
| --- | --- | --- | --- |
|
||||
| **Varredura** | opcional: 1 mosaico 4×2 por janela | timeline da janela + memória + perfil enxuto (`clip_worthy`, `jargon`) | como hoje (`moments`, `summary`) + em F1 **`lines`: a frase `v` de cada keyframe do mosaico**, que vai para a timeline e é reaproveitada |
|
||||
| **Analista** | opcional: 1 mosaico do trecho (só se `v` faltar ou confiança baixa) | timeline da janela (volta até `backtrackS`) + perfil enxuto + rosto | campos atuais + **`setup_s`** (onde começa o contexto necessário), **`trigger_s`**, **`payoff_s`** e `beats` (≤ 4 frases curtas: setup → gatilho → desfecho) |
|
||||
| **Editor** | não | análise + timeline **só do trecho** ± 15 s + perfil (hashtags, jargão) | atual (`keep`, `score`, `start_s`, `end_s`, `title`, `caption`, `hashtags`, `reason`) + **`context_line`** opcional (≤ 8 palavras na tela nos 2 primeiros segundos, ex.: "Tfue tries to talk his way out of a robbery") |
|
||||
| **Juiz** | não | **só o que o espectador verá**: timeline de `start_s..end_s` + 20 s antes marcados "fora do corte" + título/legenda/`context_line` + "história pretendida" (`what_happened` do analista) + 1 linha do jogo | `viewer_summary` (o que um espectador frio entende, escrito ANTES dos checks), `checks`, `fix`, `confidence`, `reason`, `pt` |
|
||||
|
||||
**Schema do JUIZ (saída):**
|
||||
|
||||
```jsonc
|
||||
{
|
||||
"viewer_summary": "Tfue begs a robber to spare him, gets shot anyway and loses his 'action camera'.",
|
||||
"checks": { // cada um: ok + instante de evidência + motivo curto
|
||||
"setup": {"ok": true, "t": 4521, "why": "plea starts at 4521"},
|
||||
"payoff": {"ok": true, "t": 4546, "why": "camera stolen = punchline"},
|
||||
"who_what": {"ok": true, "t": 4521, "why": "streamer vs masked robber clear"},
|
||||
"standalone": {"ok": false, "t": 4552, "why": "'that guy came out of nowhere' refers to earlier fight"},
|
||||
"intelligible": {"ok": true, "t": null, "why": ""},
|
||||
"faithful": {"ok": true, "t": null, "why": ""},
|
||||
"strong_open": {"ok": false, "t": 4521, "why": "first 3 s are calm talking"}
|
||||
},
|
||||
"fix": {"start_s": null, "end_s": 4551, "context_line": "Tfue tries to talk his way out of a robbery"},
|
||||
"confidence": 0.8,
|
||||
"reason": "Works alone if it ends on the stolen camera; tail depends on earlier context.",
|
||||
"pt": {"viewer_summary": "…", "reason": "…"}
|
||||
}
|
||||
```
|
||||
|
||||
**Decisão pelo código, não pelo modelo** (calibrável no painel): `setup`, `payoff` e `standalone` são **críticos**.
|
||||
Crítico falho + `fix` dentro da margem (`backtrackS`, duração mín./máx.) → aplica (`fit_window`) e roda o juiz **uma**
|
||||
vez de novo no trecho novo; falhou de novo → descarta com motivo em português. Crítico falho sem `fix` → descarta.
|
||||
Não críticos só baixam a nota (`score_final = score_editor − 0,5 por check não crítico falho`, ajustável).
|
||||
Corte manual: juiz só **avisa** (não descarta), como o editor hoje.
|
||||
|
||||
**Critérios específicos para lives em inglês** (instruções padrão do juiz):
|
||||
- Referência a algo **fora do corte**: "that guy", "again", "like I said", "remember when", nomes nunca apresentados,
|
||||
callbacks a doação/raid/sub, piada interna do chat ou do canal.
|
||||
- Fala-chave **de colega no Discord** ou de outro jogador que o Whisper não pegou (o streamer só reage) → `intelligible` falha.
|
||||
- Ironia/gíria que muda o sentido ("he's cooked", "Clueless", "W") só vale se a tela confirma.
|
||||
- Corte que termina **antes do desfecho** (sem resultado da treta, da fuga, da missão) → `payoff` falha (o caso 291).
|
||||
- Título que afirma o que só foi suspeita ("caught a hacker" quando ele só acusa) → `faithful` falha.
|
||||
- Conteúdo que só funciona para quem acompanha o streamer (lore do canal) → `standalone` falha, salvo `context_line` resolver.
|
||||
|
||||
### 6.1 Técnicas de LLM-como-juiz aplicadas
|
||||
|
||||
- **Checklist sim/não em vez de nota livre** (TICK, 2024: checklist gerada elevou a concordância exata com humanos de
|
||||
46,4% para 52,2%; guias de 2025–2026 recomendam critérios binários com justificativa; white paper da Microsoft
|
||||
(jun/2026) aponta nota direta 1–5 como frágil). A nota final sai das checagens.
|
||||
- **Raciocínio antes do veredito**: `viewer_summary` vem primeiro; comparar com a "história pretendida" é um juiz com
|
||||
**referência**, que a literatura mostra ser mais estável (G-Eval, 2023; MT-Bench, 2023).
|
||||
- **Cascata barata** (Trust or Escalate, ICLR 2025: juiz pequeno primeiro, escala para um forte só quando não está
|
||||
confiante — >80% de concordância garantida cobrindo ~80% dos casos): `confidence < 0,6` ou exatamente um crítico
|
||||
falho → **segunda opinião** com outro provedor/modelo (configurável); empate decide pelo descarte. Votação
|
||||
(self-consistency) só nesses casos, não em todos.
|
||||
- **Evitar autopreferência**: o juiz de preferência em **provedor diferente** do editor (modelos julgam melhor o
|
||||
texto que eles mesmos gerariam).
|
||||
- **Calibração com o dono**: aprovar/rejeitar no painel já existe; acrescentar o motivo "sem contexto" na rejeição e
|
||||
medir a concordância juiz × dono. Exemplos reais (2 bons, 2 ruins) entram como few-shot nas instruções do admin.
|
||||
|
||||
### 6.2 Modelo por papel
|
||||
|
||||
| Papel | Perfil de modelo | Sugestão inicial (CLI logada) |
|
||||
| --- | --- | --- |
|
||||
| Varredura | muito frequente, barato; só texto (+1 mosaico) | `gpt-6-luna` / `haiku` / `gemini-3.1-flash-lite` |
|
||||
| Analista | cruza fontes; visão só no mosaico opcional | `gemini-3.5-flash` (boa visão; vídeo nativo na escalada) ou `gpt-6-luna` |
|
||||
| Editor | escreve título/legenda em inglês nativo | `haiku` ou `gpt-6-luna`; modelo maior só se o dono notar título fraco |
|
||||
| Juiz | raciocínio curto e rígido, só texto | provedor ≠ editor; `gpt-6-luna` com `model_reasoning_effort="medium"` ou `haiku`; segunda opinião: `sonnet` / `gemini-2.5-pro` |
|
||||
|
||||
Com chave de API: deixar estáveis no início do prompt (sistema + perfil) e o variável no fim, para aproveitar o
|
||||
cache automático de prefixo (OpenAI) / cache do Claude.
|
||||
|
||||
### 6.3 Custo estimado por candidato e por hora (tfue, ~25 candidatos/h, Codex)
|
||||
|
||||
| Chamada | Hoje (entrada ≈) | Proposta (entrada ≈) | Observação |
|
||||
| --- | --- | --- | --- |
|
||||
| Varredura ×20/h | 6.300 → **126 mil/h** | 3.400 → **68 mil/h** | perfil enxuto (~500) + timeline |
|
||||
| Analista ×25/h | 6.600 → **165 mil/h** | 3.500–4.300 → **88–108 mil/h** | com/sem mosaico |
|
||||
| Editor ×25/h | 4.450 → **111 mil/h** | 2.850 → **71 mil/h** | só o trecho, sem a volta inteira |
|
||||
| Juiz ×~13/h (só mantidos) | — | 1.950 (+30% 2ª opinião/rechecagem) → **≈ 33 mil/h** | saída ≈ 250 |
|
||||
| **Conteúdo total** | **≈ 400 mil/h** | **≈ 260–280 mil/h (−30 a −35%)** | |
|
||||
| Fixo das CLIs (≈ 2,5 mil/chamada) | 70 chamadas → ≈ 175 mil | ≈ 83 chamadas → ≈ 208 mil | **medir** (Codex/Gemini) |
|
||||
| **Total** | **≈ 575 mil/h** | **≈ 470–490 mil/h (−15%)** | no Gemini a economia passa de −40% (imagens a 1.120) |
|
||||
|
||||
Por candidato mantido: hoje ≈ 11 mil (analista + editor); proposta ≈ 8–9 mil **com** o juiz. A economia de token é
|
||||
moderada; o ganho principal é **qualidade** (cobertura a cada 6–8 s, áudio e HUD, desfecho checado). Alavancas extras:
|
||||
portão local antes do analista (timeline mostra menu/loading, sem fala e sem reação → não gasta IA); candidato da
|
||||
varredura que já veio com análise pula o analista; o fixo da CLI é o maior item restante — medir antes de otimizar.
|
||||
|
||||
## 7. Plano em fases
|
||||
|
||||
| Fase | O que entra | Precisa de modelo novo? |
|
||||
| --- | --- | --- |
|
||||
| **F0 — medir (1–2 dias)** | Gravar `usage` por chamada em `judge_json` (`claude -p --output-format json` traz uso; `codex exec --json` e `gemini -o json` trazem `stats`); base: tokens/h por papel, latência, % descartado, % aprovado pelo dono. Separar 50–100 cortes antigos rotulados pelo dono (bom / ruim / "sem contexto"). | não |
|
||||
| **F1 — três papéis + timeline v0** | Configuração por papel (provedor, modelo, esforço, instruções, liga/desliga); JUIZ só texto com o schema acima e decisão pelo código; mosaico 4×2 (ffmpeg `tile`) no lugar dos N frames; timeline com o que já existe (fala, chat, rosto, volume, `scdet`) + frase `v` escrita pela varredura a partir do mosaico e guardada; perfil enxuto por papel. | não |
|
||||
| **F2 — sinais locais leves** | YAMNet (áudio, CPU) e RapidOCR (HUD, CPU); perfil do jogo ganha `hud_regions` e `hud_keywords` (ex.: "WANTED", "MISSION PASSED", "YOU ARE DOWN"). | sim, pequenos (Apache-2.0) |
|
||||
| **F3 — legenda local de cena** | Qwen3-VL-2B/4B (Apache-2.0) via llama.cpp/Ollama, ou SmolVLM2; bake-off contra a frase da varredura em 30 cortes (como `doc/FACE_BAKEOFF.md`). Ganhando, analista e varredura ficam só texto; imagem só na escalada. | sim (VLM) |
|
||||
| **F4 — escalada com vídeo nativo (opcional)** | Casos duvidosos: Gemini por API key com o trecho em vídeo (fps 0,5–1, low; ≈ 6–9 mil tokens por 90 s, com áudio). | não (API) |
|
||||
|
||||
**Riscos:** VRAM de 8 GB já cheia (VLM concorre com o Whisper → F3 só quantizado, e medir); legenda de VLM pequeno
|
||||
alucina (mitigar: vocabulário do perfil, confiança, analista cruza com fala/HUD); OCR falha em fonte estilizada;
|
||||
gameplay contínuo gera poucos cortes de plano (por isso o teto de 8 s); juiz rígido demais mata corte bom (medir
|
||||
falso negativo); +1 chamada (~5–7 s) por corte mantido; a CLI do Gemini cobra 1.120 tokens por imagem e não expõe
|
||||
`media_resolution` (por isso mosaico/texto); mudanças de flags nas CLIs.
|
||||
|
||||
**O que medir para saber se melhorou** (antes × depois, mesma fonte):
|
||||
- **Precisão**: % dos cortes "prontos" que o dono aprova (meta: subir); **falso positivo**: mantido pela IA e
|
||||
rejeitado pelo dono, em especial com motivo "sem contexto/sem sentido" (meta: cair pela metade).
|
||||
- **Falso negativo**: amostra semanal de 10 descartados pelo juiz — quantos o dono aprovaria (meta: ≤ 1).
|
||||
- Concordância juiz × dono no conjunto rotulado (κ de Cohen); % de cortes ajustados pelo juiz que o dono mantém
|
||||
sem editar o trecho.
|
||||
- Tokens/h e chamadas/h por papel; latência por candidato; tempo local por minuto de live (F2/F3).
|
||||
|
||||
## 8. Esboço da UI (Clipador → Juiz → "Equipe de IA")
|
||||
|
||||
```
|
||||
┌ Equipe de IA ─────────────────────────────────────────────────────────────────────┐
|
||||
│ Papel Ligado Provedor Modelo Esforço Imagens │
|
||||
│ Varredura [x] Codex ▾ gpt-6-luna ▾ baixo ▾ mosaico/3 min ▾ │
|
||||
│ Analista [x] Gemini ▾ gemini-3.5-flash ▾ — se faltar cena ▾ │
|
||||
│ Editor [x] Claude ▾ haiku ▾ — nunca │
|
||||
│ Juiz [x] Codex ▾ gpt-6-luna ▾ médio ▾ nunca │
|
||||
│ 2ª opinião [x] Claude ▾ sonnet ▾ quando: confiança < [0,6] ou 1 crítico│
|
||||
│ │
|
||||
│ ▸ Instruções — Juiz │
|
||||
│ Padrão (somente leitura, EN/PT) [ver] [restaurar padrão] │
|
||||
│ Do administrador (somadas ao padrão; pode escrever em português): │
|
||||
│ [ Não aprove corte que termina antes do resultado da treta. ] │
|
||||
│ Checagens: setup [crítico] desfecho [crítico] sozinho [crítico] │
|
||||
│ quem/o quê [ ] fala clara [ ] título fiel [ ] abertura forte [ ] │
|
||||
│ Pode ajustar o trecho [x] Pode pôr frase de contexto na tela [x] │
|
||||
│ Exemplos do dono: + escolher corte (bom/ruim + 1 frase) │
|
||||
│ [Testar nos últimos 10 cortes] → mostra o que mudaria, sem gravar │
|
||||
│ [Salvar] │
|
||||
└───────────────────────────────────────────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
Gravação sugerida (tabela `settings`, chave `judge.roles`; identificadores em inglês):
|
||||
|
||||
```jsonc
|
||||
{
|
||||
"scan": {"enabled": true, "provider": "codex", "model": "", "effort": "low", "images": "mosaic", "extra": ""},
|
||||
"analyst": {"enabled": true, "provider": "gemini", "model": "", "effort": "low", "images": "fallback", "extra": ""},
|
||||
"editor": {"enabled": true, "provider": "claude", "model": "haiku", "images": "never", "extra": ""},
|
||||
"judge": {"enabled": true, "provider": "codex", "model": "", "effort": "medium", "extra": "",
|
||||
"critical": ["setup", "payoff", "standalone"], "allowFix": true, "allowContextLine": true,
|
||||
"second": {"enabled": true, "provider": "claude", "model": "sonnet", "minConfidence": 0.6},
|
||||
"examples": [{"clipId": 291, "good": false, "note": "termina antes do desfecho"}]}
|
||||
}
|
||||
```
|
||||
|
||||
`model: ""` = padrão do provedor; a reserva (`fallback_chain`) passa a valer **por papel**. As instruções do
|
||||
administrador entram depois do texto padrão com o rótulo "Admin notes (may be in Portuguese)" — os juízes trabalham
|
||||
em inglês e entendem português; a saída para o painel continua no bloco `pt`.
|
||||
|
||||
## 9. Fontes (consultadas em 18/11/2026)
|
||||
|
||||
- OpenAI — Images and vision (tokens por patch/tile e multiplicadores): https://developers.openai.com/api/docs/guides/images-vision
|
||||
- Anthropic — Vision (patches de 28 px, tetos por modelo): https://platform.claude.com/docs/en/build-with-claude/vision
|
||||
- Google — Media resolution (Gemini 3/4: 1.120/280/560 por imagem, 70/280 por frame): https://aistudio.google.com/docs/media-resolution
|
||||
- Google — Video understanding (1 fps, ~100 tokens/s, áudio 32/s, `fps` e offsets): https://aistudio.google.com/docs/video-understanding
|
||||
- Opus Clip — Virality score (Hook, Flow, Value, Trend): https://help.opus.pro/docs/article/virality-score
|
||||
- Eklipse — Gameplay Intelligence (26/05/2026): https://blog.eklipse.gg/streaming-tips/gameplay-intelligence.html ; HUD/kill feed: https://eklipse.gg/compare/eklipse-vs-spikes-studio/
|
||||
- Twitch — TwitchCon Rotterdam (30/05/2026): https://blog.twitch.com/en/2026/05/30/everything-we-announced-at-twitchcon-rotterdam-2026/ ; San Diego (17/10/2025): https://blog.twitch.com/en/2025/10/17/ten-years-of-twitchcon-here-s-what-we-announced-in-san-diego/
|
||||
- YouTube — Made on YouTube (20/09/2025): https://techcrunch.com/2025/09/20/updates-to-studio-youtube-live-new-gen-ai-tools-and-everything-else-announced-at-made-on-youtube/
|
||||
- StreamLadder ClipGPT: https://streamladder.com/clipgpt-features/ai-virality-score ; comparativo 2026: https://www.twoaveragegamers.com/best-ai-clip-detection-tools-for-streamers-2026/
|
||||
- Grade de frames: IG-VLM https://arxiv.org/abs/2403.18406 ; TS-LLaVA https://arxiv.org/abs/2411.11066 ; "Paying for Too Many Tokens?" (30/09/2026) https://arxiv.org/abs/2610.00809
|
||||
- Legenda → LLM: LLoVi (EMNLP 2024) https://arxiv.org/abs/2312.17235 ; HiVid (fev/2026) https://arxiv.org/abs/2602.14214
|
||||
- Juiz: TICK https://arxiv.org/abs/2410.03608 ; Trust or Escalate https://arxiv.org/abs/2407.18370 ; MT-Bench https://arxiv.org/abs/2306.05685 ; G-Eval https://arxiv.org/abs/2303.16634 ; Self-consistency https://arxiv.org/abs/2203.11171 ; Microsoft, nota 1–5 (jun/2026) https://microsoft.github.io/mcscatblog/assets/posts/better-llm-scoring/20260626_LLM1-5Scoring_WhitePaper.pdf
|
||||
- Licenças: Qwen3-VL-4B https://huggingface.co/Qwen/Qwen3-VL-4B-Instruct ; Qwen2.5-VL-3B (não comercial) https://huggingface.co/Qwen/Qwen2.5-VL-3B-Instruct/blob/main/LICENSE ; SmolVLM2 https://huggingface.co/HuggingFaceTB/SmolVLM2-2.2B-Instruct ; Florence-2 https://huggingface.co/microsoft/Florence-2-large-ft ; Moondream 3 https://huggingface.co/moondream/moondream3-preview ; YAMNet https://github.com/tensorflow/models/blob/master/research/audioset/yamnet/README.md ; PANNs (pesos CC-BY-4.0 via port) https://huggingface.co/litert-community/PANNs-CNN14-AudioSet-LiteRT ; PP-OCRv5 https://paddlepaddle.github.io/PaddleOCR/main/en/version3.x/algorithm/PP-OCRv5/PP-OCRv5.html ; PySceneDetect (BSD-3) https://scenedetect.com/copyright
|
||||
Reference in New Issue
Block a user