Clipador: detecção do jogo cruzando categoria e tela (confiança, evidência e sugestão de troca)
Trabalho de outra sessão, commitado na sincronização de 18/11/2026 (doc/clipador/DETECCAO-JOGO.md). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
e4a5bc026c
commit
44bb961d1a
@@ -87,6 +87,9 @@ export type ClipperSession = {
|
||||
// Fase 2 (opcionais: o serviço antigo não manda).
|
||||
game?: string;
|
||||
gameSource?: GameSource;
|
||||
/** Detecção do jogo: user (você confirmou) | agreed (várias fontes concordam) | probable | conflict | unknown. "" = ainda não checou. */
|
||||
gameStatus?: GameStatus;
|
||||
gameDetect?: GameDetect | null;
|
||||
/** O que a IA viu na tela; pode divergir da categoria da plataforma. */
|
||||
screenGame?: string;
|
||||
gameHistory?: { game: string; source: GameSource; atS: number; at: string }[];
|
||||
@@ -103,7 +106,19 @@ export type ClipperSession = {
|
||||
language?: string;
|
||||
};
|
||||
|
||||
export type GameSource = "platform" | "screen" | "user" | "";
|
||||
export type GameSource = "platform" | "screen" | "chat" | "user" | "";
|
||||
export type GameStatus = "user" | "agreed" | "probable" | "conflict" | "unknown" | "";
|
||||
/** Uma pista do jogo: `source` = platform | screen | title | chat | speech. */
|
||||
export type GameClue = { source: string; game: string; strength: number; detail: string };
|
||||
export type GameCandidate = { gid: string; game: string; score: number; sources: GameClue[] };
|
||||
export type GameDetect = {
|
||||
checkedAt: string | null;
|
||||
candidates: GameCandidate[];
|
||||
/** Jogo confirmado por você que parece ter mudado (as pistas apontaram outro duas vezes seguidas). */
|
||||
suggestion: { game: string; score: number; sources: string[] } | null;
|
||||
platform: { game: string; at: string | null };
|
||||
screen: { game: string; confidence: string; evidence: string; at: string } | null;
|
||||
};
|
||||
/** `summaryPt`: fonte em inglês — o resumo em português para o painel (`summary` é o inglês que vai à IA). */
|
||||
export type MemoryEntry = { fromS: number; toS: number; summary: string; summaryPt?: string };
|
||||
export type CamDetect = {
|
||||
@@ -510,9 +525,20 @@ export const SITUATION_LABEL: Record<Situation, string> = {
|
||||
};
|
||||
|
||||
export const GAME_SOURCE_LABEL: Record<GameSource, string> = {
|
||||
platform: "categoria da plataforma", screen: "a IA viu na tela", user: "confirmado por você", "": "",
|
||||
platform: "categoria da plataforma", screen: "a IA viu na tela", chat: "citado no chat e na fala", user: "confirmado por você", "": "",
|
||||
};
|
||||
|
||||
export const GAME_CLUE_LABEL: Record<string, string> = {
|
||||
platform: "categoria da plataforma", screen: "tela (IA)", title: "título da live", chat: "chat", speech: "fala",
|
||||
};
|
||||
|
||||
/** O jogo da sessão precisa de uma olhada sua: pistas em conflito, ou o jogo confirmado parece ter mudado. */
|
||||
export function gameNeedsReview(s: ClipperSession): boolean {
|
||||
if (s.gameStatus === "user") return Boolean(s.gameDetect?.suggestion);
|
||||
if (s.gameStatus) return s.gameStatus === "conflict";
|
||||
return Boolean(s.game && s.screenGame && s.gameSource !== "user" && gameIdOf(s.screenGame) !== gameIdOf(s.game)); // serviço antigo
|
||||
}
|
||||
|
||||
export const MODE_LABEL: Record<LayoutMode, { label: string; hint: string }> = {
|
||||
auto: { label: "Automático", hint: "câmera em cima se houver" },
|
||||
cam_top: { label: "Câmera em cima", hint: "webcam + jogo" },
|
||||
|
||||
@@ -5,10 +5,11 @@
|
||||
// A página Jogos (lista + modal) fica em clipper-games-page.tsx.
|
||||
import { useEffect, useMemo, useRef, useState, type ReactNode } from "react";
|
||||
import {
|
||||
GAME_SOURCE_LABEL, clipperCall, gameIdOf, useClipperAction, type ClipperSession, type Emote, type Game,
|
||||
ACTIVE_SESSION, GAME_CLUE_LABEL, GAME_SOURCE_LABEL, clipperCall, gameIdOf, gameNeedsReview, useClipperAction,
|
||||
type ClipperSession, type Emote, type Game,
|
||||
} from "./clipper-client";
|
||||
import { GameDialog } from "./clipper-game-dialog";
|
||||
import { AlertIcon, BookIcon, ChatIcon, CheckIcon, ChevronDownIcon, PenIcon } from "./icons";
|
||||
import { AlertIcon, BookIcon, ChatIcon, CheckIcon, ChevronDownIcon, EyeIcon, PenIcon } from "./icons";
|
||||
import { Badge, Button, Feedback, Input, Spinner, Table, Td, Th, THead, Tr, cx, formatRelative } from "./ui";
|
||||
|
||||
/* ---------- Jogo da sessão ---------- */
|
||||
@@ -20,34 +21,52 @@ export function SessionGame({ session, games, onChanged, onGamesChanged }: {
|
||||
const [choosing, setChoosing] = useState(false);
|
||||
const [open, setOpen] = useState(false);
|
||||
const game = session.game ?? "";
|
||||
const screen = session.screenGame ?? "";
|
||||
const confirmed = session.gameSource === "user";
|
||||
const mismatch = Boolean(game && screen && !confirmed && gameIdOf(screen) !== gameIdOf(game));
|
||||
const confirmed = session.gameStatus ? session.gameStatus === "user" : session.gameSource === "user";
|
||||
const detect = session.gameDetect ?? null;
|
||||
const suggestion = confirmed ? detect?.suggestion ?? null : null;
|
||||
const conflict = !confirmed && gameNeedsReview(session);
|
||||
const profile = game ? findGame(games, game) : undefined;
|
||||
const status = STATUS_BADGE[session.gameStatus ?? ""] ?? STATUS_BADGE[""];
|
||||
const active = ACTIVE_SESSION.includes(session.status);
|
||||
// Candidatos do conflito: o jogo atual e os outros que as pistas apontaram (com a nota).
|
||||
const candidates = (detect?.candidates ?? []).filter((c) => c.score >= 0.3).slice(0, 3);
|
||||
|
||||
/** Confirma o jogo: trava a troca automática e a IA deixa de questionar o que vê na tela. */
|
||||
async function confirmGame(name: string) {
|
||||
const ok = await run("game", () => clipperCall<ClipperSession>(`sessions/${session.id}/game`, "PUT", { name }),
|
||||
`Jogo confirmado: “${name}”. A IA não questiona mais o jogo nesta sessão.`);
|
||||
`Jogo confirmado: “${name}”. A detecção automática não troca mais o jogo desta sessão (só sugere).`);
|
||||
if (ok) setChoosing(false);
|
||||
}
|
||||
|
||||
/** "Detectar agora": a IA olha frames recentes e cruza com categoria, título, chat e fala. */
|
||||
async function detectNow() {
|
||||
await run("detect", () => clipperCall<{ session: ClipperSession; result: { status: string; screen?: { game: string } } }>(
|
||||
`sessions/${session.id}/game/detect`, "POST"),
|
||||
(data) => data.result.screen?.game
|
||||
? `A IA viu “${data.result.screen.game}” na tela.`
|
||||
: "A IA não conseguiu reconhecer o jogo na tela agora.");
|
||||
}
|
||||
|
||||
return (
|
||||
<div className="grid gap-2">
|
||||
<div className="flex flex-wrap items-center gap-x-3 gap-y-2 text-xs">
|
||||
<span className="text-eyebrow font-semibold text-fg-subtle uppercase">Jogo</span>
|
||||
<span className="text-sm font-medium text-fg">{game || <span className="text-fg-subtle">não identificado</span>}</span>
|
||||
{session.gameSource && (
|
||||
<Badge tone={confirmed ? "success" : "neutral"} dot={false}>
|
||||
{confirmed && <CheckIcon size={12} />}{GAME_SOURCE_LABEL[session.gameSource]}
|
||||
</Badge>
|
||||
)}
|
||||
<Badge tone={status.tone} dot={false}>
|
||||
{status.check && <CheckIcon size={12} />}{status.label}
|
||||
</Badge>
|
||||
{game && !confirmed && (
|
||||
<Button variant="secondary" size="sm" disabled={pending !== null} onClick={() => void confirmGame(game)}>
|
||||
{pending === "game" ? <Spinner className="size-3.5" /> : <CheckIcon size={14} />}Sim, é {game}
|
||||
</Button>
|
||||
)}
|
||||
<Button variant="ghost" size="sm" onClick={() => setChoosing(true)}><PenIcon size={14} />{confirmed ? "Trocar jogo" : "Escolher o jogo"}</Button>
|
||||
{active && (
|
||||
<Button variant="ghost" size="sm" disabled={pending !== null} onClick={() => void detectNow()}
|
||||
title="A IA olha frames recentes da tela e cruza com categoria, título, chat e fala">
|
||||
{pending === "detect" ? <Spinner className="size-3.5" /> : <EyeIcon size={14} />}Detectar agora
|
||||
</Button>
|
||||
)}
|
||||
{game && (
|
||||
<Button variant="ghost" size="sm" aria-haspopup="dialog" onClick={() => setOpen(true)}>
|
||||
<BookIcon size={14} />O que a IA sabe do jogo
|
||||
@@ -55,14 +74,54 @@ export function SessionGame({ session, games, onChanged, onGamesChanged }: {
|
||||
</Button>
|
||||
)}
|
||||
</div>
|
||||
{mismatch && (
|
||||
{conflict && (
|
||||
<div className="flex flex-wrap items-center gap-x-3 gap-y-2 rounded-control border border-warning/25 bg-warning-soft px-3 py-2 text-xs text-warning">
|
||||
<AlertIcon size={14} />
|
||||
<span className="min-w-0 flex-1">A categoria diz <strong>{game}</strong>, mas a tela parece <strong>{screen}</strong>. Jogo novo costuma lembrar outro na tela — qual é o certo?</span>
|
||||
<Button size="sm" variant="secondary" disabled={pending !== null} onClick={() => void confirmGame(game)}>Sim, é {game}</Button>
|
||||
<Button size="sm" variant="ghost" onClick={() => setChoosing(true)}>Escolher o jogo</Button>
|
||||
<span className="min-w-0 flex-1">
|
||||
As pistas divergem: {candidates.map((c, i) => (
|
||||
<span key={c.gid}>{i > 0 && " × "}<strong>{c.game}</strong> ({c.sources.map((x) => GAME_CLUE_LABEL[x.source] ?? x.source).join(", ")})</span>
|
||||
))}. Jogo novo costuma lembrar outro na tela — qual é o certo?
|
||||
</span>
|
||||
{candidates.map((c) => (
|
||||
<Button key={c.gid} size="sm" variant="secondary" disabled={pending !== null} onClick={() => void confirmGame(c.game)}>É {c.game}</Button>
|
||||
))}
|
||||
<Button size="sm" variant="ghost" onClick={() => setChoosing(true)}>Outro</Button>
|
||||
</div>
|
||||
)}
|
||||
{suggestion && (
|
||||
<div className="flex flex-wrap items-center gap-x-3 gap-y-2 rounded-control border border-warning/25 bg-warning-soft px-3 py-2 text-xs text-warning">
|
||||
<AlertIcon size={14} />
|
||||
<span className="min-w-0 flex-1">
|
||||
Você confirmou <strong>{game}</strong>, mas as últimas checagens apontam <strong>{suggestion.game}</strong>
|
||||
{" "}({suggestion.sources.map((x) => GAME_CLUE_LABEL[x] ?? x).join(", ")}). O streamer trocou de jogo?
|
||||
</span>
|
||||
<Button size="sm" variant="secondary" disabled={pending !== null} onClick={() => void confirmGame(suggestion.game)}>Sim, é {suggestion.game}</Button>
|
||||
<Button size="sm" variant="ghost" disabled={pending !== null} onClick={() => void confirmGame(game)}>Não, continua {game}</Button>
|
||||
</div>
|
||||
)}
|
||||
{detect && (detect.candidates.length > 0 || detect.platform.game || detect.screen) && (
|
||||
<details className="group text-xs text-fg-muted">
|
||||
<summary className="cursor-pointer text-fg-subtle select-none hover:text-fg">
|
||||
Como o jogo foi descoberto{detect.checkedAt ? ` · checado ${formatRelative(detect.checkedAt)}` : ""}
|
||||
</summary>
|
||||
<ul className="mt-2 grid gap-1.5 pl-1">
|
||||
{detect.platform.game && <li>Categoria da plataforma: <strong className="text-fg">{detect.platform.game}</strong></li>}
|
||||
{detect.screen?.game && (
|
||||
<li>
|
||||
A IA viu na tela: <strong className="text-fg">{detect.screen.game}</strong>
|
||||
{detect.screen.confidence && ` (confiança ${CONFIDENCE_LABEL[detect.screen.confidence] ?? detect.screen.confidence})`}
|
||||
{detect.screen.evidence && <> — {detect.screen.evidence}</>}
|
||||
</li>
|
||||
)}
|
||||
{detect.candidates.map((c) => (
|
||||
<li key={c.gid}>
|
||||
<strong className="text-fg">{c.game}</strong> · nota {Math.round(c.score * 100)}%
|
||||
{" "}— {c.sources.map((x) => x.detail || GAME_CLUE_LABEL[x.source] || x.source).join("; ")}
|
||||
</li>
|
||||
))}
|
||||
</ul>
|
||||
</details>
|
||||
)}
|
||||
<GameChoiceDialog open={choosing} session={session} pending={pending === "game"}
|
||||
onClose={() => setChoosing(false)} onConfirm={(name) => void confirmGame(name)} />
|
||||
{game && <GameDialog game={profile} name={game} open={open} onClose={() => setOpen(false)} onGamesChanged={onGamesChanged} />}
|
||||
@@ -71,6 +130,18 @@ export function SessionGame({ session, games, onChanged, onGamesChanged }: {
|
||||
);
|
||||
}
|
||||
|
||||
const CONFIDENCE_LABEL: Record<string, string> = { high: "alta", medium: "média", low: "baixa" };
|
||||
|
||||
/** Como o estado da detecção aparece ao lado do nome do jogo. */
|
||||
const STATUS_BADGE: Record<string, { label: string; tone: "success" | "neutral" | "warning"; check: boolean }> = {
|
||||
user: { label: "confirmado por você", tone: "success", check: true },
|
||||
agreed: { label: "detectado · fontes concordam", tone: "success", check: true },
|
||||
probable: { label: "provável · confirme", tone: "neutral", check: false },
|
||||
conflict: { label: "em dúvida", tone: "warning", check: false },
|
||||
unknown: { label: "não identificado", tone: "neutral", check: false },
|
||||
"": { label: "aguardando checagem", tone: "neutral", check: false },
|
||||
};
|
||||
|
||||
/** Jogo cadastrado com esse nome: pelo id ou por um dos outros nomes (aliases). */
|
||||
function findGame(games: Game[], name: string): Game | undefined {
|
||||
const id = gameIdOf(name);
|
||||
@@ -91,9 +162,10 @@ function GameChoiceDialog({ open, session, pending, onClose, onConfirm }: {
|
||||
const clean = (name ?? "").trim();
|
||||
if (clean && !list.some((o) => gameIdOf(o.name) === gameIdOf(clean))) list.push({ name: clean, from });
|
||||
};
|
||||
add(session.game, session.gameSource === "user" ? "confirmado por você" : "categoria da plataforma");
|
||||
add(session.game, session.gameSource === "user" ? "confirmado por você" : session.gameSource ? GAME_SOURCE_LABEL[session.gameSource] : "categoria da plataforma");
|
||||
for (const h of [...(session.gameHistory ?? [])].reverse()) add(h.game, GAME_SOURCE_LABEL[h.source as keyof typeof GAME_SOURCE_LABEL] || "histórico");
|
||||
add(session.screenGame, "a IA viu na tela");
|
||||
for (const c of session.gameDetect?.candidates ?? []) add(c.game, `pistas: ${c.sources.map((x) => GAME_CLUE_LABEL[x.source] ?? x.source).join(", ")}`);
|
||||
return list;
|
||||
}, [session]);
|
||||
const [choice, setChoice] = useState(0);
|
||||
|
||||
@@ -9,7 +9,7 @@ import { useEffect, useState, type ReactNode } from "react";
|
||||
import { askConfirm } from "./confirm-dialog";
|
||||
import {
|
||||
ACTIVE_SESSION, CLIP_STATUS, CLIP_STATUS_ORDER, PLATFORM_LABEL, captureLabel, channelKeyOf, chatStatusInfo, clipperCall, formatClock,
|
||||
formatDuration, gameIdOf, gbPerHourLabel, languageLabel, useClipperAction,
|
||||
formatDuration, gameNeedsReview, gbPerHourLabel, languageLabel, useClipperAction,
|
||||
type Clip, type ClipStatus, type ClipperSession, type Game, type Timeline,
|
||||
} from "./clipper-client";
|
||||
import { CutSettingsDialog, type CutScope } from "./clipper-cut-settings";
|
||||
@@ -68,8 +68,7 @@ function SessionDetail({ session: s, name, clips, games, onChanged, onGamesChang
|
||||
const active = ACTIVE_SESSION.includes(s.status);
|
||||
const totalClips = CLIP_STATUS_ORDER.reduce((n, k) => n + (s.clips[k] ?? 0), 0);
|
||||
const lastMemory = s.memory?.length ? s.memory[s.memory.length - 1] : null;
|
||||
const confirmedGame = s.gameSource === "user";
|
||||
const mismatch = Boolean(s.game && s.screenGame && !confirmedGame && gameIdOf(s.screenGame) !== gameIdOf(s.game));
|
||||
const mismatch = gameNeedsReview(s);
|
||||
const health = sessionHealth(s, mismatch);
|
||||
const showNow = Boolean(lastMemory?.summary) || s.game !== undefined;
|
||||
const clock = useRecordingClock(s.durationS, s.status === "recording");
|
||||
|
||||
@@ -6,7 +6,7 @@ import Link from "next/link";
|
||||
import { useRouter } from "next/navigation";
|
||||
import { useState, type MouseEvent } from "react";
|
||||
import {
|
||||
ACTIVE_SESSION, CLIP_STATUS_ORDER, clipperCall, gameIdOf, languageLabel, languageShort, useClipperAction,
|
||||
ACTIVE_SESSION, CLIP_STATUS_ORDER, clipperCall, gameNeedsReview, languageLabel, languageShort, useClipperAction,
|
||||
type ClipperSession, type SessionStatus,
|
||||
} from "./clipper-client";
|
||||
import { useClipper, useClipperData } from "./clipper-provider";
|
||||
@@ -122,8 +122,7 @@ function SessionRow({ session: s, name, onChanged }: { session: ClipperSession;
|
||||
const live = s.status === "recording" || s.status === "starting";
|
||||
const active = ACTIVE_SESSION.includes(s.status);
|
||||
const problem = ["interrupted", "stopped", "error"].includes(s.status);
|
||||
const confirmedGame = s.gameSource === "user";
|
||||
const mismatch = Boolean(s.game && s.screenGame && !confirmedGame && gameIdOf(s.screenGame) !== gameIdOf(s.game));
|
||||
const mismatch = gameNeedsReview(s);
|
||||
const health = sessionHealth(s, mismatch);
|
||||
const clock = useRecordingClock(s.durationS, s.status === "recording");
|
||||
const total = CLIP_STATUS_ORDER.reduce((n, k) => n + (s.clips[k] ?? 0), 0);
|
||||
|
||||
@@ -28,13 +28,13 @@ function serviceUrl(pathname: string): { url: string; key: string } {
|
||||
/**
|
||||
* Caminhos que o navegador pode pedir (sempre sob /v1/). Qualquer outro é recusado aqui, antes do serviço.
|
||||
* status · judge · emotes · games[/id[/research|refine|translate|notes/n]] (POST games = cadastrar; PUT/DELETE games/id) · channels[/id[/check|settings]]
|
||||
* sessions[/id[/timeline|stop|resume|finish|clips|settings|frame|preview|detect-cam|game|face[/reset]]] · clips[/id[/render|rejudge]]
|
||||
* sessions[/id[/timeline|stop|resume|finish|clips|settings|frame|preview|detect-cam|game[/detect]|face[/reset]]] · clips[/id[/render|rejudge]]
|
||||
* editor de cortes: clips/id/(edit|proxy|waveform|export|preview-render|retranscribe|tts|suggest)
|
||||
* vídeo final (doc/clipador/REVISAO.md): POST clips/id/final · tradução da fala (IDIOMAS.md): POST clips/id/translate
|
||||
* vozes da sessão (FALANTES.md): GET sessions/id/speakers
|
||||
* apagar cortes: DELETE clips/id · POST clips/delete (lote) — o método é conferido em METHODS
|
||||
*/
|
||||
const ALLOWED = /^(status|judge|emotes|games(\/[a-z0-9-]{1,60}(\/(research|refine|translate|notes\/\d{1,3}))?)?|channels(\/(twitch|youtube|kick)-[a-z0-9._-]{2,60}(\/(check|settings))?)?|sessions(\/\d{1,9}(\/(timeline|stop|resume|finish|clips|settings|frame|preview|detect-cam|game|face(\/reset)?|speakers))?)?|clips(\/(delete|\d{1,9}(\/(render|rejudge|edit|proxy|waveform|export|preview-render|retranscribe|tts|suggest|final|translate))?))?)$/;
|
||||
const ALLOWED = /^(status|judge|emotes|games(\/[a-z0-9-]{1,60}(\/(research|refine|translate|notes\/\d{1,3}))?)?|channels(\/(twitch|youtube|kick)-[a-z0-9._-]{2,60}(\/(check|settings))?)?|sessions(\/\d{1,9}(\/(timeline|stop|resume|finish|clips|settings|frame|preview|detect-cam|game(\/detect)?|face(\/reset)?|speakers))?)?|clips(\/(delete|\d{1,9}(\/(render|rejudge|edit|proxy|waveform|export|preview-render|retranscribe|tts|suggest|final|translate))?))?)$/;
|
||||
|
||||
/** Métodos aceitos nos caminhos de apagar corte (os demais caminhos seguem só pela regex acima). */
|
||||
const METHODS: [RegExp, string[]][] = [
|
||||
|
||||
Reference in New Issue
Block a user