Clipador: mapa de expressões do streamer (expressões novas, pose e corpo)
- Expressões novas dos blendshapes que já vinham do MediaPipe: gargalhada, alegria (no mapa), medo, espanto, nojo, tristeza, tensão e bocejo (que deixou de contar como grito); raiva também por olhos semicerrados + lábios apertados. Canais novos opcionais na série (brow_inner, mouth_frown, squint, press, stretch, upper_lip, pucker), z relativo ao neutro do próprio streamer só com os segundos que têm o campo. - Pose da cabeça pela matriz de transformação facial (yaw/pitch/roll) e balanço/aceno por zigue-zague; YuNet nos quadros sem rosto dá a caixa da cabeça (streamer de perfil). - Corpo mesmo sem expressão: balançando, acenando, agitado, chegou perto e saiu do quadro, sem contar rastreio perdido como movimento. - API /face com expr/body por segundo e lista do corpo; linha do juiz com o corpo; painel com os rótulos novos e o "Mapa de expressões" no modal do corte. - Calibrado nas sessões 7, 8, 11 e 15 (doc/clipador/EXPRESSOES.md); intensidade dos picos inalterada (canais novos só rotulam). Testes em tests/test_expressions.py. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
ad36f0faf4
commit
44f78bd483
@@ -113,10 +113,33 @@ export type CamDetect = {
|
||||
confidence?: number; fullFrame?: boolean;
|
||||
};
|
||||
|
||||
/** Expressões do rosto (reaction.py, `EXPRESSION_LABELS`). Serviço antigo só manda as 7 primeiras. */
|
||||
export type FaceExpression = "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro"
|
||||
| "gargalhada" | "alegria" | "medo" | "espanto" | "nojo" | "tristeza" | "tenso" | "bocejo";
|
||||
/** Movimento da cabeça/corpo (reaction.py, `body_moments`), mesmo sem expressão no rosto. */
|
||||
export type BodyLabel = "balançando" | "acenando" | "agitado" | "chegou perto" | "saiu do quadro";
|
||||
|
||||
/** Reação no rosto do streamer (rastreio local, reaction.py): pico, início e intensidade (z relativo ao normal dele). */
|
||||
export type FaceReaction = {
|
||||
peakS: number; onsetS: number; endS: number; intensity: number; strong: boolean;
|
||||
label: "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro";
|
||||
label: FaceExpression;
|
||||
};
|
||||
|
||||
/** Um segundo do mapa de expressões (`GET sessions/{id}/face`); só os campos que o painel usa. */
|
||||
export type FaceMapSecond = {
|
||||
t: number; present: number;
|
||||
/** Expressão dominante; ausente = sem rosto legível (ou serviço antigo). */
|
||||
expr?: FaceExpression;
|
||||
/** Movimento do corpo que cobre o segundo; ausente = nada. */
|
||||
body?: BodyLabel;
|
||||
/** Fração dos quadros com a cabeça visível (inclui a caixa do detector com o rosto de perfil). */
|
||||
head?: number;
|
||||
};
|
||||
export type BodyMoment = { startS: number; endS: number; peakS: number; label: BodyLabel; value: number };
|
||||
export type FaceView = {
|
||||
fromS: number; toS: number; seconds: FaceMapSecond[]; moments: FaceReaction[];
|
||||
/** Ausente no serviço antigo. */
|
||||
body?: BodyMoment[];
|
||||
};
|
||||
|
||||
export type Situation = "lag_ou_bug" | "jogada" | "falha_engracada" | "morte" | "susto" | "treta" | "conversa_engracada"
|
||||
@@ -433,8 +456,15 @@ export const SOURCE_LABEL: Record<Clip["source"], string> = {
|
||||
chat: "pico do chat", audio: "pico do áudio", manual: "corte manual", ai: "IA viu na tela", face: "reação no rosto",
|
||||
};
|
||||
|
||||
export const FACE_LABEL: Record<FaceReaction["label"], string> = {
|
||||
export const FACE_LABEL: Record<FaceExpression, string> = {
|
||||
risada: "risada", grito: "grito", susto: "susto", choque: "choque", confuso: "confuso", raiva: "raiva", neutro: "neutro",
|
||||
gargalhada: "gargalhada", alegria: "alegria", medo: "medo", espanto: "espanto", nojo: "nojo", tristeza: "tristeza",
|
||||
tenso: "tensão", bocejo: "bocejo",
|
||||
};
|
||||
|
||||
export const BODY_LABEL: Record<BodyLabel, string> = {
|
||||
"balançando": "balançando a cabeça", acenando: "acenando com a cabeça", agitado: "agitado na cadeira",
|
||||
"chegou perto": "chegou perto da câmera", "saiu do quadro": "saiu do quadro",
|
||||
};
|
||||
|
||||
export const SITUATION_LABEL: Record<Situation, string> = {
|
||||
|
||||
@@ -9,6 +9,7 @@ import {
|
||||
ChatSignals, ClipActions, ClipMedia, DeleteControl, FaceSignal, JudgeVerdict, TrimControl, situationLabel, type DeleteClip,
|
||||
} from "./clipper-clip-parts";
|
||||
import { Dialog } from "./dialog";
|
||||
import { FaceMap } from "./clipper-face-map";
|
||||
import { ArrowLeftIcon, ArrowRightIcon, CheckIcon, ClockIcon } from "./icons";
|
||||
import type { PublishJob } from "./publishing-client";
|
||||
import { PublishChips, TextLink } from "./publishing-ui";
|
||||
@@ -98,6 +99,7 @@ function ClipBody({ clip, onChanged, publishJobs }: { clip: Clip; onChanged: ()
|
||||
<ClipMedia clip={clip} version={videoVersion} />
|
||||
<ChatSignals clip={clip} />
|
||||
<FaceSignal clip={clip} />
|
||||
<FaceMap clip={clip} />
|
||||
</div>
|
||||
|
||||
<div className="grid min-w-0 content-start gap-5">
|
||||
|
||||
@@ -0,0 +1,102 @@
|
||||
"use client";
|
||||
// Mapa de expressões de UM corte: uma faixa com a expressão dominante do streamer em cada segundo do trecho (cor por
|
||||
// família) e, embaixo, o movimento do corpo (balançando, agitado, saiu do quadro…), que aparece mesmo quando o rosto
|
||||
// está de perfil e não dá para ler expressão. Busca a série sozinho (GET sessions/{id}/face do trecho), ao contrário
|
||||
// das peças de clipper-clip-parts. Serviço antigo (sem `expr`) ou corte sem câmera: não mostra nada.
|
||||
import { useEffect, useState } from "react";
|
||||
import {
|
||||
BODY_LABEL, FACE_LABEL, clipperCall, formatClock,
|
||||
type BodyLabel, type Clip, type FaceExpression, type FaceMapSecond, type FaceView,
|
||||
} from "./clipper-client";
|
||||
import { Spinner, cx } from "./ui";
|
||||
|
||||
/** Cor de cada expressão, por família: alegria (verde), susto/surpresa (amarelo), raiva/grito (vermelho), tristeza e
|
||||
* tensão (azul), confusão (violeta); neutro e bocejo quase somem. */
|
||||
const EXPR_TONE: Record<FaceExpression, string> = {
|
||||
risada: "bg-success", gargalhada: "bg-success", alegria: "bg-success/45",
|
||||
susto: "bg-warning", choque: "bg-warning/80", espanto: "bg-warning/60", medo: "bg-glow",
|
||||
grito: "bg-flame", raiva: "bg-danger", nojo: "bg-option-d",
|
||||
tristeza: "bg-info", tenso: "bg-option-b/70", confuso: "bg-option-c",
|
||||
bocejo: "bg-fg-subtle/30", neutro: "bg-line-strong",
|
||||
};
|
||||
|
||||
type Load = { state: "loading" } | { state: "error"; text: string } | { state: "ok"; view: FaceView };
|
||||
|
||||
export function FaceMap({ clip }: { clip: Clip }) {
|
||||
const from = Math.floor(clip.startS);
|
||||
const to = Math.ceil(clip.endS);
|
||||
const [load, setLoad] = useState<Load>({ state: "loading" });
|
||||
|
||||
useEffect(() => {
|
||||
let alive = true;
|
||||
setLoad({ state: "loading" });
|
||||
void clipperCall<FaceView>(`sessions/${clip.sessionId}/face?from=${from}&to=${to}`).then((r) => {
|
||||
if (alive) setLoad(r.ok ? { state: "ok", view: r.data } : { state: "error", text: r.error });
|
||||
});
|
||||
return () => { alive = false; };
|
||||
}, [clip.sessionId, from, to]);
|
||||
|
||||
if (load.state === "loading") {
|
||||
return <p className="flex items-center gap-2 text-xs text-fg-subtle"><Spinner className="size-3.5" />Lendo o mapa de expressões…</p>;
|
||||
}
|
||||
if (load.state === "error") return null; // sem câmera, rastreio desligado ou serviço fora: o resto do modal segue
|
||||
const seconds = load.view.seconds.filter((s) => s.t >= from && s.t < to);
|
||||
const hasMap = seconds.some((s) => s.expr || s.body);
|
||||
if (!seconds.length || !hasMap) return null;
|
||||
|
||||
const counts = new Map<FaceExpression, number>();
|
||||
for (const s of seconds) if (s.expr && s.expr !== "neutro") counts.set(s.expr, (counts.get(s.expr) ?? 0) + 1);
|
||||
const legend = [...counts.entries()].sort((a, b) => b[1] - a[1]).slice(0, 6);
|
||||
const bodies = (load.view.body ?? []).filter((b) => b.endS >= from && b.startS < to);
|
||||
const withFace = seconds.filter((s) => s.expr).length;
|
||||
const summary = [
|
||||
legend.length ? `Expressões: ${legend.map(([k, n]) => `${FACE_LABEL[k] ?? k} ${n} s`).join(", ")}` : "Sem expressão marcante",
|
||||
bodies.length ? `corpo: ${bodies.map((b) => `${BODY_LABEL[b.label] ?? b.label} em ${formatClock(b.peakS)}`).join(", ")}` : "",
|
||||
].filter(Boolean).join("; ");
|
||||
|
||||
return (
|
||||
<section aria-label="Mapa de expressões do corte" className="grid gap-1.5">
|
||||
<h3 className="flex items-baseline justify-between gap-2 text-eyebrow font-semibold text-fg-subtle uppercase">
|
||||
Mapa de expressões
|
||||
<span className="font-normal normal-case tabular-nums">
|
||||
{withFace < seconds.length ? `rosto legível em ${Math.round((100 * withFace) / seconds.length)}%` : `${seconds.length} s`}
|
||||
</span>
|
||||
</h3>
|
||||
<div role="img" aria-label={summary} className="grid gap-0.5">
|
||||
<Strip seconds={seconds} pick={(s) => (s.expr ? EXPR_TONE[s.expr] ?? "bg-line-strong" : "")}
|
||||
title={(s) => `${formatClock(s.t)} · ${s.expr ? FACE_LABEL[s.expr] ?? s.expr : (s.head ?? 0) > 0 ? "rosto de perfil (sem expressão legível)" : "sem rosto"}`}
|
||||
className="h-4" />
|
||||
{bodies.length > 0 && (
|
||||
<Strip seconds={seconds} pick={(s) => (s.body ? "bg-accent" : "")}
|
||||
title={(s) => `${formatClock(s.t)} · ${s.body ? BODY_LABEL[s.body] ?? s.body : "corpo parado"}`} className="h-1.5" />
|
||||
)}
|
||||
</div>
|
||||
<ul className="flex flex-wrap gap-x-3 gap-y-1 text-[0.75rem] text-fg-muted">
|
||||
{legend.map(([k, n]) => (
|
||||
<li key={k} className="inline-flex items-center gap-1.5">
|
||||
<span aria-hidden className={cx("size-2.5 rounded-sm", EXPR_TONE[k])} />{FACE_LABEL[k] ?? k}
|
||||
<span className="text-fg-subtle tabular-nums">{n} s</span>
|
||||
</li>
|
||||
))}
|
||||
{bodies.map((b) => (
|
||||
<li key={`${b.label}-${b.startS}`} className="inline-flex items-center gap-1.5">
|
||||
<span aria-hidden className="h-1.5 w-2.5 rounded-sm bg-accent" />{BODY_LABEL[b.label as BodyLabel] ?? b.label}
|
||||
<span className="text-fg-subtle tabular-nums">{formatClock(b.peakS)}</span>
|
||||
</li>
|
||||
))}
|
||||
{!legend.length && !bodies.length && <li className="text-fg-subtle">rosto neutro no trecho</li>}
|
||||
</ul>
|
||||
</section>
|
||||
);
|
||||
}
|
||||
|
||||
/** Uma faixa: uma célula por segundo (cor de `pick`; vazio = sem dado), dica com `title` ao passar o mouse. */
|
||||
function Strip({ seconds, pick, title, className }: {
|
||||
seconds: FaceMapSecond[]; pick: (s: FaceMapSecond) => string; title: (s: FaceMapSecond) => string; className?: string;
|
||||
}) {
|
||||
return (
|
||||
<div className={cx("flex overflow-hidden rounded-sm bg-sunken/60", className)}>
|
||||
{seconds.map((s) => <span key={s.t} title={title(s)} className={cx("min-w-0 flex-1", pick(s))} />)}
|
||||
</div>
|
||||
);
|
||||
}
|
||||
Reference in New Issue
Block a user