Merge branch 'clipper/expressions' into clipper/integ

This commit is contained in:
Mateuus
2026-11-18 04:19:30 -03:00
7 changed files with 1207 additions and 36 deletions
+32 -2
View File
@@ -113,10 +113,33 @@ export type CamDetect = {
confidence?: number; fullFrame?: boolean;
};
/** Expressões do rosto (reaction.py, `EXPRESSION_LABELS`). Serviço antigo só manda as 7 primeiras. */
export type FaceExpression = "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro"
| "gargalhada" | "alegria" | "medo" | "espanto" | "nojo" | "tristeza" | "tenso" | "bocejo";
/** Movimento da cabeça/corpo (reaction.py, `body_moments`), mesmo sem expressão no rosto. */
export type BodyLabel = "balançando" | "acenando" | "agitado" | "chegou perto" | "saiu do quadro";
/** Reação no rosto do streamer (rastreio local, reaction.py): pico, início e intensidade (z relativo ao normal dele). */
export type FaceReaction = {
peakS: number; onsetS: number; endS: number; intensity: number; strong: boolean;
label: "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro";
label: FaceExpression;
};
/** Um segundo do mapa de expressões (`GET sessions/{id}/face`); só os campos que o painel usa. */
export type FaceMapSecond = {
t: number; present: number;
/** Expressão dominante; ausente = sem rosto legível (ou serviço antigo). */
expr?: FaceExpression;
/** Movimento do corpo que cobre o segundo; ausente = nada. */
body?: BodyLabel;
/** Fração dos quadros com a cabeça visível (inclui a caixa do detector com o rosto de perfil). */
head?: number;
};
export type BodyMoment = { startS: number; endS: number; peakS: number; label: BodyLabel; value: number };
export type FaceView = {
fromS: number; toS: number; seconds: FaceMapSecond[]; moments: FaceReaction[];
/** Ausente no serviço antigo. */
body?: BodyMoment[];
};
export type Situation = "lag_ou_bug" | "jogada" | "falha_engracada" | "morte" | "susto" | "treta" | "conversa_engracada"
@@ -470,8 +493,15 @@ export const SOURCE_LABEL: Record<Clip["source"], string> = {
chat: "pico do chat", audio: "pico do áudio", manual: "corte manual", ai: "IA viu na tela", face: "reação no rosto",
};
export const FACE_LABEL: Record<FaceReaction["label"], string> = {
export const FACE_LABEL: Record<FaceExpression, string> = {
risada: "risada", grito: "grito", susto: "susto", choque: "choque", confuso: "confuso", raiva: "raiva", neutro: "neutro",
gargalhada: "gargalhada", alegria: "alegria", medo: "medo", espanto: "espanto", nojo: "nojo", tristeza: "tristeza",
tenso: "tensão", bocejo: "bocejo",
};
export const BODY_LABEL: Record<BodyLabel, string> = {
"balançando": "balançando a cabeça", acenando: "acenando com a cabeça", agitado: "agitado na cadeira",
"chegou perto": "chegou perto da câmera", "saiu do quadro": "saiu do quadro",
};
export const SITUATION_LABEL: Record<Situation, string> = {
@@ -10,6 +10,7 @@ import {
} from "./clipper-clip-parts";
import { isOther, speakerLabel } from "./clip-editor-model";
import { Dialog } from "./dialog";
import { FaceMap } from "./clipper-face-map";
import { ArrowLeftIcon, ArrowRightIcon, CheckIcon, ClockIcon } from "./icons";
import type { PublishJob } from "./publishing-client";
import { PublishChips, TextLink } from "./publishing-ui";
@@ -102,6 +103,7 @@ function ClipBody({ clip, onChanged, publishJobs }: { clip: Clip; onChanged: ()
<ClipVideoState clip={clip} show={show} onShow={setShow} pending={pending} run={run} />
<ChatSignals clip={clip} />
<FaceSignal clip={clip} />
<FaceMap clip={clip} />
</div>
<div className="grid min-w-0 content-start gap-5">
+102
View File
@@ -0,0 +1,102 @@
"use client";
// Mapa de expressões de UM corte: uma faixa com a expressão dominante do streamer em cada segundo do trecho (cor por
// família) e, embaixo, o movimento do corpo (balançando, agitado, saiu do quadro…), que aparece mesmo quando o rosto
// está de perfil e não dá para ler expressão. Busca a série sozinho (GET sessions/{id}/face do trecho), ao contrário
// das peças de clipper-clip-parts. Serviço antigo (sem `expr`) ou corte sem câmera: não mostra nada.
import { useEffect, useState } from "react";
import {
BODY_LABEL, FACE_LABEL, clipperCall, formatClock,
type BodyLabel, type Clip, type FaceExpression, type FaceMapSecond, type FaceView,
} from "./clipper-client";
import { Spinner, cx } from "./ui";
/** Cor de cada expressão, por família: alegria (verde), susto/surpresa (amarelo), raiva/grito (vermelho), tristeza e
* tensão (azul), confusão (violeta); neutro e bocejo quase somem. */
const EXPR_TONE: Record<FaceExpression, string> = {
risada: "bg-success", gargalhada: "bg-success", alegria: "bg-success/45",
susto: "bg-warning", choque: "bg-warning/80", espanto: "bg-warning/60", medo: "bg-glow",
grito: "bg-flame", raiva: "bg-danger", nojo: "bg-option-d",
tristeza: "bg-info", tenso: "bg-option-b/70", confuso: "bg-option-c",
bocejo: "bg-fg-subtle/30", neutro: "bg-line-strong",
};
type Load = { state: "loading" } | { state: "error"; text: string } | { state: "ok"; view: FaceView };
export function FaceMap({ clip }: { clip: Clip }) {
const from = Math.floor(clip.startS);
const to = Math.ceil(clip.endS);
const [load, setLoad] = useState<Load>({ state: "loading" });
useEffect(() => {
let alive = true;
setLoad({ state: "loading" });
void clipperCall<FaceView>(`sessions/${clip.sessionId}/face?from=${from}&to=${to}`).then((r) => {
if (alive) setLoad(r.ok ? { state: "ok", view: r.data } : { state: "error", text: r.error });
});
return () => { alive = false; };
}, [clip.sessionId, from, to]);
if (load.state === "loading") {
return <p className="flex items-center gap-2 text-xs text-fg-subtle"><Spinner className="size-3.5" />Lendo o mapa de expressões…</p>;
}
if (load.state === "error") return null; // sem câmera, rastreio desligado ou serviço fora: o resto do modal segue
const seconds = load.view.seconds.filter((s) => s.t >= from && s.t < to);
const hasMap = seconds.some((s) => s.expr || s.body);
if (!seconds.length || !hasMap) return null;
const counts = new Map<FaceExpression, number>();
for (const s of seconds) if (s.expr && s.expr !== "neutro") counts.set(s.expr, (counts.get(s.expr) ?? 0) + 1);
const legend = [...counts.entries()].sort((a, b) => b[1] - a[1]).slice(0, 6);
const bodies = (load.view.body ?? []).filter((b) => b.endS >= from && b.startS < to);
const withFace = seconds.filter((s) => s.expr).length;
const summary = [
legend.length ? `Expressões: ${legend.map(([k, n]) => `${FACE_LABEL[k] ?? k} ${n} s`).join(", ")}` : "Sem expressão marcante",
bodies.length ? `corpo: ${bodies.map((b) => `${BODY_LABEL[b.label] ?? b.label} em ${formatClock(b.peakS)}`).join(", ")}` : "",
].filter(Boolean).join("; ");
return (
<section aria-label="Mapa de expressões do corte" className="grid gap-1.5">
<h3 className="flex items-baseline justify-between gap-2 text-eyebrow font-semibold text-fg-subtle uppercase">
Mapa de expressões
<span className="font-normal normal-case tabular-nums">
{withFace < seconds.length ? `rosto legível em ${Math.round((100 * withFace) / seconds.length)}%` : `${seconds.length} s`}
</span>
</h3>
<div role="img" aria-label={summary} className="grid gap-0.5">
<Strip seconds={seconds} pick={(s) => (s.expr ? EXPR_TONE[s.expr] ?? "bg-line-strong" : "")}
title={(s) => `${formatClock(s.t)} · ${s.expr ? FACE_LABEL[s.expr] ?? s.expr : (s.head ?? 0) > 0 ? "rosto de perfil (sem expressão legível)" : "sem rosto"}`}
className="h-4" />
{bodies.length > 0 && (
<Strip seconds={seconds} pick={(s) => (s.body ? "bg-accent" : "")}
title={(s) => `${formatClock(s.t)} · ${s.body ? BODY_LABEL[s.body] ?? s.body : "corpo parado"}`} className="h-1.5" />
)}
</div>
<ul className="flex flex-wrap gap-x-3 gap-y-1 text-[0.75rem] text-fg-muted">
{legend.map(([k, n]) => (
<li key={k} className="inline-flex items-center gap-1.5">
<span aria-hidden className={cx("size-2.5 rounded-sm", EXPR_TONE[k])} />{FACE_LABEL[k] ?? k}
<span className="text-fg-subtle tabular-nums">{n} s</span>
</li>
))}
{bodies.map((b) => (
<li key={`${b.label}-${b.startS}`} className="inline-flex items-center gap-1.5">
<span aria-hidden className="h-1.5 w-2.5 rounded-sm bg-accent" />{BODY_LABEL[b.label as BodyLabel] ?? b.label}
<span className="text-fg-subtle tabular-nums">{formatClock(b.peakS)}</span>
</li>
))}
{!legend.length && !bodies.length && <li className="text-fg-subtle">rosto neutro no trecho</li>}
</ul>
</section>
);
}
/** Uma faixa: uma célula por segundo (cor de `pick`; vazio = sem dado), dica com `title` ao passar o mouse. */
function Strip({ seconds, pick, title, className }: {
seconds: FaceMapSecond[]; pick: (s: FaceMapSecond) => string; title: (s: FaceMapSecond) => string; className?: string;
}) {
return (
<div className={cx("flex overflow-hidden rounded-sm bg-sunken/60", className)}>
{seconds.map((s) => <span key={s.t} title={title(s)} className={cx("min-w-0 flex-1", pick(s))} />)}
</div>
);
}