Clipador: mapa de expressões do streamer (expressões novas, pose e corpo)

- Expressões novas dos blendshapes que já vinham do MediaPipe: gargalhada, alegria
  (no mapa), medo, espanto, nojo, tristeza, tensão e bocejo (que deixou de contar
  como grito); raiva também por olhos semicerrados + lábios apertados. Canais novos
  opcionais na série (brow_inner, mouth_frown, squint, press, stretch, upper_lip,
  pucker), z relativo ao neutro do próprio streamer só com os segundos que têm o campo.
- Pose da cabeça pela matriz de transformação facial (yaw/pitch/roll) e balanço/aceno
  por zigue-zague; YuNet nos quadros sem rosto dá a caixa da cabeça (streamer de perfil).
- Corpo mesmo sem expressão: balançando, acenando, agitado, chegou perto e saiu do
  quadro, sem contar rastreio perdido como movimento.
- API /face com expr/body por segundo e lista do corpo; linha do juiz com o corpo;
  painel com os rótulos novos e o "Mapa de expressões" no modal do corte.
- Calibrado nas sessões 7, 8, 11 e 15 (doc/clipador/EXPRESSOES.md); intensidade dos
  picos inalterada (canais novos só rotulam). Testes em tests/test_expressions.py.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Mateuus
2026-11-18 04:16:25 -03:00
co-authored by Claude Opus 5.5
parent ad36f0faf4
commit 44f78bd483
7 changed files with 1207 additions and 36 deletions
+32 -2
View File
@@ -113,10 +113,33 @@ export type CamDetect = {
confidence?: number; fullFrame?: boolean;
};
/** Expressões do rosto (reaction.py, `EXPRESSION_LABELS`). Serviço antigo só manda as 7 primeiras. */
export type FaceExpression = "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro"
| "gargalhada" | "alegria" | "medo" | "espanto" | "nojo" | "tristeza" | "tenso" | "bocejo";
/** Movimento da cabeça/corpo (reaction.py, `body_moments`), mesmo sem expressão no rosto. */
export type BodyLabel = "balançando" | "acenando" | "agitado" | "chegou perto" | "saiu do quadro";
/** Reação no rosto do streamer (rastreio local, reaction.py): pico, início e intensidade (z relativo ao normal dele). */
export type FaceReaction = {
peakS: number; onsetS: number; endS: number; intensity: number; strong: boolean;
label: "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro";
label: FaceExpression;
};
/** Um segundo do mapa de expressões (`GET sessions/{id}/face`); só os campos que o painel usa. */
export type FaceMapSecond = {
t: number; present: number;
/** Expressão dominante; ausente = sem rosto legível (ou serviço antigo). */
expr?: FaceExpression;
/** Movimento do corpo que cobre o segundo; ausente = nada. */
body?: BodyLabel;
/** Fração dos quadros com a cabeça visível (inclui a caixa do detector com o rosto de perfil). */
head?: number;
};
export type BodyMoment = { startS: number; endS: number; peakS: number; label: BodyLabel; value: number };
export type FaceView = {
fromS: number; toS: number; seconds: FaceMapSecond[]; moments: FaceReaction[];
/** Ausente no serviço antigo. */
body?: BodyMoment[];
};
export type Situation = "lag_ou_bug" | "jogada" | "falha_engracada" | "morte" | "susto" | "treta" | "conversa_engracada"
@@ -433,8 +456,15 @@ export const SOURCE_LABEL: Record<Clip["source"], string> = {
chat: "pico do chat", audio: "pico do áudio", manual: "corte manual", ai: "IA viu na tela", face: "reação no rosto",
};
export const FACE_LABEL: Record<FaceReaction["label"], string> = {
export const FACE_LABEL: Record<FaceExpression, string> = {
risada: "risada", grito: "grito", susto: "susto", choque: "choque", confuso: "confuso", raiva: "raiva", neutro: "neutro",
gargalhada: "gargalhada", alegria: "alegria", medo: "medo", espanto: "espanto", nojo: "nojo", tristeza: "tristeza",
tenso: "tensão", bocejo: "bocejo",
};
export const BODY_LABEL: Record<BodyLabel, string> = {
"balançando": "balançando a cabeça", acenando: "acenando com a cabeça", agitado: "agitado na cadeira",
"chegou perto": "chegou perto da câmera", "saiu do quadro": "saiu do quadro",
};
export const SITUATION_LABEL: Record<Situation, string> = {