Merge branch 'clipper/expressions' into clipper/integ

This commit is contained in:
Mateuus
2026-11-18 04:19:30 -03:00
7 changed files with 1207 additions and 36 deletions
+32 -2
View File
@@ -113,10 +113,33 @@ export type CamDetect = {
confidence?: number; fullFrame?: boolean;
};
/** Expressões do rosto (reaction.py, `EXPRESSION_LABELS`). Serviço antigo só manda as 7 primeiras. */
export type FaceExpression = "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro"
| "gargalhada" | "alegria" | "medo" | "espanto" | "nojo" | "tristeza" | "tenso" | "bocejo";
/** Movimento da cabeça/corpo (reaction.py, `body_moments`), mesmo sem expressão no rosto. */
export type BodyLabel = "balançando" | "acenando" | "agitado" | "chegou perto" | "saiu do quadro";
/** Reação no rosto do streamer (rastreio local, reaction.py): pico, início e intensidade (z relativo ao normal dele). */
export type FaceReaction = {
peakS: number; onsetS: number; endS: number; intensity: number; strong: boolean;
label: "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro";
label: FaceExpression;
};
/** Um segundo do mapa de expressões (`GET sessions/{id}/face`); só os campos que o painel usa. */
export type FaceMapSecond = {
t: number; present: number;
/** Expressão dominante; ausente = sem rosto legível (ou serviço antigo). */
expr?: FaceExpression;
/** Movimento do corpo que cobre o segundo; ausente = nada. */
body?: BodyLabel;
/** Fração dos quadros com a cabeça visível (inclui a caixa do detector com o rosto de perfil). */
head?: number;
};
export type BodyMoment = { startS: number; endS: number; peakS: number; label: BodyLabel; value: number };
export type FaceView = {
fromS: number; toS: number; seconds: FaceMapSecond[]; moments: FaceReaction[];
/** Ausente no serviço antigo. */
body?: BodyMoment[];
};
export type Situation = "lag_ou_bug" | "jogada" | "falha_engracada" | "morte" | "susto" | "treta" | "conversa_engracada"
@@ -470,8 +493,15 @@ export const SOURCE_LABEL: Record<Clip["source"], string> = {
chat: "pico do chat", audio: "pico do áudio", manual: "corte manual", ai: "IA viu na tela", face: "reação no rosto",
};
export const FACE_LABEL: Record<FaceReaction["label"], string> = {
export const FACE_LABEL: Record<FaceExpression, string> = {
risada: "risada", grito: "grito", susto: "susto", choque: "choque", confuso: "confuso", raiva: "raiva", neutro: "neutro",
gargalhada: "gargalhada", alegria: "alegria", medo: "medo", espanto: "espanto", nojo: "nojo", tristeza: "tristeza",
tenso: "tensão", bocejo: "bocejo",
};
export const BODY_LABEL: Record<BodyLabel, string> = {
"balançando": "balançando a cabeça", acenando: "acenando com a cabeça", agitado: "agitado na cadeira",
"chegou perto": "chegou perto da câmera", "saiu do quadro": "saiu do quadro",
};
export const SITUATION_LABEL: Record<Situation, string> = {