Clipador: mapa de expressões do streamer (expressões novas, pose e corpo)
- Expressões novas dos blendshapes que já vinham do MediaPipe: gargalhada, alegria (no mapa), medo, espanto, nojo, tristeza, tensão e bocejo (que deixou de contar como grito); raiva também por olhos semicerrados + lábios apertados. Canais novos opcionais na série (brow_inner, mouth_frown, squint, press, stretch, upper_lip, pucker), z relativo ao neutro do próprio streamer só com os segundos que têm o campo. - Pose da cabeça pela matriz de transformação facial (yaw/pitch/roll) e balanço/aceno por zigue-zague; YuNet nos quadros sem rosto dá a caixa da cabeça (streamer de perfil). - Corpo mesmo sem expressão: balançando, acenando, agitado, chegou perto e saiu do quadro, sem contar rastreio perdido como movimento. - API /face com expr/body por segundo e lista do corpo; linha do juiz com o corpo; painel com os rótulos novos e o "Mapa de expressões" no modal do corte. - Calibrado nas sessões 7, 8, 11 e 15 (doc/clipador/EXPRESSOES.md); intensidade dos picos inalterada (canais novos só rotulam). Testes em tests/test_expressions.py. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
ad36f0faf4
commit
44f78bd483
@@ -113,10 +113,33 @@ export type CamDetect = {
|
||||
confidence?: number; fullFrame?: boolean;
|
||||
};
|
||||
|
||||
/** Expressões do rosto (reaction.py, `EXPRESSION_LABELS`). Serviço antigo só manda as 7 primeiras. */
|
||||
export type FaceExpression = "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro"
|
||||
| "gargalhada" | "alegria" | "medo" | "espanto" | "nojo" | "tristeza" | "tenso" | "bocejo";
|
||||
/** Movimento da cabeça/corpo (reaction.py, `body_moments`), mesmo sem expressão no rosto. */
|
||||
export type BodyLabel = "balançando" | "acenando" | "agitado" | "chegou perto" | "saiu do quadro";
|
||||
|
||||
/** Reação no rosto do streamer (rastreio local, reaction.py): pico, início e intensidade (z relativo ao normal dele). */
|
||||
export type FaceReaction = {
|
||||
peakS: number; onsetS: number; endS: number; intensity: number; strong: boolean;
|
||||
label: "risada" | "grito" | "susto" | "choque" | "confuso" | "raiva" | "neutro";
|
||||
label: FaceExpression;
|
||||
};
|
||||
|
||||
/** Um segundo do mapa de expressões (`GET sessions/{id}/face`); só os campos que o painel usa. */
|
||||
export type FaceMapSecond = {
|
||||
t: number; present: number;
|
||||
/** Expressão dominante; ausente = sem rosto legível (ou serviço antigo). */
|
||||
expr?: FaceExpression;
|
||||
/** Movimento do corpo que cobre o segundo; ausente = nada. */
|
||||
body?: BodyLabel;
|
||||
/** Fração dos quadros com a cabeça visível (inclui a caixa do detector com o rosto de perfil). */
|
||||
head?: number;
|
||||
};
|
||||
export type BodyMoment = { startS: number; endS: number; peakS: number; label: BodyLabel; value: number };
|
||||
export type FaceView = {
|
||||
fromS: number; toS: number; seconds: FaceMapSecond[]; moments: FaceReaction[];
|
||||
/** Ausente no serviço antigo. */
|
||||
body?: BodyMoment[];
|
||||
};
|
||||
|
||||
export type Situation = "lag_ou_bug" | "jogada" | "falha_engracada" | "morte" | "susto" | "treta" | "conversa_engracada"
|
||||
@@ -433,8 +456,15 @@ export const SOURCE_LABEL: Record<Clip["source"], string> = {
|
||||
chat: "pico do chat", audio: "pico do áudio", manual: "corte manual", ai: "IA viu na tela", face: "reação no rosto",
|
||||
};
|
||||
|
||||
export const FACE_LABEL: Record<FaceReaction["label"], string> = {
|
||||
export const FACE_LABEL: Record<FaceExpression, string> = {
|
||||
risada: "risada", grito: "grito", susto: "susto", choque: "choque", confuso: "confuso", raiva: "raiva", neutro: "neutro",
|
||||
gargalhada: "gargalhada", alegria: "alegria", medo: "medo", espanto: "espanto", nojo: "nojo", tristeza: "tristeza",
|
||||
tenso: "tensão", bocejo: "bocejo",
|
||||
};
|
||||
|
||||
export const BODY_LABEL: Record<BodyLabel, string> = {
|
||||
"balançando": "balançando a cabeça", acenando: "acenando com a cabeça", agitado: "agitado na cadeira",
|
||||
"chegou perto": "chegou perto da câmera", "saiu do quadro": "saiu do quadro",
|
||||
};
|
||||
|
||||
export const SITUATION_LABEL: Record<Situation, string> = {
|
||||
|
||||
Reference in New Issue
Block a user