Files
CenaForge/doc/clipador/EXPRESSOES.md
T
MateuusandClaude Opus 5.5 44f78bd483 Clipador: mapa de expressões do streamer (expressões novas, pose e corpo)
- Expressões novas dos blendshapes que já vinham do MediaPipe: gargalhada, alegria
  (no mapa), medo, espanto, nojo, tristeza, tensão e bocejo (que deixou de contar
  como grito); raiva também por olhos semicerrados + lábios apertados. Canais novos
  opcionais na série (brow_inner, mouth_frown, squint, press, stretch, upper_lip,
  pucker), z relativo ao neutro do próprio streamer só com os segundos que têm o campo.
- Pose da cabeça pela matriz de transformação facial (yaw/pitch/roll) e balanço/aceno
  por zigue-zague; YuNet nos quadros sem rosto dá a caixa da cabeça (streamer de perfil).
- Corpo mesmo sem expressão: balançando, acenando, agitado, chegou perto e saiu do
  quadro, sem contar rastreio perdido como movimento.
- API /face com expr/body por segundo e lista do corpo; linha do juiz com o corpo;
  painel com os rótulos novos e o "Mapa de expressões" no modal do corte.
- Calibrado nas sessões 7, 8, 11 e 15 (doc/clipador/EXPRESSOES.md); intensidade dos
  picos inalterada (canais novos só rotulam). Testes em tests/test_expressions.py.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-18 04:16:25 -03:00

16 KiB
Raw Blame History

Mapa de expressões do streamer (Clipador)

Data: 18/11/2026. Código: clipper/app/reaction.py (lógica pura) e clipper/app/face.py (MediaPipe/YuNet, API); painel: panel/src/components/clipper-face-map.tsx. Testes: clipper/tests/test_expressions.py. Base anterior: doc/FACE_BAKEOFF.md e a seção "Rastreio de reação" do clipper/README.md.

Pedido do dono: "Está muito pouco, tem que colocar mais expressões. Às vezes ele não tem expressão facial, mas a gente pega ele balançando… raiva, medo, alegria — está faltando para deixar mais completo o mapa de expressões."

Antes: 8 dos 52 blendshapes do MediaPipe viravam 5 canais (smile, jaw, surprise, frown, brow) + motion, e 6 rótulos (risada, grito, susto, choque, confuso, raiva). Sem pose da cabeça e sem nada quando o rosto some.

O que mudou

  1. Expressões novas a partir dos blendshapes que já vinham (custo zero).
  2. Pose da cabeça: o Face Landmarker agora devolve a matriz de transformação facial (output_facial_transformation_matrixes=True) → yaw/pitch/roll por quadro (face.pose_from_matrix).
  3. Cabeça sem rosto: quando o MediaPipe não acha o rosto (streamer de perfil), o YuNet (já usado para achar a câmera; mesma licença MIT) roda só nesse quadro e dá a caixa da cabeça → posição/tamanho para o corpo.
  4. Corpo: balançando, acenando, agitado, chegou perto, saiu do quadro (reaction.body_moments).
  5. Mapa: expressão dominante + corpo por segundo (reaction.expression_map), na API e no modal do corte.

Nada disso mexe na intensidade do rosto (o sinal que vira pico, bônus na nota e corte de fonte face): os canais novos só rotulam (pesos extra_weights = 0; ver "Por que os canais novos não viram pico"). A única mudança nos picos é o bocejo, que deixou de contar como grito.

Canais por segundo (campos novos da série, todos opcionais)

Série antiga (gravada antes) não tem estes campos: tudo continua funcionando (canal ausente = parado). Sem migração de banco — os campos vão no data_json de face_track que já existia.

Campo De onde vem Agregação no segundo
brow_inner browInnerUp máximo
mouth_frown média mouthFrownLeft/Right (cantos da boca para baixo) máximo
squint média eyeSquintLeft/Right (olhos semicerrados) máximo
press média mouthPressLeft/Right (lábios apertados) máximo
stretch média mouthStretchLeft/Right (boca esticada para os lados) máximo
upper_lip média mouthUpperUpLeft/Right (lábio de cima levantado) máximo
pucker maior entre mouthPucker e mouthFunnel (boca em "O") máximo
yaw, pitch, roll matriz de transformação facial, graus (1 casa) média
shake, nod pernas de zigue-zague do yaw/pitch (histerese 8°/6°) na janela [t−0,5; t+1,5) s contagem
head fração dos quadros com a cabeça visível (rosto com pontos ou caixa do YuNet) fração
head_motion caminho da cabeça em tamanhos de cabeça, só entre quadros vizinhos (≤ 0,4 s) da mesma fonte, passo limitado a 1 soma
hsize altura da caixa do YuNet nos quadros sem pontos (fração do quadro inteiro) média

Blendshapes mortos no modelo do MediaPipe (medido: máximo ≤ 0,001 em 4 sessões, ~45 mil segundos): noseSneerLeft/Right, cheekSquintLeft/Right, cheekPuff. Por isso nojo e raiva não usam o nariz: o lábio de cima (upper_lip) faz o papel.

O z de cada canal novo é o mesmo esquema do channel_z (mediana + 1,4826 × MAD dos últimos 180 s do próprio streamer, sem os últimos 10 s), mas o neutro usa só os segundos que têm o campo: numa sessão em que o serviço foi atualizado no meio, os segundos antigos não viram um "neutro de zeros" (teste test_service_updated_mid_session_does_not_fake_new_expressions). Menos de 30 segundos com o campo → z 0. Pisos do desvio (extra_floors): brow_inner 0,10, mouth_frown 0,05, squint 0,06, press 0,08, stretch 0,06, upper_lip 0,10, pucker 0,12, head_motion 0,15.

Rótulos de expressão (label, yawn_seconds, expression_map)

"Ligado" = z ≥ 2 (label_z); "meio" = z ≥ 1. Ordem de decisão:

Rótulo Regra Observação
bocejo jawOpen ≥ 0,5 por ≥ 2 s seguidos e squint z ≥ 1 em algum deles contexto (yawn_seconds); não é reação: o pico sai
risada sorriso ligado; ou sorriso ≥ 0,5 com boca, franzido, sobrancelha ou lábio de cima ligado lábio de cima: novo
gargalhada risada com a cabeça ≥ 20° para trás do neutro dele (head_back_deg) novo
alegria (só no mapa) risada sem pico (sinal < 3), sem boca abrindo e sem dentes à mostra novo
susto sobrancelha ou olho arregalado + movimento igual
medo brow_inner ligado + stretch ligado (ou olho arregalado com a sobrancelha descendo) novo; FACS AU1+AU20
grito boca ligada; ou franzido com a boca ≥ 0,2 igual
raiva franzido de boca fechada; ou squint + press ligados com o franzido "meio" 2ª forma: nova
nojo upper_lip ligado, boca abaixo de "meio" e sorriso < 0,3 novo
tristeza mouth_frown ligado + brow_inner "meio", sem pucker nem stretch ligados novo
espanto pucker ligado + sobrancelha ligada ou boca "meio" novo
choque olho arregalado parado igual
confuso sobrancelha levantada parada igual
tenso press + squint ligados (sem franzido) novo (painel: "tensão")

Corpo/cabeça (body_moments)

Só contam segundos com a cabeça em ≥ 80 % dos quadros (head_min; série antiga: o rosto). Rastreio perdido nunca vira movimento (achado do FACE_BAKEOFF: os maiores "picos" de movimento eram o rosto sumindo e voltando): o passo entre quadros é limitado, quadros com buraco > 0,4 s entre eles não somam, pontos e caixa do YuNet não se misturam, e a agitação exige a janela inteira com a cabeça visível (teste test_lost_face_is_not_agitation…).

Rótulo Regra
balançando shake ≥ 3 pernas (vai-volta-vai de ≥ 8° no yaw em 2 s). Olhar para o lado e voltar = 2: não conta
acenando nod ≥ 3 pernas (≥ 6° no pitch) sem balanço lateral
agitado head_motion com z ≥ 2,5 em ≥ 3 de 5 s seguidos, todos com a cabeça visível
chegou perto cabeça ≥ 18 % maior que o tamanho normal dele (rosto e caixa do YuNet, cada um contra o próprio neutro)
saiu do quadro cabeça visível ≥ 3 s, até 2 s de transição parcial, depois ≤ 10 % por ≥ 3 s. Só com o campo head (série antiga não diz "saiu": lá o MediaPipe perdendo o rosto pareceria saída)

Onde aparece

  • API GET /v1/sessions/{id}/face: cada segundo ganha expr (expressão do mapa) e body (movimento), além dos campos novos; a resposta ganha body: [{startS, endS, peakS, label, value}]. Os picos (moments) podem vir com os rótulos novos.
  • Juiz (analista): a linha "Rosto do streamer" traz até 2 movimentos do corpo no fim ("…; balançando a cabeça em 1628s"). Com o rosto de perfil o tempo todo, antes não ia linha nenhuma; agora vai "rosto sem expressão legível (de perfil ou longe; cabeça visível em 95% do trecho); saiu do quadro em 187s".
  • Painel: FaceSignal (chip do corte) mostra os rótulos novos em português; o modal do corte ganhou o Mapa de expressões (clipper-face-map.tsx): faixa com uma célula por segundo, cor por família (verde alegria/risada, amarelo susto/espanto/medo, vermelho raiva/grito/nojo, azul tristeza/tensão, violeta confuso), faixa laranja do corpo embaixo, legenda com segundos por expressão e os movimentos. Busca o trecho do corte; sem câmera ou serviço antigo, não aparece.

Calibração (dados reais, só leitura)

Banco copiado por sqlite3.backup (mode=ro); blocos .ts só lidos; MediaPipe rodado num script à parte com as classes do face.py (matriz de pose ligada), quadros salvos fora do repositório. Cada regra foi conferida olhando os quadros (folhas de contato de 8 quadros em volta de cada caso).

Sessão Canal O que tem Segundos com rosto (MediaPipe)
8 skipnho (PT), 1,7 h 206 blocos, 14 cortes 6009 de 6162
11 skipnho (PT), 30 min 59 blocos, 3 cortes 1763 de 1770
7 skipnho (PT), fim da live 79 blocos ainda no disco (2217 s), 6 cortes —
15 tfue (EN), gravando 125 blocos, 27 cortes (13 descartados pela IA) 486 de 3750

Achados que mudaram as regras:

  • Bocejo era o maior "grito": na sessão 8 os 5 trechos com jawOpen ≥ 0,6 por 3 s (1420, 3335, 3437, 3483 e 3659 s) eram todos bocejos (olhos fechados, braços esticando), com z 12–16. Gritos e exclamações abriram a boca assim por 1 s (908, 2331 s). O bocejo ainda levanta o "sorriso" (cantos esticados): z 4–8. Regra de contexto (≥ 2 s + olhos apertando) pegou os 5 (+1 em 5662 s) e nenhum grito de 1 s; o piscar não serve (o normal deste streamer já é 0,5).
  • Nojo × risada: a 1ª regra (lábio de cima sem boca aberta) deu 82 trechos na sessão 8; todos eram risada de dentes à mostra (sorriso 0,91–0,97, que para ele já é quase o normal: z ~1). Com o sorriso < 0,3 exigido e o lábio de cima contando para a risada: 5 trechos.
  • Mão no rosto engana a boca: queixo apoiado, mão na boca e coçar o nariz (tique frequente do skipnho) fazem mouth_frown, stretch e pucker subirem (911, 3984–3987, 4060, 5077, 5222 s). Não há sinal de oclusão no MediaPipe (comparei os 52 blendshapes nesses segundos com o resto: nenhum separa). Tristeza passou a excluir bico e boca esticada; o resto fica como limitação documentada (ver "Por que os canais novos não viram pico").
  • Cabeça para trás: a 12° deu 16 "gargalhadas" na sessão 8, quase todas falsas (pose errada com a mão no rosto, falando). A 20° fica a gargalhada real de 1566 s (24°, cabeça para trás com as mãos no rosto) e cai o resto, menos uma: em 2572 s a cadeira estava vazia e o MediaPipe inventou um rosto no encosto (28°). Bebendo de lata também vai a −25° (pitch), por isso "cabeça para trás" sozinha não vira rótulo — só com risada.
  • Balanço a 6 qps: 28 eventos (δ 8°, ≥ 3 pernas) na sessão 8; nos quadros, eram cabeça indo e voltando rindo, falando ou gesticulando — não dá para afirmar "não" literal a 6 qps (uma perna dura 1–2 quadros). Por isso o rótulo é "balançando a cabeça", não "disse não". Olhar para o lado e voltar (1225, 2832 s) dá 2 pernas e fica fora.
  • Agitado: 64 trechos na sessão 8; conferidos 6 — todos movimento de verdade (se inclinando para fora e voltando, gesticulando, se espreguiçando).
  • Chegou perto: razão tamanho/normal p99 1,15 e p99,9 1,21 (sessão 8); o 1,25 inicial não pegava nada. Com 1,18: 13 trechos na 8 (ex.: 2066 s, rosto colado na câmera), 1 na 15.
  • tfue de perfil (sessão 15): o MediaPipe acha rosto em 10 % dos quadros (yaw mediano −44°: olha o monitor ao lado da webcam); o YuNet acha a cabeça em 100 % (180/180 em 4 blocos, score 0,89). Com a caixa do YuNet: cabeça visível em 85 % dos segundos e 4 saídas do quadro, que batem com os cortes: 187 s (corte 261 "Tfue Takes a Bathroom Break Mid-Stream", 175–244), 577 s (corte 268 "…Waiting on a Bathroom Break", 518–581; tirou o fone e levantou), 1236–1333 s (tela de "volto já" cobrindo a câmera) e 3572 s (corte 285). Sem a tolerância de 2 s de transição (ele levanta em 1–2 s) só a 3ª aparecia. Raiva forte em 977/1011 s cai nos cortes 265/272 ("Base Is Under Attack by Suspected Stream Snipers").

Resultado final (picos = reaction_moments; mapa = % dos segundos com rosto):

Sessão Picos antes → depois Trocas de rótulo nos picos Mapa (fora o neutro) Corpo (eventos)
8 251 → 254 (8 bocejos saíram, a seleção gulosa reescolheu vizinhos) confuso→espanto 3, confuso→tristeza 1, risada→gargalhada 1 risada 14,8 %, confuso 6,5, alegria 5,1, grito 1,5, susto 1,1, espanto 0,9, raiva 0,7, tristeza 0,3, bocejo 0,3, medo 0,2, nojo 0,1, tenso 0,1 agitado 64, balançando 42, acenando 36, chegou perto 13
11 107 → 107 confuso→tristeza 1, confuso→espanto 1, risada→gargalhada 1 risada 19,0 %, confuso 6,0, alegria 5,3, susto 1,9, grito 0,9, espanto 0,7 agitado 18, acenando 10, balançando 5
7 144 → 144 confuso→espanto 3, grito→medo 1 risada 12,9 %, alegria 8,3, confuso 6,9, grito 3,5, raiva 2,1, espanto 2,1 acenando 10, balançando 7, agitado 4
15 22 → 22 risada→gargalhada 1 raiva 10,5 %, risada 4,7, confuso 2,9, grito 2,3 agitado 9, saiu do quadro 4, balançando 3, acenando 3

(Sessões 7, 8 e 11 sem a caixa do YuNet na calibração — lá o rosto aparece em 97–99 % dos segundos; o "saiu do quadro" delas vem do rosto sumindo e não entra na tabela.)

Por que os canais novos não viram pico

Com peso na intensidade, cada canal novo criaria picos sozinho — e os falsos mais comuns (mão no rosto) caem justamente nos canais da boca. A intensidade alimenta a nota dos cortes e a fonte face; mexer nela sem um conjunto aprovado/rejeitado maior seria chute (nas sessões 7, 8 e 11 quase todos os cortes estão "ready", sem decisão do dono). Então: extra_weights = 0 e os canais novos só rotulam o pico que as expressões antigas já acharam, e pintam o mapa. Para ligar um canal na intensidade, é só dar peso em ReactionParams.extra_weights (testado no código: _signal_from_z), depois de medir de novo.

Custo (medido, mesma máquina: 32 threads, CPU; 6 blocos de 30 s por caso, rodados em sequência)

Caso Bloco antes Bloco depois per_second JSON da série
skipnho (rosto em 100 % dos quadros) 1775 ms (máx 2124) 1773 ms (máx 2047) 0,7 → 1,5 ms 177 → 400 B/s
tfue de perfil (rosto em 1 %, só cabeça em 73 %) 1238 ms (máx 1573) 1721 ms (máx 2236) 0,2 → 0,3 ms 36 → 85 B/s
  • A matriz de pose não custa nada mensurável. O YuNet custa 5,3 ms por quadro sem rosto (média de 20 255 quadros da sessão 15) e só roda nesses quadros: streamer de frente não paga nada; de perfil, +0,5 s por bloco de 30 s (ainda ~17× mais rápido que o tempo real).
  • Banco: ~1,4 MB por hora de live em face_track (antes ~0,6 MB).
  • Análise (reaction_moments + body_moments + expression_map) numa série de 1,7 h: ~1 s.

Limitações conhecidas (não verificadas ou fora do alcance)

  • Mão no rosto ainda pode virar tristeza/espanto/medo/raiva no mapa (ver calibração).
  • Rosto fantasma: com a cadeira vazia o MediaPipe às vezes acha um rosto no encosto (sessão 8, 2567–2575 s, presença 0,3–1,0 em segundos soltos); aparece no mapa como expressão. O "saiu do quadro" ainda pega a saída quando há ≥ 3 s seguidos sem rosto.
  • Sim/não literal não é medido (6 qps); "balançando/acenando" é o movimento, não a intenção.
  • Serviço real rodando o código novo não foi testado (o serviço é do dono; só scripts com as classes e a suíte). A caixa do YuNet dentro do FaceService foi coberta por teste com detector falso e medida por script com o real.
  • Painel: só tsc; não abri no navegador.
  • Nenhuma sessão com câmera escura/minúscula além da do tfue (rosto ~66 px de altura na fonte 1080p).

Integração com o agente de Falantes (atividade da boca)

  • Nada foi renomeado nem removido: SECOND_FIELDS, FaceSample.blend, per_second, FaceSecond, seconds_to_json/from_json continuam iguais para quem já usa. Os campos novos estão em EXTRA_SECOND_FIELDS (to_json/from_json percorrem SECOND_FIELDS + EXTRA_SECOND_FIELDS).
  • FaceSample ganhou pose e head com padrão (None/False); quadro com head=True tem present=False e não tem blendshapes — quem medir a boca deve continuar filtrando por present.
  • per_second ganhou o parâmetro opcional params (só para os limiares do balanço). A atividade da boca para fala pode usar jaw, pucker (bico/funil), press, stretch, upper_lip por segundo, que agora vêm na série.
  • Ponto provável de conflito de merge: os dois agentes acrescentam campos ao fim de FaceSecond e uma tupla de campos opcionais; manter as duas listas.