Clipador: mapa de expressões do streamer (expressões novas, pose e corpo)
- Expressões novas dos blendshapes que já vinham do MediaPipe: gargalhada, alegria (no mapa), medo, espanto, nojo, tristeza, tensão e bocejo (que deixou de contar como grito); raiva também por olhos semicerrados + lábios apertados. Canais novos opcionais na série (brow_inner, mouth_frown, squint, press, stretch, upper_lip, pucker), z relativo ao neutro do próprio streamer só com os segundos que têm o campo. - Pose da cabeça pela matriz de transformação facial (yaw/pitch/roll) e balanço/aceno por zigue-zague; YuNet nos quadros sem rosto dá a caixa da cabeça (streamer de perfil). - Corpo mesmo sem expressão: balançando, acenando, agitado, chegou perto e saiu do quadro, sem contar rastreio perdido como movimento. - API /face com expr/body por segundo e lista do corpo; linha do juiz com o corpo; painel com os rótulos novos e o "Mapa de expressões" no modal do corte. - Calibrado nas sessões 7, 8, 11 e 15 (doc/clipador/EXPRESSOES.md); intensidade dos picos inalterada (canais novos só rotulam). Testes em tests/test_expressions.py. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
co-authored by
Claude Opus 5.5
parent
ad36f0faf4
commit
44f78bd483
+65
-8
@@ -167,16 +167,32 @@ class YuNetDetector:
|
||||
return [(float(f[0]), float(f[1]), float(f[2]), float(f[3]), float(f[14])) for f in faces]
|
||||
|
||||
|
||||
def pose_from_matrix(m: Any) -> tuple[float, float, float]:
|
||||
"""(yaw, pitch, roll) em graus da matriz 4×4 de transformação facial do MediaPipe (linhas × colunas).
|
||||
|
||||
Conferido em quadros reais (sessão 8): pitch DIMINUI quando a cabeça vai para trás (bebendo de lata: −25° contra
|
||||
~+12° do normal, que olha um pouco para baixo); yaw ±50° = rosto virado de lado; roll ±45° = cabeça deitada.
|
||||
"""
|
||||
pitch = math.degrees(math.atan2(float(m[2][1]), float(m[2][2])))
|
||||
yaw = math.degrees(math.atan2(-float(m[2][0]), math.hypot(float(m[2][1]), float(m[2][2]))))
|
||||
roll = math.degrees(math.atan2(float(m[1][0]), float(m[0][0])))
|
||||
return yaw, pitch, roll
|
||||
|
||||
|
||||
class MediaPipeTracker:
|
||||
"""MediaPipe Face Landmarker em modo VIDEO: 478 pontos + 52 blendshapes. Um por bloco.
|
||||
"""MediaPipe Face Landmarker em modo VIDEO: 478 pontos + 52 blendshapes + matriz de pose. Um por bloco.
|
||||
|
||||
API do mediapipe 1.2.3 (bancada): `from mediapipe.tasks import python` NÃO existe nesta versão — importar os
|
||||
submódulos. Timestamps têm de crescer sempre dentro do mesmo landmarker.
|
||||
|
||||
`detector` (YuNet, opcional): quando o MediaPipe não acha o rosto — streamer de perfil olhando o monitor do lado
|
||||
(sessão 15, tfue: rosto em só 10 % dos quadros, YuNet em 100 %) —, a caixa da cabeça vira `FaceSample(head=True)`:
|
||||
sem expressão, mas com posição e tamanho para o corpo (agitação, chegar perto, sair do quadro).
|
||||
"""
|
||||
|
||||
name = "mediapipe"
|
||||
|
||||
def __init__(self, model_path: Path):
|
||||
def __init__(self, model_path: Path, detector: Detector | None = None):
|
||||
try:
|
||||
import mediapipe as mp
|
||||
import numpy as np
|
||||
@@ -193,8 +209,10 @@ class MediaPipeTracker:
|
||||
min_face_presence_confidence=0.5,
|
||||
min_tracking_confidence=0.5,
|
||||
output_face_blendshapes=True,
|
||||
output_facial_transformation_matrixes=True, # pose da cabeça (balanço, aceno, cabeça para trás)
|
||||
)
|
||||
self._lm = vision.FaceLandmarker.create_from_options(options)
|
||||
self._detector = detector
|
||||
self._last_ms = -1
|
||||
|
||||
def process(self, t: float, rgb: Any) -> reaction.FaceSample:
|
||||
@@ -203,11 +221,30 @@ class MediaPipeTracker:
|
||||
image = self._mp.Image(image_format=self._mp.ImageFormat.SRGB, data=self._np.ascontiguousarray(rgb))
|
||||
result = self._lm.detect_for_video(image, ms)
|
||||
if not result.face_landmarks:
|
||||
return reaction.FaceSample(t, False)
|
||||
return self._head_only(t, rgb)
|
||||
xs = [p.x for p in result.face_landmarks[0]]
|
||||
ys = [p.y for p in result.face_landmarks[0]]
|
||||
blend = {c.category_name: float(c.score) for c in result.face_blendshapes[0]} if result.face_blendshapes else {}
|
||||
return reaction.FaceSample(t, True, (min(xs) + max(xs)) / 2, (min(ys) + max(ys)) / 2, max(ys) - min(ys), blend)
|
||||
matrixes = getattr(result, "facial_transformation_matrixes", None)
|
||||
pose = pose_from_matrix(matrixes[0]) if matrixes else None
|
||||
return reaction.FaceSample(t, True, (min(xs) + max(xs)) / 2, (min(ys) + max(ys)) / 2, max(ys) - min(ys), blend,
|
||||
pose)
|
||||
|
||||
def _head_only(self, t: float, rgb: Any) -> reaction.FaceSample:
|
||||
"""Sem rosto no MediaPipe: a caixa do YuNet (se houver) diz onde está a cabeça. Falha do detector não derruba
|
||||
o bloco: o quadro fica só sem rosto, como antes."""
|
||||
if self._detector is None:
|
||||
return reaction.FaceSample(t, False)
|
||||
try:
|
||||
detections = self._detector.detect(self._np.ascontiguousarray(rgb[:, :, ::-1])) # YuNet quer BGR
|
||||
except Exception as exc: # noqa: BLE001 - OpenCV pode falhar num quadro; o rastreio do rosto segue
|
||||
log.debug("YuNet falhou no quadro %.2f: %s", t, exc)
|
||||
return reaction.FaceSample(t, False)
|
||||
if not detections:
|
||||
return reaction.FaceSample(t, False)
|
||||
x, y, w, h, _score = max(detections, key=lambda d: d[4])
|
||||
height, width = rgb.shape[:2]
|
||||
return reaction.FaceSample(t, False, (x + w / 2) / width, (y + h / 2) / height, h / height, head=True)
|
||||
|
||||
def close(self) -> None:
|
||||
self._lm.close()
|
||||
@@ -428,6 +465,8 @@ def to_frame(seconds: list[reaction.FaceSecond], crop: dict) -> list[reaction.Fa
|
||||
s.cy = crop["y"] + s.cy * crop["h"]
|
||||
if s.size is not None:
|
||||
s.size = s.size * crop["h"]
|
||||
if s.hsize is not None:
|
||||
s.hsize = s.hsize * crop["h"]
|
||||
return seconds
|
||||
|
||||
|
||||
@@ -479,7 +518,7 @@ class FaceService:
|
||||
if backend == OpenSeeFaceTracker.name:
|
||||
return OpenSeeFaceTracker(self.store.path("osf_landmarks"), self.store.path("osf_detector"))
|
||||
try:
|
||||
return MediaPipeTracker(self.store.path("face_landmarker"))
|
||||
return MediaPipeTracker(self.store.path("face_landmarker"), self._head_detector())
|
||||
except FaceUnavailable as first:
|
||||
if backend == MediaPipeTracker.name:
|
||||
raise # sessão começou no MediaPipe: espera ele voltar em vez de trocar no meio
|
||||
@@ -488,6 +527,15 @@ class FaceService:
|
||||
except Exception as exc: # noqa: BLE001 - erro do próprio MediaPipe ao carregar o modelo
|
||||
raise FaceUnavailable(f"MediaPipe não carregou: {exc}") from exc
|
||||
|
||||
def _head_detector(self) -> Detector | None:
|
||||
"""YuNet para a cabeça quando o MediaPipe perde o rosto; sem ele o rastreio segue como antes (só sem corpo de
|
||||
perfil)."""
|
||||
try:
|
||||
return self._detector_factory()
|
||||
except FaceUnavailable as exc:
|
||||
log.info("rastreio sem a caixa da cabeça (YuNet indisponível: %s)", exc)
|
||||
return None
|
||||
|
||||
def session_backend(self, session_id: int) -> str | None:
|
||||
"""Backend que a série da sessão já usa (None = nenhum bloco rastreado ainda)."""
|
||||
row = self.e.db.get("SELECT data_json FROM face_track WHERE session_id = ? AND status = 'done' ORDER BY idx LIMIT 1",
|
||||
@@ -612,7 +660,7 @@ class FaceService:
|
||||
self._save(sid, idx, "error", {"cam": cam}, msg)
|
||||
return "error"
|
||||
# Segundos inteiros cujo início cai no bloco: [ceil(início), ceil(fim)) — blocos vizinhos não se repetem.
|
||||
seconds = to_frame(reaction.per_second(samples, last - first, start_s=first), crop)
|
||||
seconds = to_frame(reaction.per_second(samples, last - first, start_s=first, params=self.params), crop)
|
||||
data = {"cam": cam, "crop": crop, "fps": FPS, "backend": tracker.name, "frames": len(samples),
|
||||
"ms": int((time.perf_counter() - started) * 1000), "coords": "frame",
|
||||
"seconds": reaction.seconds_to_json(seconds)}
|
||||
@@ -694,7 +742,8 @@ class FaceService:
|
||||
return ""
|
||||
seconds = self.dense(session["id"], max(0.0, lo - BASELINE_EXTRA_S), hi)
|
||||
inside = [s for s in seconds if lo <= s.t <= hi]
|
||||
if not inside or not any(s.smile is not None for s in inside):
|
||||
# Só a cabeça (de perfil, sem expressão) também rende linha: o corpo diz alguma coisa ao analista.
|
||||
if not inside or not any(s.smile is not None or (s.head or 0.0) > 0 for s in inside):
|
||||
return ""
|
||||
return reaction.summarize(seconds, lo, hi, self.params, relative=False)
|
||||
|
||||
@@ -707,16 +756,23 @@ class FaceService:
|
||||
seconds = self.dense(sid, max(0.0, start - BASELINE_EXTRA_S), end)
|
||||
signal = reaction.reaction_signal(seconds, params=self.params)
|
||||
moments = reaction.reaction_moments(seconds, self.params)
|
||||
body = reaction.body_moments(seconds, self.params)
|
||||
expressions = reaction.expression_map(seconds, self.params, body)
|
||||
counts = {r["status"]: r["n"] for r in self.e.db.all(
|
||||
"SELECT status, COUNT(*) AS n FROM face_track WHERE session_id = ? GROUP BY status", sid)}
|
||||
total = self.e.db.get("SELECT COUNT(*) AS n FROM segments WHERE session_id = ? AND deleted = 0", sid)["n"]
|
||||
rows = []
|
||||
for s, z in zip(seconds, signal):
|
||||
for s, z, mapped in zip(seconds, signal, expressions):
|
||||
if s.t < start:
|
||||
continue
|
||||
item = s.to_json()
|
||||
if z is not None:
|
||||
item["signal"] = round(z, 2)
|
||||
# Mapa de expressões: a expressão dominante e o movimento do corpo no segundo (ausentes = nada).
|
||||
if mapped["expr"]:
|
||||
item["expr"] = mapped["expr"]
|
||||
if mapped["body"]:
|
||||
item["body"] = mapped["body"]
|
||||
rows.append(item)
|
||||
return {
|
||||
"sessionId": sid, "enabled": self.enabled, "fps": FPS, "coords": "frame",
|
||||
@@ -727,6 +783,7 @@ class FaceService:
|
||||
"fromS": start, "toS": end,
|
||||
"seconds": rows,
|
||||
"moments": [m.to_json() for m in moments if start <= m.peak_s <= end],
|
||||
"body": [b.to_json() for b in body if b.end_s >= start and b.start_s <= end],
|
||||
}
|
||||
|
||||
# ---------- câmera local (YuNet + reaction.locate_cam)
|
||||
|
||||
Reference in New Issue
Block a user