Merge branch 'clipper/expressions' into clipper/integ

This commit is contained in:
Mateuus
2026-11-18 04:19:30 -03:00
7 changed files with 1207 additions and 36 deletions
+65 -8
View File
@@ -167,16 +167,32 @@ class YuNetDetector:
return [(float(f[0]), float(f[1]), float(f[2]), float(f[3]), float(f[14])) for f in faces]
def pose_from_matrix(m: Any) -> tuple[float, float, float]:
"""(yaw, pitch, roll) em graus da matriz 4×4 de transformação facial do MediaPipe (linhas × colunas).
Conferido em quadros reais (sessão 8): pitch DIMINUI quando a cabeça vai para trás (bebendo de lata: −25° contra
~+12° do normal, que olha um pouco para baixo); yaw ±50° = rosto virado de lado; roll ±45° = cabeça deitada.
"""
pitch = math.degrees(math.atan2(float(m[2][1]), float(m[2][2])))
yaw = math.degrees(math.atan2(-float(m[2][0]), math.hypot(float(m[2][1]), float(m[2][2]))))
roll = math.degrees(math.atan2(float(m[1][0]), float(m[0][0])))
return yaw, pitch, roll
class MediaPipeTracker:
"""MediaPipe Face Landmarker em modo VIDEO: 478 pontos + 52 blendshapes. Um por bloco.
"""MediaPipe Face Landmarker em modo VIDEO: 478 pontos + 52 blendshapes + matriz de pose. Um por bloco.
API do mediapipe 1.2.3 (bancada): `from mediapipe.tasks import python` NÃO existe nesta versão — importar os
submódulos. Timestamps têm de crescer sempre dentro do mesmo landmarker.
`detector` (YuNet, opcional): quando o MediaPipe não acha o rosto — streamer de perfil olhando o monitor do lado
(sessão 15, tfue: rosto em só 10 % dos quadros, YuNet em 100 %) —, a caixa da cabeça vira `FaceSample(head=True)`:
sem expressão, mas com posição e tamanho para o corpo (agitação, chegar perto, sair do quadro).
"""
name = "mediapipe"
def __init__(self, model_path: Path):
def __init__(self, model_path: Path, detector: Detector | None = None):
try:
import mediapipe as mp
import numpy as np
@@ -193,8 +209,10 @@ class MediaPipeTracker:
min_face_presence_confidence=0.5,
min_tracking_confidence=0.5,
output_face_blendshapes=True,
output_facial_transformation_matrixes=True, # pose da cabeça (balanço, aceno, cabeça para trás)
)
self._lm = vision.FaceLandmarker.create_from_options(options)
self._detector = detector
self._last_ms = -1
def process(self, t: float, rgb: Any) -> reaction.FaceSample:
@@ -203,11 +221,30 @@ class MediaPipeTracker:
image = self._mp.Image(image_format=self._mp.ImageFormat.SRGB, data=self._np.ascontiguousarray(rgb))
result = self._lm.detect_for_video(image, ms)
if not result.face_landmarks:
return reaction.FaceSample(t, False)
return self._head_only(t, rgb)
xs = [p.x for p in result.face_landmarks[0]]
ys = [p.y for p in result.face_landmarks[0]]
blend = {c.category_name: float(c.score) for c in result.face_blendshapes[0]} if result.face_blendshapes else {}
return reaction.FaceSample(t, True, (min(xs) + max(xs)) / 2, (min(ys) + max(ys)) / 2, max(ys) - min(ys), blend)
matrixes = getattr(result, "facial_transformation_matrixes", None)
pose = pose_from_matrix(matrixes[0]) if matrixes else None
return reaction.FaceSample(t, True, (min(xs) + max(xs)) / 2, (min(ys) + max(ys)) / 2, max(ys) - min(ys), blend,
pose)
def _head_only(self, t: float, rgb: Any) -> reaction.FaceSample:
"""Sem rosto no MediaPipe: a caixa do YuNet (se houver) diz onde está a cabeça. Falha do detector não derruba
o bloco: o quadro fica só sem rosto, como antes."""
if self._detector is None:
return reaction.FaceSample(t, False)
try:
detections = self._detector.detect(self._np.ascontiguousarray(rgb[:, :, ::-1])) # YuNet quer BGR
except Exception as exc: # noqa: BLE001 - OpenCV pode falhar num quadro; o rastreio do rosto segue
log.debug("YuNet falhou no quadro %.2f: %s", t, exc)
return reaction.FaceSample(t, False)
if not detections:
return reaction.FaceSample(t, False)
x, y, w, h, _score = max(detections, key=lambda d: d[4])
height, width = rgb.shape[:2]
return reaction.FaceSample(t, False, (x + w / 2) / width, (y + h / 2) / height, h / height, head=True)
def close(self) -> None:
self._lm.close()
@@ -483,6 +520,8 @@ def to_frame(seconds: list[reaction.FaceSecond], crop: dict) -> list[reaction.Fa
s.cy = crop["y"] + s.cy * crop["h"]
if s.size is not None:
s.size = s.size * crop["h"]
if s.hsize is not None:
s.hsize = s.hsize * crop["h"]
return seconds
@@ -538,7 +577,7 @@ class FaceService:
if backend == OpenSeeFaceTracker.name:
return OpenSeeFaceTracker(self.store.path("osf_landmarks"), self.store.path("osf_detector"))
try:
return MediaPipeTracker(self.store.path("face_landmarker"))
return MediaPipeTracker(self.store.path("face_landmarker"), self._head_detector())
except FaceUnavailable as first:
if backend == MediaPipeTracker.name:
raise # sessão começou no MediaPipe: espera ele voltar em vez de trocar no meio
@@ -547,6 +586,15 @@ class FaceService:
except Exception as exc: # noqa: BLE001 - erro do próprio MediaPipe ao carregar o modelo
raise FaceUnavailable(f"MediaPipe não carregou: {exc}") from exc
def _head_detector(self) -> Detector | None:
"""YuNet para a cabeça quando o MediaPipe perde o rosto; sem ele o rastreio segue como antes (só sem corpo de
perfil)."""
try:
return self._detector_factory()
except FaceUnavailable as exc:
log.info("rastreio sem a caixa da cabeça (YuNet indisponível: %s)", exc)
return None
def session_backend(self, session_id: int) -> str | None:
"""Backend que a série da sessão já usa (None = nenhum bloco rastreado ainda)."""
row = self.e.db.get("SELECT data_json FROM face_track WHERE session_id = ? AND status = 'done' ORDER BY idx LIMIT 1",
@@ -680,7 +728,7 @@ class FaceService:
self._save(sid, idx, "error", {"cam": cam}, msg)
return "error"
# Segundos inteiros cujo início cai no bloco: [ceil(início), ceil(fim)) — blocos vizinhos não se repetem.
seconds = to_frame(reaction.per_second(samples, last - first, start_s=first), crop)
seconds = to_frame(reaction.per_second(samples, last - first, start_s=first, params=self.params), crop)
data = {"cam": cam, "crop": crop, "fps": FPS, "backend": tracker.name, "frames": len(samples),
"ms": int((time.perf_counter() - started) * 1000), "coords": "frame",
"seconds": reaction.seconds_to_json(seconds)}
@@ -779,7 +827,8 @@ class FaceService:
return ""
seconds = self.dense(session["id"], max(0.0, lo - BASELINE_EXTRA_S), hi)
inside = [s for s in seconds if lo <= s.t <= hi]
if not inside or not any(s.smile is not None for s in inside):
# Só a cabeça (de perfil, sem expressão) também rende linha: o corpo diz alguma coisa ao analista.
if not inside or not any(s.smile is not None or (s.head or 0.0) > 0 for s in inside):
return ""
return reaction.summarize(seconds, lo, hi, self.params, relative=False)
@@ -792,16 +841,23 @@ class FaceService:
seconds = self.dense(sid, max(0.0, start - BASELINE_EXTRA_S), end)
signal = reaction.reaction_signal(seconds, params=self.params)
moments = reaction.reaction_moments(seconds, self.params)
body = reaction.body_moments(seconds, self.params)
expressions = reaction.expression_map(seconds, self.params, body)
counts = {r["status"]: r["n"] for r in self.e.db.all(
"SELECT status, COUNT(*) AS n FROM face_track WHERE session_id = ? GROUP BY status", sid)}
total = self.e.db.get("SELECT COUNT(*) AS n FROM segments WHERE session_id = ? AND deleted = 0", sid)["n"]
rows = []
for s, z in zip(seconds, signal):
for s, z, mapped in zip(seconds, signal, expressions):
if s.t < start:
continue
item = s.to_json()
if z is not None:
item["signal"] = round(z, 2)
# Mapa de expressões: a expressão dominante e o movimento do corpo no segundo (ausentes = nada).
if mapped["expr"]:
item["expr"] = mapped["expr"]
if mapped["body"]:
item["body"] = mapped["body"]
rows.append(item)
return {
"sessionId": sid, "enabled": self.enabled, "fps": FPS, "coords": "frame",
@@ -812,6 +868,7 @@ class FaceService:
"fromS": start, "toS": end,
"seconds": rows,
"moments": [m.to_json() for m in moments if start <= m.peak_s <= end],
"body": [b.to_json() for b in body if b.end_s >= start and b.start_s <= end],
}
# ---------- câmera local (YuNet + reaction.locate_cam)