import assert from "node:assert/strict"; import { describe, it } from "node:test"; import { visemeAt, speak } from "../src/lipsync"; import { evaluate, startOf, validateTimeline } from "../src/motion"; import { EXPRESSION_NAMES, blendFace, faceOf } from "../src/rig"; const words = [ { text: "Mamãe", startS: 0.2, endS: 0.7 }, { text: "não", startS: 0.8, endS: 1.2 }, { text: "ouviu", startS: 1.3, endS: 1.8 }, ]; describe("rig: expressões como parâmetros", () => { it("toda expressão pronta vira parâmetros válidos e se mistura com outra", () => { for (const name of EXPRESSION_NAMES) assert.ok(Number.isFinite(faceOf(name).smile), name); const half = blendFace(faceOf("sad"), faceOf("happy"), 0.5); assert.ok(half.smile > faceOf("sad").smile && half.smile < faceOf("happy").smile); }); it("ajuste fino por cima de uma expressão", () => { assert.equal(faceOf("neutral", { smile: 0.8, browL: { y: -6 } }).browL.y, -6); }); }); describe("linha do tempo", () => { it("cue = palavra falada; atP = fração do trecho", () => { assert.equal(startOf({ do: "nod", cue: "nao" }, 4, words), 0.8); assert.equal(startOf({ do: "nod", atP: 0.5 }, 4, words), 2); assert.equal(startOf({ do: "nod", cue: "inexistente", at: 1 }, 4, words), 1); }); it("andar chega ao destino e vira para o lado certo; é determinístico", () => { const actor = { x: 0.7, timeline: [{ do: "walk" as const, at: 0, to: 0.3, dur: 1 }] }; const end = evaluate(actor, 2, 4); assert.ok(Math.abs(end.x - 0.3) < 1e-9); assert.equal(end.flip, true); assert.deepEqual(evaluate(actor, 0.5, 4), evaluate(actor, 0.5, 4)); }); it("trocar expressão é suave e permanente", () => { const actor = { x: 0.5, timeline: [{ do: "express" as const, at: 1, expression: "happy", dur: 0.4 }] }; const mid = evaluate(actor, 1.2, 4).face.smile; assert.ok(mid > faceOf("neutral").smile && mid < faceOf("happy").smile); assert.ok(Math.abs(evaluate(actor, 3, 4).face.smile - faceOf("happy").smile) < 1e-9); }); it("pular sobe e volta ao chão", () => { const actor = { x: 0.5, timeline: [{ do: "jump" as const, at: 0, dur: 1 }] }; assert.ok(evaluate(actor, 0.5, 4).dy < -0.05); assert.equal(evaluate(actor, 2, 4).dy, 0); }); it("valida a linha do tempo", () => { assert.deepEqual(validateTimeline([{ do: "walk", to: 0.3 }]), []); assert.match(validateTimeline([{ do: "voar" }]).join(), /do:/); }); }); describe("fala: boca pelas letras, expressão mantida", () => { it("m fecha, a abre, o arredonda; fora das palavras fica fechada", () => { assert.equal(visemeAt(words, 0.21).open, 0); // "M" do começo assert.ok(visemeAt([{ text: "aaa", startS: 0, endS: 1 }], 0.5).open > 0.7); assert.ok(visemeAt([{ text: "oo", startS: 0, endS: 1 }], 0.5).round > 0.6); assert.equal(visemeAt(words, 3).open, 0); }); it("falando bravo continua bravo (sobrancelhas e cantos da boca)", () => { const angry = faceOf("angry"); const talking = speak(angry, visemeAt([{ text: "aaa", startS: 0, endS: 1 }], 0.5)); assert.equal(talking.browL.tilt, angry.browL.tilt); assert.equal(talking.smile, angry.smile); assert.ok(talking.mouthOpen > 0.5); }); it("a ação falar vai da palavra de início até o fim da palavra final", () => { const actor = { x: 0.5, timeline: [{ do: "talk" as const, cue: "mamae", cueEnd: "ouviu" }] }; assert.ok(evaluate(actor, 0.45, 4, 1, { words }).face.mouthOpen > 0.2); assert.ok(evaluate(actor, 2.5, 4, 1, { words }).face.mouthOpen < 0.05); }); it("com o volume do áudio, a boca fecha na pausa", () => { const env = { fps: 10, values: Array.from({ length: 20 }, (_, i) => (i === 5 ? 0 : 0.9)) }; const loud = visemeAt([{ text: "aaaaaaaaaa", startS: 0, endS: 2 }], 0.25, env).open; const pause = visemeAt([{ text: "aaaaaaaaaa", startS: 0, endS: 2 }], 0.55, env).open; assert.ok(loud > 0.5 && pause < 0.2); }); });