Cartoon: rig, movimento e lip sync dos personagens
- cartoon/src/rig.ts, motion.ts e lipsync.ts: esqueleto do personagem, curvas de movimento e sincronia labial no estilo Cartoon (Remotion) - CharacterFigure/CharacterCard/Shot/overlays e spec atualizados - Painel: estúdio de personagens e montagem cartoon ajustados - Documentação em doc/cartoon/animacao.md e personagens.md; skill atualizada Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -104,6 +104,12 @@ const PROFESSIONS: [RegExp, { top: CharacterLook["top"]; caption: string }][] =
|
||||
[/bombeir/, { top: { style: "uniform", color: "#c8352f", accent: "#f2c230" }, caption: "Bombeiro" }],
|
||||
[/militar|soldad/, { top: { style: "uniform", color: "#5b6b3a", accent: "#3a4a2a" }, caption: "Militar" }],
|
||||
[/professor/, { top: { style: "jacket", color: "#7a5232", accent: "#e9ecef" }, caption: "Professor" }],
|
||||
[/tecnico|treinador/, { top: { style: "jacket", color: "#1f3a7a", accent: "#f2c230" }, caption: "Técnico" }],
|
||||
[/porteiro|seguranca|vigia/, { top: { style: "jacket", color: "#2f4f86", accent: "#e9ecef" }, caption: "Porteiro" }],
|
||||
[/merendeir|cozinheir/, { top: { style: "shirt", color: "#c85a5a" }, caption: "Merendeira" }],
|
||||
[/roupeiro/, { top: { style: "jacket", color: "#56704a", accent: "#e9ecef" }, caption: "Roupeiro" }],
|
||||
[/obra|pedreiro|operario/, { top: { style: "shirt", color: "#56704a" }, caption: "Operário" }],
|
||||
[/empresari|executiv|advogad/, { top: { style: "jacket", color: "#3a3f4f", accent: "#e9ecef" }, caption: "Empresário" }],
|
||||
];
|
||||
|
||||
/** Aparência e legenda a partir de uma descrição curta ("Otávio, 58, engenheiro, barba grisalha, óculos"). */
|
||||
@@ -138,6 +144,26 @@ export function describeToLook(description: string): { look: CharacterLook; capt
|
||||
bottom: { style: /\b(short|bermuda)\b/.test(t) || child ? "shorts" : /\bsaia\b/.test(t) ? "skirt" : "pants", color: female && /saia/.test(t) ? top.color : "#2c3346" },
|
||||
shoes: child ? "#f2f2f2" : "#1d1d24",
|
||||
};
|
||||
// Detalhe de ilustração: nariz, pálpebra, rugas, formato da cabeça, barriga e acessórios pela descrição.
|
||||
look.nose = /narigud|nariz grande|nariz comprido/.test(t) ? "long" : /nariz largo|nariz de batata/.test(t) ? "wide" : old && !female ? "curve" : child ? "button" : female ? "button" : "round";
|
||||
look.lids = Math.min(0.6, (old ? 0.3 : 0.1) + (/cansad|sonolent|olhar caido|desconfiad/.test(t) ? 0.2 : 0));
|
||||
look.wrinkles = age >= 60 || /idos|velh/.test(t) ? 0.7 : age >= 45 ? 0.4 : old ? 0.6 : 0;
|
||||
look.head = /rosto quadrado|queixo quadrado/.test(t) ? "square" : /rosto fino|rosto comprido/.test(t) ? "oval" : look.build === "heavy" ? "wide" : "round";
|
||||
if (/barrig|panca/.test(t) || (look.build === "heavy" && age >= 40 && !female)) look.belly = true;
|
||||
const acc = new Set<NonNullable<CharacterLook["accessories"]>[number]>();
|
||||
if (/tecnico|treinador|juiz|arbitr|professor de educacao fisica/.test(t)) { acc.add("whistle"); acc.add("watch"); }
|
||||
if (/obra|pedreiro|operario|mestre de obra/.test(t)) { acc.add("helmet"); acc.add("vest"); look.accessoryColor = "#ff8a2a"; }
|
||||
if (/porteiro|seguranca|vigia|crach/.test(t)) acc.add("badge");
|
||||
if (/merendeir|cozinheir|padeir|avental/.test(t)) { acc.add("apron"); look.accessoryColor ??= "#f4f1e8"; }
|
||||
if (/roupeiro|massagista|toalha/.test(t)) acc.add("towel");
|
||||
if (/empresari|executiv|advogad|gerente|gravata/.test(t)) { acc.add("tie"); acc.add("watch"); }
|
||||
if (/cachecol|lenco/.test(t)) acc.add("scarf");
|
||||
if (/fone|locutor|radialista|atendente/.test(t)) acc.add("headset");
|
||||
if (/correntao|corrente de ouro|cordao/.test(t)) acc.add("chain");
|
||||
if (/capacete/.test(t)) acc.add("helmet");
|
||||
if (/colete/.test(t)) acc.add("vest");
|
||||
if (/relogio/.test(t)) acc.add("watch");
|
||||
if (acc.size) look.accessories = [...acc];
|
||||
const caption = [profession?.caption, age > 0 ? `${age} anos` : ""].filter(Boolean).join(" · ") || undefined;
|
||||
return { look, caption };
|
||||
}
|
||||
|
||||
@@ -1,7 +1,7 @@
|
||||
import assert from "node:assert/strict";
|
||||
import { describe, it } from "node:test";
|
||||
import { describeToLook } from "./characters";
|
||||
import { cartoonKey, cartoonSpec, planCartoon, wordTimings } from "./montage-cartoon";
|
||||
import { cartoonKey, cartoonSpec, planCartoon, timelineFor, wordTimings } from "./montage-cartoon";
|
||||
|
||||
const shot = (narration: string, onScreen = "", index = 0) => ({ index, narration, onScreen, visualHint: "" });
|
||||
|
||||
@@ -52,7 +52,9 @@ describe("estilo Cartoon: plano por regras", () => {
|
||||
const actor = plan.actors?.find((a) => a.kind === "person");
|
||||
assert.ok(actor && actor.kind === "person" && actor.character);
|
||||
assert.equal(actor.character!.look.hair.style, "bald");
|
||||
assert.equal(actor.expression, "scared");
|
||||
// Começa neutro; o medo entra quando a voz diz "medo" (linha do tempo).
|
||||
assert.equal(actor.expression, "neutral");
|
||||
assert.deepEqual(actor.timeline?.find((x) => x.do === "express"), { do: "express", cue: "medo", expression: "scared" });
|
||||
assert.equal(plan.palette, "sepia");
|
||||
assert.equal(plan.light, "spot");
|
||||
});
|
||||
@@ -64,6 +66,15 @@ describe("estilo Cartoon: plano por regras", () => {
|
||||
assert.equal(describeToLook("menino de 9 anos, cabelo cacheado").look.height, 0.78);
|
||||
});
|
||||
|
||||
it("linha do tempo pelo texto: emoção e verbos na palavra; fala entre aspas na boca", () => {
|
||||
const tl = timelineFor("Ele ficou com medo, correu e caiu. Depois gritou: “Socorro, alguém me ajuda!”", 0.5);
|
||||
assert.deepEqual(tl.find((a) => a.do === "express"), { do: "express", cue: "medo", expression: "scared" });
|
||||
assert.equal(tl.find((a) => a.do === "run")?.cue, "correu");
|
||||
assert.equal(tl.find((a) => a.do === "fall")?.cue, "caiu");
|
||||
const talk = tl.find((a) => a.do === "talk");
|
||||
assert.deepEqual([talk?.cue, talk?.cueEnd], ["socorro", "ajuda"]);
|
||||
});
|
||||
|
||||
it("a chave muda com a cena, a duração e o áudio", () => {
|
||||
const plan = planCartoon(shot("A rua está escura."));
|
||||
const k = cartoonKey(plan, 3.2, "abc");
|
||||
|
||||
@@ -8,8 +8,9 @@ import { spawn } from "node:child_process";
|
||||
import fs from "node:fs";
|
||||
import path from "node:path";
|
||||
import type { CharacterLook, Expression, Pose } from "cenaforge-cartoon/character";
|
||||
import type { Action } from "cenaforge-cartoon/motion";
|
||||
import type { IconId, ShotSpec, Word } from "cenaforge-cartoon/spec";
|
||||
import type { JobHook } from "./montage-ffmpeg";
|
||||
import { ffmpegBin, type JobHook } from "./montage-ffmpeg";
|
||||
import { transcribe } from "./voice";
|
||||
|
||||
export type CartoonIcon = IconId;
|
||||
@@ -93,6 +94,75 @@ function expressionOf(text: string): Expression {
|
||||
return "neutral";
|
||||
}
|
||||
|
||||
/** 1ª palavra do trecho que casa com a regra (é o "cue": a ação começa quando a voz diz essa palavra). */
|
||||
function cueOf(text: string, re: RegExp): string | null {
|
||||
const m = re.exec(text);
|
||||
if (!m) return null;
|
||||
return m[0].trim().split(/\s+/)[0].replace(/[^a-z0-9]/g, "").slice(0, 12) || null;
|
||||
}
|
||||
|
||||
/** Verbos e emoções do texto → linha do tempo do personagem (cada ação começa na palavra que a provocou). */
|
||||
const MOVES: { re: RegExp; act: (cue: string, x: number) => Action[] }[] = [
|
||||
{ re: /\b(andou|caminhou|foi ate|se aproximou|chegou perto)\b/, act: (cue, x) => [{ do: "walk", cue, to: x < 0.5 ? x + 0.2 : x - 0.2 }] },
|
||||
{ re: /\b(correu|fugiu|disparou|saiu correndo)\b/, act: (cue, x) => [{ do: "run", cue, to: x < 0.5 ? x + 0.3 : x - 0.3 }] },
|
||||
{ re: /\b(pulou|saltou)\b/, act: (cue) => [{ do: "jump", cue }] },
|
||||
{ re: /\b(caiu|desmaiou|tropecou|despencou)\b/, act: (cue) => [{ do: "fall", cue }] },
|
||||
{ re: /\b(sentou|se sentou)\b/, act: (cue) => [{ do: "sit", cue }] },
|
||||
{ re: /\b(levantou|se levantou|ficou de pe)\b/, act: (cue) => [{ do: "stand_up", cue }] },
|
||||
{ re: /\b(balancou a cabeca|negou|disse que nao)\b/, act: (cue) => [{ do: "shake_head", cue }] },
|
||||
{ re: /\b(concordou|assentiu|acenou com a cabeca)\b/, act: (cue) => [{ do: "nod", cue }] },
|
||||
{ re: /\b(tremia|tremeu|tremendo|arrepiou|arrepio)\b/, act: (cue) => [{ do: "tremble", cue, dur: 1.4 }] },
|
||||
{ re: /\b(riu|gargalhou|caiu na risada|rindo)\b/, act: (cue) => [{ do: "express", cue, expression: "laugh" }, { do: "bounce", cue, times: 3 }] },
|
||||
{ re: /\b(chorou|chorando|lagrimas)\b/, act: (cue) => [{ do: "express", cue, expression: "cry" }] },
|
||||
{ re: /\b(olhou para os lados|olhou em volta|procurou)\b/, act: (cue) => [{ do: "look", cue, dir: "left" }, { do: "shake_head", cue, times: 1, dur: 1.2 }] },
|
||||
{ re: /\b(olhou para cima|olhou pro ceu)\b/, act: (cue) => [{ do: "look", cue, dir: "up" }] },
|
||||
{ re: /\b(virou|deu as costas)\b/, act: (cue) => [{ do: "turn", cue }] },
|
||||
{ re: /\b(pensou|lembrou|imaginou|calculou|planejou)\b/, act: (cue) => [{ do: "pose", cue, pose: "think" }] },
|
||||
{ re: /\b(acenou|tchau|chamou)\b/, act: (cue) => [{ do: "wave", cue }] },
|
||||
{ re: /\b(apontou|mostrou)\b/, act: (cue) => [{ do: "pose", cue, pose: "point" }] },
|
||||
{ re: /\b(cruzou os bracos)\b/, act: (cue) => [{ do: "pose", cue, pose: "cross_arms" }] },
|
||||
{ re: /\b(desesper|mao na cabeca|nao acreditou)\w*/, act: (cue) => [{ do: "pose", cue, pose: "facepalm" }] },
|
||||
{ re: /\b(comemorou|vibrou|venceu|conseguiu)\b/, act: (cue) => [{ do: "pose", cue, pose: "celebrate" }, { do: "bounce", cue, times: 2 }] },
|
||||
{ re: /\b(de repente|susto|assustou)\b/, act: (cue) => [{ do: "emote", cue, text: "!" }] },
|
||||
{ re: /\b(por que|sera que|duvida|estranh)\w*/, act: (cue) => [{ do: "emote", cue, text: "?" }] },
|
||||
];
|
||||
const EMOTIONS: { re: RegExp; expression: Expression }[] = [
|
||||
{ re: /\b(medo|apavorad|assust|pavor|terror|socorro)\w*/, expression: "scared" },
|
||||
{ re: /\b(furios|grit)\w*/, expression: "furious" },
|
||||
{ re: /\b(raiva|bravo|brava|irritad)\w*/, expression: "angry" },
|
||||
{ re: /\b(de repente|surpres|choc|inacredit)\w*/, expression: "surprised" },
|
||||
{ re: /\b(trist|perdeu|saudade|sozinh)\w*/, expression: "sad" },
|
||||
{ re: /\b(preocup|problema|nervos|ansios)\w*/, expression: "worried" },
|
||||
{ re: /\b(desconfi|suspeit)\w*/, expression: "suspicious" },
|
||||
{ re: /\b(feliz|alegr|sorri)\w*/, expression: "happy" },
|
||||
];
|
||||
|
||||
/** Fala entre aspas ou depois de travessão: [1ª palavra, última palavra, texto] (normalizados). */
|
||||
function quoteOf(original: string): { first: string; last: string; text: string } | null {
|
||||
const m = /[“"«]([^”"»]{3,})[”"»]|(?:^|\s)[—–-]\s*([^—–\n]{3,})/.exec(original);
|
||||
const said = (m?.[1] ?? m?.[2] ?? "").trim();
|
||||
if (!said) return null;
|
||||
const ws = norm(said).split(/[^a-z0-9]+/).filter(Boolean);
|
||||
return ws.length ? { first: ws[0], last: ws[ws.length - 1], text: said } : null;
|
||||
}
|
||||
|
||||
/** Linha do tempo do personagem principal do trecho: emoção na palavra, verbos viram movimento, fala na boca. */
|
||||
export function timelineFor(original: string, x: number): Action[] {
|
||||
const text = norm(original);
|
||||
const out: Action[] = [];
|
||||
for (const e of EMOTIONS) {
|
||||
const cue = cueOf(text, e.re);
|
||||
if (cue) { out.push({ do: "express", cue, expression: e.expression }); break; }
|
||||
}
|
||||
for (const m of MOVES) {
|
||||
const cue = cueOf(text, m.re);
|
||||
if (cue) out.push(...m.act(cue, x));
|
||||
}
|
||||
const quote = quoteOf(original);
|
||||
if (quote) out.push({ do: "talk", cue: quote.first, cueEnd: quote.last, text: quote.text });
|
||||
return out.slice(0, 12);
|
||||
}
|
||||
|
||||
function poseOf(text: string, hasProp: boolean): Pose {
|
||||
if (/acen|tchau|chamou/.test(text)) return "wave";
|
||||
if (/comemor|venceu|gritou de alegria/.test(text)) return "arms_up";
|
||||
@@ -137,7 +207,14 @@ export function planCartoon(shot: ShotText, ctx: PlanContext = {}, variant = 0):
|
||||
actors.push({
|
||||
kind: "person", x: castIn.length > 1 ? (i === 0 ? 0.3 : 0.7) : props.length ? 0.34 : 0.5, y: 0.74, enterS: 0.15 + i * 0.3,
|
||||
character: { name: c.name, caption: i === 0 && shot.index === 0 ? c.caption : undefined, look: c.look },
|
||||
expression: expressionOf(text), pose: i === 0 ? poseOf(text, props.length > 0) : "stand",
|
||||
// Começa neutro e a emoção/movimento entram na palavra (linha do tempo); sem gatilho no texto, fica a
|
||||
// expressão geral do trecho desde o início.
|
||||
expression: timelineFor(original, 0.5).some((a) => a.do === "express") ? "neutral" : expressionOf(text),
|
||||
pose: i === 0 ? poseOf(text, props.length > 0) : "stand",
|
||||
...(i === 0 ? { timeline: timelineFor(original, castIn.length > 1 ? 0.3 : props.length ? 0.34 : 0.5) } : {}),
|
||||
// Enquadramento: de perto quando fala; meio corpo sozinho em cena; corpo inteiro com mais gente/objetos.
|
||||
framing: i === 0 && timelineFor(original, 0.5).some((a) => a.do === "talk") && castIn.length === 1 ? "close"
|
||||
: castIn.length === 1 && !crowd && props.length === 0 ? "medium" : "full",
|
||||
item: i === 0 && props.length === 1 && ["phone", "fuel", "battery", "money", "bulb"].includes(props[0].icon) ? props[0].icon : undefined,
|
||||
flip: i === 1,
|
||||
});
|
||||
@@ -239,8 +316,39 @@ export async function wordTimings(input: { repoRoot: string; audio: string; spok
|
||||
}
|
||||
|
||||
/** Monta o spec completo de um trecho (o que o render recebe). */
|
||||
export function cartoonSpec(scene: CartoonScene, durationS: number, words: CartoonWord[]): CartoonSpec {
|
||||
return { schemaVersion: 1, width: 1080, height: 1920, fps: 30, durationS: Math.round(durationS * 1000) / 1000, ...scene, words };
|
||||
export function cartoonSpec(scene: CartoonScene, durationS: number, words: CartoonWord[], audioEnv?: ShotSpec["audioEnv"]): CartoonSpec {
|
||||
return { schemaVersion: 1, width: 1080, height: 1920, fps: 30, durationS: Math.round(durationS * 1000) / 1000, ...scene, words, ...(audioEnv ? { audioEnv } : {}) };
|
||||
}
|
||||
|
||||
/**
|
||||
* Volume do áudio quadro a quadro (0–1, normalizado pelo percentil 95): a boca fecha nas pausas e abre nas
|
||||
* sílabas fortes. Lê o áudio em mono 8 kHz pelo FFmpeg. Sem FFmpeg ou com erro, devolve undefined (a boca
|
||||
* segue só pelas palavras).
|
||||
*/
|
||||
export async function audioEnvelope(file: string, fps = 30): Promise<ShotSpec["audioEnv"]> {
|
||||
try {
|
||||
const pcm = await new Promise<Buffer>((resolve, reject) => {
|
||||
const child = spawn(ffmpegBin("ffmpeg"), ["-v", "error", "-i", file, "-ac", "1", "-ar", "8000", "-f", "s16le", "-"], { windowsHide: true });
|
||||
const chunks: Buffer[] = [];
|
||||
child.stdout.on("data", (d: Buffer) => chunks.push(d));
|
||||
child.on("error", reject);
|
||||
child.on("close", (code) => (code === 0 ? resolve(Buffer.concat(chunks)) : reject(new Error(`ffmpeg ${code}`))));
|
||||
});
|
||||
const samples = new Int16Array(pcm.buffer, pcm.byteOffset, Math.floor(pcm.length / 2));
|
||||
const per = Math.round(8000 / fps);
|
||||
const rms: number[] = [];
|
||||
for (let i = 0; i < samples.length; i += per) {
|
||||
let sum = 0;
|
||||
const end = Math.min(samples.length, i + per);
|
||||
for (let j = i; j < end; j++) sum += (samples[j] / 32768) ** 2;
|
||||
rms.push(Math.sqrt(sum / Math.max(1, end - i)));
|
||||
}
|
||||
const sorted = [...rms].sort((a, b) => a - b);
|
||||
const ref = sorted[Math.floor(sorted.length * 0.95)] || 1;
|
||||
return { fps, values: rms.map((v) => Math.round(Math.min(1, v / ref) * 100) / 100) };
|
||||
} catch {
|
||||
return undefined;
|
||||
}
|
||||
}
|
||||
|
||||
/**
|
||||
|
||||
@@ -16,7 +16,7 @@ import { LAST_PAD_S, PAD_S, buildCredits, buildSegment, concatSegments, ffmpegBi
|
||||
import { downloadImage, searchFirst } from "./image-search";
|
||||
import { DOC2D_TEMPLATES, planScene, planShot, planShot3d, renderGodotScene, sceneKey, scriptEntities, type Doc2DScene } from "./montage-godot";
|
||||
import { getCast } from "./characters";
|
||||
import { cartoonKey, cartoonSpec, planCartoon, renderCartoonShots, wordTimings, type CartoonScene, type PlanContext } from "./montage-cartoon";
|
||||
import { audioEnvelope, cartoonKey, cartoonSpec, planCartoon, renderCartoonShots, wordTimings, type CartoonScene, type PlanContext } from "./montage-cartoon";
|
||||
import { listLibrary, paramsFor } from "./scene-library";
|
||||
import { killTree } from "./proc";
|
||||
import { parseScript } from "./script-doc";
|
||||
@@ -289,7 +289,9 @@ async function renderCartoonInternal(ep: EpisodeView, montage: Montage, shots: M
|
||||
const words = montage.captions
|
||||
? await wordTimings({ repoRoot: REPO_ROOT, audio: shot.audio.file, spoken: shot.spoken, durationS: duration, scene, log })
|
||||
: [];
|
||||
jobs.push({ shot, scene, duration, spec: cartoonSpec(scene, duration, words) });
|
||||
// Volume do áudio quadro a quadro: a boca de quem fala fecha nas pausas e abre nas sílabas fortes.
|
||||
const env = await audioEnvelope(path.join(REPO_ROOT, shot.audio.file));
|
||||
jobs.push({ shot, scene, duration, spec: cartoonSpec(scene, duration, words, env) });
|
||||
}
|
||||
const files = await renderCartoonShots({
|
||||
repoRoot: REPO_ROOT, specDir: path.join(storyDir(ep.story_id), "cartoon"), outDir: path.join(OUTPUT_DIR, "cartoon", `${ep.story_id}-${ep.file_key}`),
|
||||
|
||||
@@ -52,7 +52,7 @@ export function buildPrompt(input: { kind: AgentKind; provider: Provider; reques
|
||||
branches: "Leia SÓ: `doc/roteiro/comum.md`, `doc/roteiro/ficcao.md` e a pasta da história; para a cena, use o script `new_scene.py` indicado abaixo. Não carregue a skill inteira.",
|
||||
godot: "Leia SÓ: `doc/godot/cenas.md` e `doc/godot/api.md` (assinaturas das peças e cenas; NÃO leia os .gd inteiros de outras cenas). Não carregue a skill `cenaforge`.",
|
||||
scene: "Siga a skill `cenaforge` (.claude/skills/cenaforge/SKILL.md): leia só as seções que a tarefa pedir.",
|
||||
character: "Leia SÓ: `doc/cartoon/personagens.md`. Não carregue a skill `cenaforge`.",
|
||||
character: "Leia SÓ: `doc/cartoon/personagens.md` (e `doc/cartoon/animacao.md` se o pedido falar de expressão ou movimento). Não carregue a skill `cenaforge`.",
|
||||
free: "Siga o CLAUDE.md; consulte a skill `cenaforge` (.claude/skills/cenaforge/SKILL.md) só no que a tarefa pedir.",
|
||||
};
|
||||
const lines: (string | null)[] = [
|
||||
|
||||
Reference in New Issue
Block a user