diff --git a/.claude/skills/cenaforge/CHANGELOG.md b/.claude/skills/cenaforge/CHANGELOG.md index a8957ea..3fbee5c 100644 --- a/.claude/skills/cenaforge/CHANGELOG.md +++ b/.claude/skills/cenaforge/CHANGELOG.md @@ -7,6 +7,34 @@ Versão semântica da **skill** (não do projeto): Mantido pelo subagente `cenaforge-skill-updater`. Entradas mais novas no topo. +## 1.48.0 — 17/11/2026 + +Cartoon: acabamento de ilustração dos personagens (detalhe de rosto/corpo, acessórios, enquadramento e textura). +- `references/cartoon.md`: campos opcionais do `look` (`head`, `nose`, `lids`, `wrinkles`, `belly`, `accessories`, + `accessoryColor`); `lid` em `FaceParams`; `framing` do ator e `grain` do spec; acabamento do `CharacterFigure`; + `describeToLook` com regras de detalhe e profissões novas; `planCartoon` escolhe `framing`; campos novos no studio; medição. +- `references/gotchas.md`: novos 163 (curva da boca — registrado de fato só agora; o 1.47.0 o citava sem ele existir no + arquivo), 164 (Python grava JSON sem `encoding="utf-8"` estraga acento), 165 (sombra em elipse parece mancha). +- `SKILL.md`: versão, `description`, linha do personagem, faixa de itens do Cartoon (156, 157, 160–165). Sem crescer. +- Evidência: conferido em `character.ts`, `rig.ts`, `spec.ts`, `Shot.tsx`, `overlays.tsx`, `characters.ts`, + `montage-cartoon.ts`; `cd cartoon && npx tsx --test tests/*.test.ts` → 16 pass (reexecutado). Informados, não + reexecutados: painel 78/78, `tsc`, 4 personagens por descrição, close falando renderizado. + +## 1.47.0 — 17/11/2026 + +Cartoon: rig de expressões, ações de movimento combináveis e fala sincronizada (ferramenta, não template). +- `references/cartoon.md`: nova seção "Rig, movimento e fala" (`rig.ts`: `FaceParams`/`BodyParams`, 20 expressões e 17 poses + como atalhos; `motion.ts`: `Action`, 19 ações, `evaluate`, `startOf`/`cue`, `validateTimeline`; `lipsync.ts`: `visemeAt`, + `emphasisAt`, `speak`); contrato do ator com `face`/`body`/`timeline` e `spec.audioEnv`; `timelineFor`/`audioEnvelope` no + plano do painel; exports `./motion` e `./rig`; prévia de movimento no `character-studio`; medições. +- `references/gotchas.md`: novo 163 (curva quadrática da boca só chega à metade do controle). +- `references/tools.md`: contagem de testes (cartoon 16, painel 10 no arquivo do Cartoon). +- `SKILL.md`: versão, `description`, linha de personagem com rig/movimento e `animacao.md`; resumo de armadilhas enxugado + (a lista longa de itens saiu: vale o `gotchas.md`). +- Evidência: conferido no código (`package.json` exports, `rig.ts`, `motion.ts`, `lipsync.ts`, `montage-cartoon.ts`); + `cd cartoon && npx tsx --test tests/*.test.ts` → 16 pass (reexecutado). Informados, não reexecutados: painel 78/78, `tsc`, + grade das 20 expressões, narração real da ilha ep01-01 e sequência de 7 s renderizada em 5,6 s. + ## 1.46.0 — 17/11/2026 Cartoon por peças: lugares montados pelo texto e biblioteca de personagens reaproveitados entre histórias. diff --git a/.claude/skills/cenaforge/SKILL.md b/.claude/skills/cenaforge/SKILL.md index 49025d1..b1c2f3f 100644 --- a/.claude/skills/cenaforge/SKILL.md +++ b/.claude/skills/cenaforge/SKILL.md @@ -1,11 +1,11 @@ --- name: cenaforge -description: Produz e altera vídeos narrativos do projeto CenaForge — cena 3D (rua) ou do documentário (2D: título, contador, mapa do litoral de SP, `kind: "doc2d"`; 3D da biblioteca de cenas `godot/library/`, ex.: ilha com farol de dia/entardecer/noite, náufragos no costão, `kind: "doc3d"`; peças `godot/kits/`: pessoa articulada com poses e barco; cena dentro de outra) descrita por JSON, animada por tempo de cena na Godot, gravada pelo Movie Maker e convertida em MP4 pelo FFmpeg. Use sempre que o pedido envolver criar, renderizar ou ajustar um vídeo, episódio ou cena (câmera, movimento, cenário, personagem, moto, luz, texto e opções A/B, áudio, resolução), validar um MP4, gerar narração (TTS: Edge, Piper, Kokoro, Google, Azure Speech) ou escolher/filtrar voz, clonar voz a partir de uma gravação (Chatterbox, com consentimento), vozes de personagem (RVC/Applio) ou transcrição com tempos para legenda (.srt) pelo serviço de voz local ou pela página Vozes do painel, histórias interativas com vertentes e votação A–D, lineares ou documentais (vídeo único sobre fatos reais, com fontes) e onde ficam as regras de roteiro (doc/roteiro/), leitor de roteiro do painel (trechos, narração × duração alvo, fontes), criar cena 3D nova na biblioteca (`template.gd` + `manifest.json`, guia `doc/godot/cenas.md`, tarefa "Cena no Godot" do agente), montagem do vídeo documental em MP4 no painel ("Gerar vídeo automático" num clique: plano por regras, fotos reais do Wikimedia Commons, narração e cenas 2D/3D da Godot; "Gerar de novo" por trecho e "Refazer tudo do zero"; estilo "Tudo em 3D" com cartão de foto real por cima e cartões de informação em sequência; estilo "Cartoon" (desenho 2D em Remotion, pacote `cartoon/`: lugares montados por peças a partir do texto, sem cenário pronto; biblioteca de personagens criados uma vez e reaproveitados entre histórias — aba "Personagens", elenco por história, agente "character" —; paleta da série, etiquetas, onomatopeias e legenda palavra por palavra); ou manual: áudio por trecho com números por extenso, visual por trecho — foto com fundo desfocado, animação 2D, cena 3D da biblioteca, clipe ou cartela —, texto na tela, legenda e créditos, pelo FFmpeg), excluir história no painel (vai para data/trash/), escolha de agente e modelo (Claude/Codex) no painel, mensagem ou correção ao agente durante a execução (Corrigir agora / Enviar ao terminar), termos episódio × vídeo na interface, contas e dashboard (métricas simuladas) do painel, Clipador (cortes automáticos de live da Twitch/Kick/YouTube, verticais 9:16 ou horizontais 16:9 para YouTube, com duração configurável e mínimo garantido, qualidade de gravação configurável até 2K: chat e emotes, heurística, varredura da IA, juízes analista e editor pela CLI, contexto do jogo e perfil do jogo editável/refinável pela IA, webcam achada sem IA e layout do corte, rastreio de reação do rosto do streamer (YuNet, MediaPipe, expressões que reforçam o corte), legenda com hashtags do canal, do jogo e do momento, editor de cortes em tela cheia no padrão de editor de vídeo, com timeline de uma trilha por camada e projeto de edição feito pela IA (trechos com layout próprio e trecho mudo, câmera inteira e editável na Fonte, legenda animada editável arrastando, gancho em tarja animada, fontes empacotadas, textos, zoom, reenquadramento do jogo com keyframes, camadas inseridas (recorte da tela em destaque), chat da live na tela, narração, música, capa também no início, export pelo FFmpeg), retomada de live que caiu, cortes duplicados descartados (o rejeitado ou apagado não volta), render que falha, fila de aprovação com apagar corte (um, selecionados ou a aba inteira), relógio da gravação e cadência do resumo no cartão da sessão, prévia do editor igual ao render (legenda e recorte), "não sai corte" (live fria × regras) e fontes ligadas aos canais de publicação), publicação automática em YouTube, TikTok e Instagram (serviço Publicador, canais de publicação, conectar rede pela API oficial ou sessão logada, aprovação manual ou automática, horários bons e limite por dia, botão "Publicar" no corte aprovado, inclusive sem fonte ligada e com "Horário específico" por rede, ordenar a fila de cortes, capa que sumiu do dashboard, fila "Publicações", Configurações, job que falhou, pede login ou pede "Confira na rede", "Já saiu: informar o link" quando o vídeo foi ao ar mas o job falhou, YouTube Studio que "não confirmou" a publicação, hashtag do TikTok que não vira hashtag (legenda colada), botão "Publicar no " nos cartões de Publicações), números dos posts (views, curtidas, comentários) lidos das redes e mostrados no Dashboard (leitura automática a cada N horas, "Atualizar números agora"), chamar a API do painel por script (cabeçalhos `Origin` e JSON; criar história com agente por `POST /api/stories`), agente que parou no limite de uso ou morreu ao reiniciar o painel, instalar/subir o projeto (setup.bat, start.bat, pnpm dev), ou trocar/adicionar ferramentas de 3D, voz ou render neste repositório — mesmo que o usuário não diga "skill" nem "CenaForge". +description: Produz e altera vídeos narrativos do projeto CenaForge — cena 3D (rua) ou do documentário (2D: título, contador, mapa do litoral de SP, `kind: "doc2d"`; 3D da biblioteca de cenas `godot/library/`, ex.: ilha com farol de dia/entardecer/noite, náufragos no costão, `kind: "doc3d"`; peças `godot/kits/`: pessoa articulada com poses e barco; cena dentro de outra) descrita por JSON, animada por tempo de cena na Godot, gravada pelo Movie Maker e convertida em MP4 pelo FFmpeg. Use sempre que o pedido envolver criar, renderizar ou ajustar um vídeo, episódio ou cena (câmera, movimento, cenário, personagem, moto, luz, texto e opções A/B, áudio, resolução), validar um MP4, gerar narração (TTS: Edge, Piper, Kokoro, Google, Azure Speech) ou escolher/filtrar voz, clonar voz a partir de uma gravação (Chatterbox, com consentimento), vozes de personagem (RVC/Applio) ou transcrição com tempos para legenda (.srt) pelo serviço de voz local ou pela página Vozes do painel, histórias interativas com vertentes e votação A–D, lineares ou documentais (vídeo único sobre fatos reais, com fontes) e onde ficam as regras de roteiro (doc/roteiro/), leitor de roteiro do painel (trechos, narração × duração alvo, fontes), criar cena 3D nova na biblioteca (`template.gd` + `manifest.json`, guia `doc/godot/cenas.md`, tarefa "Cena no Godot" do agente), montagem do vídeo documental em MP4 no painel ("Gerar vídeo automático" num clique: plano por regras, fotos reais do Wikimedia Commons, narração e cenas 2D/3D da Godot; "Gerar de novo" por trecho e "Refazer tudo do zero"; estilo "Tudo em 3D" com cartão de foto real por cima e cartões de informação em sequência; estilo "Cartoon" (desenho 2D em Remotion, pacote `cartoon/`: lugares montados por peças a partir do texto, sem cenário pronto; biblioteca de personagens criados uma vez e reaproveitados entre histórias — aba "Personagens", elenco por história, agente "character" —; paleta da série, etiquetas, onomatopeias e legenda palavra por palavra; personagem com rig de expressões e ações de movimento combináveis, fala sincronizada com a narração, acabamento de ilustração: formato de cabeça, nariz, pálpebra, rugas, acessórios de profissão, enquadramento close/medium e textura de papel); ou manual: áudio por trecho com números por extenso, visual por trecho — foto com fundo desfocado, animação 2D, cena 3D da biblioteca, clipe ou cartela —, texto na tela, legenda e créditos, pelo FFmpeg), excluir história no painel (vai para data/trash/), escolha de agente e modelo (Claude/Codex) no painel, mensagem ou correção ao agente durante a execução (Corrigir agora / Enviar ao terminar), termos episódio × vídeo na interface, contas e dashboard (métricas simuladas) do painel, Clipador (cortes automáticos de live da Twitch/Kick/YouTube, verticais 9:16 ou horizontais 16:9 para YouTube, com duração configurável e mínimo garantido, qualidade de gravação configurável até 2K: chat e emotes, heurística, varredura da IA, juízes analista e editor pela CLI, contexto do jogo e perfil do jogo editável/refinável pela IA, webcam achada sem IA e layout do corte, rastreio de reação do rosto do streamer (YuNet, MediaPipe, expressões que reforçam o corte), legenda com hashtags do canal, do jogo e do momento, editor de cortes em tela cheia no padrão de editor de vídeo, com timeline de uma trilha por camada e projeto de edição feito pela IA (trechos com layout próprio e trecho mudo, câmera inteira e editável na Fonte, legenda animada editável arrastando, gancho em tarja animada, fontes empacotadas, textos, zoom, reenquadramento do jogo com keyframes, camadas inseridas (recorte da tela em destaque), chat da live na tela, narração, música, capa também no início, export pelo FFmpeg), retomada de live que caiu, cortes duplicados descartados (o rejeitado ou apagado não volta), render que falha, fila de aprovação com apagar corte (um, selecionados ou a aba inteira), relógio da gravação e cadência do resumo no cartão da sessão, prévia do editor igual ao render (legenda e recorte), "não sai corte" (live fria × regras) e fontes ligadas aos canais de publicação), publicação automática em YouTube, TikTok e Instagram (serviço Publicador, canais de publicação, conectar rede pela API oficial ou sessão logada, aprovação manual ou automática, horários bons e limite por dia, botão "Publicar" no corte aprovado, inclusive sem fonte ligada e com "Horário específico" por rede, ordenar a fila de cortes, capa que sumiu do dashboard, fila "Publicações", Configurações, job que falhou, pede login ou pede "Confira na rede", "Já saiu: informar o link" quando o vídeo foi ao ar mas o job falhou, YouTube Studio que "não confirmou" a publicação, hashtag do TikTok que não vira hashtag (legenda colada), botão "Publicar no " nos cartões de Publicações), números dos posts (views, curtidas, comentários) lidos das redes e mostrados no Dashboard (leitura automática a cada N horas, "Atualizar números agora"), chamar a API do painel por script (cabeçalhos `Origin` e JSON; criar história com agente por `POST /api/stories`), agente que parou no limite de uso ou morreu ao reiniciar o painel, instalar/subir o projeto (setup.bat, start.bat, pnpm dev), ou trocar/adicionar ferramentas de 3D, voz ou render neste repositório — mesmo que o usuário não diga "skill" nem "CenaForge". --- # CenaForge — vídeo a partir de cena descrita por JSON -**Versão da skill: 1.46.0** (17/11/2026) — histórico em [CHANGELOG.md](CHANGELOG.md). +**Versão da skill: 1.48.0** (17/11/2026) — histórico em [CHANGELOG.md](CHANGELOG.md). Mantida pelo subagente `cenaforge-skill-updater` (ver "Manutenção" no fim). ## Regra zero @@ -121,7 +121,7 @@ Interativa = 2–4 vertentes, mas o overlay só desenha `choiceA`/`choiceB`. Tab | Painel: leitor de roteiro (trechos, narração, fontes; página `/stories/[storyId]/episodes/[number]/roteiro`) | parser puro `panel/src/lib/script-doc.ts` (`parseScript`, `WORDS_PER_SECOND`) + `panel/src/components/script-reader.tsx` — ver [references/panel.md](references/panel.md) | formato do roteiro em `doc/roteiro/` (cabeçalho da tabela de trechos) | | Painel: montagem documental (um clique ou manual; estilo `mixed`/`3d`/`cartoon`; áudio, visual e cartão de foto por trecho → MP4) | estado/banco/modo automático/"Gerar de novo" `panel/src/lib/montage.ts`; FFmpeg **sem banco** `montage-ffmpeg.ts` (cartão, textos em sequência); plano do trecho (`planShot`, `planShot3d`) e render Godot **sem banco** `montage-godot.ts`; biblioteca `scene-library.ts`; fotos `image-search.ts`; fala por extenso `speech-text.ts`; UI `components/montage-editor.tsx`; rotas `app/api/episodes/[id]/montage/` — ver [references/panel.md](references/panel.md#montagem-documental) | `doc/roteiro/comum.md` e `documental.md` se mudar regra de narração/trecho | | Estilo Cartoon: lugar por peças (`places.tsx`, `LOCATIONS` em `montage-cartoon.ts`), contrato `spec.ts`, plano pelo texto, legenda por palavra, paleta da série | `cartoon/src/` + `cartoon/render.ts` + `panel/src/lib/montage-cartoon.ts`, `montage.ts`, `montage-editor.tsx` (`CartoonSetup`) — **lugar novo = peça/regra, nunca cena pronta**; guia `doc/cartoon/cenas.md`; tudo em [references/cartoon.md](references/cartoon.md) | `cartoon/tests/spec.test.ts`, `panel/src/lib/montage-cartoon.test.ts`; Remotion em [references/tools.md](references/tools.md) | -| Personagem do Cartoon (criar uma vez, reaproveitar em várias histórias; elenco por história) | contrato `cartoon/src/character.ts`, desenho `CharacterFigure.tsx`; `panel/src/lib/characters.ts`, `app/api/characters/`, `app/characters/`, `components/character-studio.tsx`; ficha `assets/characters//character.json`, elenco `stories//cast.json`; agente `character` (`prompts.ts`, `agents.ts`) — [references/cartoon.md](references/cartoon.md#personagens-biblioteca) | `doc/cartoon/personagens.md`; testes do painel | +| Personagem do Cartoon (criar uma vez, reaproveitar em várias histórias; elenco por história) e sua expressão/movimento/fala (`rig.ts`, `motion.ts`, `lipsync.ts`: parâmetros e ações combináveis, **não** animação pronta; guia `doc/cartoon/animacao.md`; acabamento de ilustração: `look` com cabeça/nariz/pálpebra/rugas/barriga/acessórios, `grain`, `framing`) | contrato `cartoon/src/character.ts`, desenho `CharacterFigure.tsx`; `panel/src/lib/characters.ts`, `app/api/characters/`, `app/characters/`, `components/character-studio.tsx`; ficha `assets/characters//character.json`, elenco `stories//cast.json`; agente `character` (`prompts.ts`, `agents.ts`) — [references/cartoon.md](references/cartoon.md#personagens-biblioteca) | `doc/cartoon/personagens.md`, `animacao.md`; `cartoon/tests/motion.test.ts`, testes do painel | | Painel: formato de história novo | item em `STORY_FORMATS` (`panel/src/components/story-formats.ts`) + `StoryKind`/`STORY_KINDS` (`panel/src/lib/types.ts`) + migração do CHECK de `stories.kind` (`db.ts`) + `GUIDE_BY_KIND`/`FORMAT_LABEL` em `prompts.ts` (+ guia novo em `doc/roteiro/` se as regras forem outras) + termo da unidade em `unitTerms` (`story-formats.ts`) | select com descrição: `DescribedSelect` em `forms.tsx`; layout do Fluxo em `story-flow.tsx` | | Painel: pedir confirmação / mostrar aviso (**nunca** `confirm()`/`alert()` nativos) | `askConfirm`/`showAlert`/`confirmSubmit` de `panel/src/components/confirm-dialog.tsx` (host único já em `app/layout.tsx`) — ver [references/panel.md](references/panel.md#confirmação-e-aviso-componentsconfirm-dialogtsx) | — | | Painel: modal com conteúdo ou passo a passo | `Dialog` + `Steps` de `panel/src/components/dialog.tsx` (padrão para todo modal novo) | — | @@ -214,17 +214,15 @@ máximo UMA imagem por render; roteiro: `check_script.py stories/`. E ## Armadilhas já conhecidas Leia [references/gotchas.md](references/gotchas.md) antes de mexer em render, resolução, tempo, GDScript, pnpm, painel, -serviço de voz, Clipador ou publicação. Resumo: 1º quadro da Godot sai incompleto (aquecimento de 3 quadros); `delta` não é 1/fps; -resolução fixada na inicialização (`override.cfg`); `--write-movie` relativo falha em silêncio com código 0; regex -em `node -e`/heredoc no bash perde as barras invertidas (item 44: edite pelo Edit); reiniciar o `pnpm panel` mata o -agente em execução e o limite de uso do Claude/Codex para a tarefa no meio — continue no outro provedor (itens 131–132); Claude do painel com OAuth expirado e gasto alto de tokens dos agentes (133–135); modo sessão "navegador abriu mas não respondeu" com a porta viva (Chrome 157 sem `DevToolsActivePort`, 137); "no column named origin" ao publicar corte com o `pnpm dev` ligado desde antes da v7 (138: migra sozinho na 1ª requisição depois da recarga do `db.ts`); envio de corte > 50 MB no modo sessão recusado com "Cannot transfer files larger than 50Mb" (139: `is_local=True` no `connect_over_cdp`; a mensagem ao usuário é a genérica "navegador travou"); TikTok publicou mas o job falhou sem o link (140: `find_video_url` recarrega a lista por ~3 min; use "Já saiu: informar o link"); job novo cancelado por regra antiga porque o laço do despachante guarda o `tick` velho no HMR (141); TikTok em modo sessão com "Locator.click: Timeout" na legenda por aviso "Entendi" por cima (142: `click_through`/`dismiss_tips`, só fechar avisos); **correção que "não pegou" = serviço Python rodando código antigo (sem `--reload`): compare o -início do processo com o `LastWriteTime` do arquivo antes de validar (143)**; legenda com `#RobRun`/`#ROBRUN` ou perfil -do jogo sem `hashtags` (144); Instagram em modo sessão com "não achei o botão" (o botão agora é "Postar" e os botões do -fluxo ficam presos ao diálogo, 145) e rótulo de IA coberto pela lista de hashtags (sem `force=True`, 146; valide seletor -com `prepare`, sem publicar); reel do Instagram saindo 1:1 (formato "Original" em `keep_original_shape`, 147); corte nunca leva -rótulo de IA (148); vídeo apagado na rede: ação "Apaguei na rede" (149); script `python -I` ignora `PYTHONIOENCODING` (150); YouTube "não confirmou" mas o vídeo saiu (`ytcp-button`, 151); -números do Instagram sem curtidas (grade antes da API, 152); `curl -d` com acento no Git Bash (153: `--data-binary @arquivo`); -repositório Gitea PÚBLICO: procure segredos antes de subir, commit só a pedido (154); capa de vídeo publicado some ao apagar a sessão do Clipador (155: cópia em `output/publishing/covers/`); `.tsx`/`.ts` do painel em CRLF (63); Cartoon: voz não dá tempo por palavra (156), plano genérico sem lugar reconhecido (157), exemplo vazando em todo trecho por `defaultProps` (160), palavra-chave do plano errando o assunto (161) e `\b` virando 0x08 em edição por script (162); TikTok com `#tag` colada vira texto (158: digitar e confirmar a sugestão; falta validar com vídeo real); páginas públicas do TikTok em série devolvem `SlardarWAF` (159). +serviço de voz, Clipador, publicação ou Cartoon. As que mais custam caro: +- 1º quadro da Godot sai incompleto (aquecimento de 3 quadros); `delta` não é 1/fps; resolução fixada na inicialização + (`override.cfg`); `--write-movie` relativo falha em silêncio com código 0. +- Regex em `node -e`/heredoc/Python sem string raw perde ou corrompe `\` e `` (itens 44 e 162): edite pelo Edit. +- Reiniciar o `pnpm panel` mata o agente em execução; limite de uso do Claude/Codex para a tarefa — continue no outro + provedor (131–135). +- **Correção que "não pegou" = serviço Python rodando código antigo (sem `--reload`): compare o início do processo com o + `LastWriteTime` do arquivo antes de validar (143).** +- Publicação/modo sessão (137–155, 158–159), Cartoon (156, 157, 160–165) e Clipador (144): ver o item citado em gotchas. ## Manutenção desta skill diff --git a/.claude/skills/cenaforge/references/cartoon.md b/.claude/skills/cenaforge/references/cartoon.md index 07bff4c..1af71de 100644 --- a/.claude/skills/cenaforge/references/cartoon.md +++ b/.claude/skills/cenaforge/references/cartoon.md @@ -8,7 +8,7 @@ cena é montada **por peças** a partir do texto (parque de dia, cemitério, bun criados uma vez, na biblioteca, e reaproveitados em várias histórias. Não crie "cena pronta" nova; crie peça ou regra. Guias do projeto (fonte de detalhe, não duplicar aqui): `doc/cartoon/cenas.md` (camadas, receitas por situação, -composição), `doc/cartoon/personagens.md` (ficha, agente), estudo de referência `doc/estudo-estilo-cartoon-explicativo.md`. +composição), `doc/cartoon/personagens.md` (ficha, agente), `doc/cartoon/animacao.md` (expressões e movimento, guia do agente), estudo de referência `doc/estudo-estilo-cartoon-explicativo.md`. ## Contrato da cena (`cartoon/src/spec.ts`, `schemaVersion` 1; `validateSpec` recusa o resto) @@ -22,7 +22,11 @@ composição), `doc/cartoon/personagens.md` (ficha, agente), estudo de referênc `z` 0 = frente, 1 = fundo. 24 peças em `ELEMENTS`: tree, deadtree, pine, bush, rock, mountain, cloud, bench, lamp, gravestone, cross, fence, house, building, car, sign, door, window, table, bed, shelf, crate, tent, fire. Peça nova = entrada em `ELEMENTS` + desenho em `cartoon/src/places.tsx`. -- `actors`: `person` com `character {name, caption, look}`, `expression`, `pose`, `item` (objeto na mão), `flip` +- `grain` (0 desliga, padrão 0,11): textura de papel sobre a cena (`Grain` em `overlays.tsx`, feTurbulence com mix-blend overlay; + também no `CharacterCard`). +- `actors`: `person` com `character {name, caption, look}`, `expression`, `pose`, `item` (objeto na mão), `flip`, + `framing` `full|medium|close` (Shot: zoom 1/1,9/2,9 e base y = `y`/0,98/1,15; a etiqueta vai para o lado), + `face`/`body` (ajustes finos do rig), `timeline` (ações de movimento, até 40); `spec.audioEnv {fps, values}` (campos antigos `label`/`hair`/`glasses`/`pointing` ainda valem); `crowd` (entra antes do personagem, atrás, pés em y 0,6). ## Peças (`cartoon/src/`) @@ -46,22 +50,61 @@ personagem:** `tsx cartoon/render.ts --still --props x.json --out y.png [--frame - **Contrato** `cartoon/src/character.ts` (`Character`, `schemaVersion` 1): `id`, `name`, `caption`, `description`, `kind` `cartoon|3d`, `look {build slim|average|heavy, height 0,6–1,2, skin, hair{style short|side|bun|long|curly|spiky| bald|cap, color}, beard none|stubble|mustache|full|goatee, glasses none|round|square|sun, brows thin|thick, - top{shirt|jacket|hoodie|dress|uniform, color, accent}, bottom pants|shorts|skirt, shoes}`. `EXPRESSIONS`: neutral, happy, - sad, worried, angry, surprised, scared. `POSES`: stand, point, wave, hold, arms_up, shrug, think. `validateLook`. -- **Desenho** `CharacterFigure.tsx`: SVG puro (sem Remotion), `viewBox` 200×440, pés em (100,440); `t` anima respirar, - piscar e acenar. O painel importa o mesmo componente (prévia ao vivo): dependência `"cenaforge-cartoon": "workspace:*"` em - `panel/package.json`, `transpilePackages` em `panel/next.config.ts`, `exports` do pacote `./character`, `./figure`, `./spec`. + top{shirt|jacket|hoodie|dress|uniform, color, accent}, bottom pants|shorts|skirt, shoes}`. `EXPRESSIONS`/`POSES` + vêm do rig (reexportados). `validateLook`. + **Acabamento (17/11/2026), campos OPCIONAIS do `look`:** `head` (`HEAD_SHAPES` round|oval|square|wide), `nose` (`NOSES` + button|curve|round|long|wide), `lids` (0–0,8, pálpebra de base), `wrinkles` (0–1), `belly` (bool), `accessories` + (`ACCESSORIES`: towel, whistle, tie, vest, helmet, watch, badge, apron, scarf, headset, chain) e `accessoryColor`. +- **Desenho** `CharacterFigure.tsx`: SVG puro (sem Remotion), `viewBox` 200×440, pés em (100,440), escrito sobre o rig (seção + "Rig, movimento e fala"). O painel importa o mesmo componente (prévia ao vivo): dependência `"cenaforge-cartoon": "workspace:*"` em + `panel/package.json`, `transpilePackages` em `panel/next.config.ts`, `exports` do pacote `./character`, `./figure`, `./spec`, `./motion`, `./rig`. - **Arquivos:** `assets/characters//character.json`; elenco da história `stories//cast.json` (`{"cast":[ids]}`). - **Painel** `panel/src/lib/characters.ts`: `listCharacters`/`getCharacter`/`saveCharacter`/`deleteCharacter` (não apaga quem está em elenco), `describeToLook` (descrição pt-BR → `look` + `caption` por regras: idade, gênero, criança, - profissão → uniforme/cor, cabelo, barba, óculos, corpo, cor de roupa), `getCast`/`setCast`. Rotas: `GET/POST + profissão → uniforme/cor, cabelo, barba, óculos, corpo, cor de roupa; **e o acabamento**: `nose`, `lids`, `wrinkles`, + `head`, `belly` e `accessories` por idade, "barrigudo", "narigudo", "cansado" e profissão — técnico: apito + relógio; + obra: capacete + colete laranja; porteiro: crachá; merendeira: avental; roupeiro: toalha; empresário: gravata + relógio; + `PROFESSIONS` inclui técnico, porteiro, merendeira, roupeiro, operário, empresário), `getCast`/`setCast`. Rotas: `GET/POST /api/characters`, `GET/PUT/DELETE /api/characters/[id]`, `POST /api/characters/[id]/agent`, `GET/PUT /api/stories/[storyId]/cast`. Página `/characters` (aba "Personagens"; `components/character-studio.tsx`: criar pela - descrição, prévia com expressão/pose, formulário peça por peça, "Refinar com o agente", apagar). + descrição, prévia com expressão/pose, formulário peça por peça — inclui Cabeça, Nariz, Pálpebra, Rugas, Barriga, Cor dos acessórios e chips de Acessórios —, + "Refinar com o agente", apagar). - **Agente:** `AgentKind` `"character"` (`types.ts`; `agents.ts`: orçamento US$ 0,5, Sonnet, Claude preferido; `prompts.ts` manda ler SÓ `doc/cartoon/personagens.md` e gravar a ficha). - Para testar a API com acento use Python/UTF-8 (gotchas 153); o `id` sai do nome sem acento. +## Rig, movimento e fala (FERRAMENTA, não template) + +Princípio do dono: expressão e movimento são **parâmetros contínuos e ações combináveis**; os presets são só atalhos. +Detalhe e exemplos: `doc/cartoon/animacao.md`. + +- **`rig.ts`:** `FaceParams` (`browL/browR {y, tilt}` tilt + = ponta de dentro sobe, `eyeL/eyeR` 0–1,35, `pupil`, + `gazeX/gazeY`, `mouthOpen`, `smile` −1…1, `mouthWidth`, `mouthRound`, `lid` (pálpebra, somada ao `lids` do personagem: surpreso/medo −0,5, sono 0,6, desconfiado 0,45; os presets usam `lid` em vez de fechar o olho), `teeth`, `blush`, `sweat`, `tears`, `anger`) e + `BodyParams` (`lean`, `headTilt`, `headTurn` −1…1, `headNod`, `armL/armR/legL/legR {raise, bend}` em 2 segmentos, `crouch`). + 20 `EXPRESSION_PRESETS` (neutral, smile, happy, laugh, proud, sad, cry, worried, angry, furious, surprised, scared, + shocked, suspicious, smirk, confused, disgusted, sleepy, determined, embarrassed) e 17 `POSE_PRESETS` (stand, point, wave, + hold, arms_up, celebrate, shrug, think, hands_on_hips, cross_arms, facepalm, cover_mouth, defend, reach, sit, kneel, + lean_in). `faceOf`/`bodyOf(nome, ajuste)`, `withFace`/`withBody` (aceitam `brows`/`eyes`/`arms`/`legs`), `blendFace`/`blendBody`. +- **`motion.ts`:** `Action {do, at|atP|cue, dur, cueEnd, expression/face, pose/body, to, dir, times, height, text}`; `ACTIONS`: + express, pose, walk, run, enter, exit, jump, nod, shake_head, tremble, bounce, fall, sit, stand_up, turn, talk, look, emote, + wave. `evaluate(actor, t, durationS, seed, {words, env})` → `{face, body, x, dx, dy, rot, sx, sy, flip, emote}`; `startOf` + resolve `cue` pela palavra falada (prefixo normalizado); piscar em intervalos variados, respirar e balanço sempre ligados; + `validateTimeline` (até 40 ações). `Shot.tsx` aplica `evaluate` por ator (posição/giro/escala/espelho no container). +- **`lipsync.ts`:** `visemeAt(palavras, t, env)` (forma por letra: a abre, e/i esticam, o/u arredondam, m/b/p fecham, f/v + dentes; vogal pesa 1,7 e consoante 0,8; coarticulação na 2ª metade da letra; fecha 60 ms após a palavra; `env` fecha nas + pausas), `emphasisAt` (sobrancelhas no pico), `speak(face, viseme)` (mantém cantos/sobrancelhas/olhos da expressão). `talk` + usa as palavras entre `cue` e `cueEnd`, ou `text` repartido por `dur`. +- **Desenho:** prop `state` (de `evaluate`); sem ele usa `expression`/`pose` + vida. Boca contínua com `clipPath`; olho de + riso em arco; balão de emote; mão no rosto desenhada por cima da cabeça. **Acabamento do desenho:** pálpebra recortada + (`clipPath` por olho) com borda mais escura; 5 narizes; rugas; cabeça por formato (`headPath`) com sombra de baixo e + brilho na testa; orelha com dobra; mão com polegar; tronco com sombra lateral, gola em V e zíper; barriga = elipse + curva + de volume (**só a sombra em elipse parecia mancha**); `Accessories` (capacete e fone na cabeça, relógio no pulso esquerdo). + **Armadilha:** a curva quadrática só chega à + METADE do controle, então os controles da boca ficam no dobro da abertura. +- **Painel:** `character-studio.tsx` lista as 20 expressões e 17 poses em pt-BR e tem "Movimento (prévia)" (`MovePreview`, + loop de 2,6 s). `CharacterCard` aceita framing `"face"` (recorte do rosto). Agente `character` lê `animacao.md` se o + pedido falar de expressão/movimento. + ## Plano no painel (`panel/src/lib/montage-cartoon.ts`, sem banco) - Tipos vêm de `"cenaforge-cartoon/spec"` (não há mais espelho). `planCartoon(shot, ctx, variant)` com @@ -71,6 +114,8 @@ personagem:** `tsx cartoon/render.ts --still --props x.json --out y.png [--frame paleta/luz própria). Sem lugar reconhecido cai nas cenas antigas. - **Personagem:** `expressionOf`/`poseOf` pelo texto; quem é citado pelo nome entra com a aparência da biblioteca; com 1 personagem só, ele aparece nos trechos pares ou quando o texto diz "ele/ela"; objeto pequeno vai para a mão (`item`). + - **Enquadramento do personagem** (`framing`): `close` quando ele fala sozinho (há `talk`, 1 personagem); `medium` sozinho + sem objetos nem multidão; `full` no resto. - Ícones por palavra-chave; "pessoas/vizinhos" vira multidão; "nunca/não" + perigo risca o objeto; sons viram onomatopeia (motor só com gerador/motor/moto/carro perto; barulho genérico = "Crec"); texto na tela numérico vira `big`, senão etiqueta; `variant` troca arranjo e seed. @@ -85,13 +130,27 @@ personagem:** `tsx cartoon/render.ts --still --props x.json --out y.png [--frame geração); "Gerar de novo" troca `cartoonVariant`; `hudFor` = 2 primeiras palavras do título + "Ep. N". - **UI** (`montage-editor.tsx`, recebe `storyId`): opção de estilo, bloco `CartoonSetup` (paleta da série + elenco por chips, só no estilo Cartoon), botão "Cartoon" no trecho, `CartoonPreview`. -- **Testes:** `panel/src/lib/montage-cartoon.test.ts` (9). +- **Movimento pelo texto:** `timelineFor(texto, x)` (`EMOTIONS` por palavra → `express` com `cue`; `MOVES` por verbo → ações; + `quoteOf`: fala entre aspas/travessão → `talk` com `cue`/`cueEnd`; começa `neutral` se houver `express`). + `audioEnvelope(file)` (FFmpeg mono 8 kHz, RMS por quadro normalizado pelo p95; ~199 quadros para 6,6 s) → + `cartoonSpec(scene, dur, words, env)`; `montage.ts` passa o env. +- **Testes:** `panel/src/lib/montage-cartoon.test.ts` (10). ## Medido (17/11/2026) Mesmo personagem em parque (`day`), cemitério (`dusk` + fog + `vignette`) e bunker (`sepia` + `spot` + indoor): 3 trechos de 4 s em ~2,6–2,8 s cada. Plano com elenco "Marta" → parque de dia (acenando) e cemitério (com medo, "Crec") renderizados. -Testes: painel 77/77, cartoon 5/5; `tsc` ok nos dois (informados pelo dono; cartoon 5/5 reexecutado na skill). +Testes (antes do rig): painel 77/77, cartoon 5/5. + +Rig/movimento (17/11/2026, informado pelo dono): grade das 20 expressões conferida de perto; personagem falando narração +real (ilha ep01-01) com `worried` mantida e "não" balançando a cabeça na palavra; sequência enter→jump→sit→stand_up→wave→ +scared+"!"→tremble→fall de 7 s renderizada em 5,6 s. Testes: painel 78/78 e `tsc` ok (informados); cartoon 16/16 +(`tests/motion.test.ts` 11 novos) reexecutado na skill. Renders não reexecutados. + +Acabamento de ilustração (17/11/2026, informado pelo dono; referência: reel de série de cartoon, cujos personagens são +ilustrações paradas com textura, só a câmera desliza — o rig mantém a animação): 4 personagens criados só pela descrição +(porteiro 64, técnico barrigudo 52, mestre de obra 38, merendeira 70) saíram com os detalhes certos; close falando +renderizado. Testes: cartoon 16/16 reexecutado na skill; painel 78/78 e `tsc` informados. Renders não reexecutados. ## Ainda não existe (próximo passo) diff --git a/.claude/skills/cenaforge/references/gotchas.md b/.claude/skills/cenaforge/references/gotchas.md index ae4e63e..1c8356b 100644 --- a/.claude/skills/cenaforge/references/gotchas.md +++ b/.claude/skills/cenaforge/references/gotchas.md @@ -756,6 +756,13 @@ observada num envio real ainda. Contexto em [publishing.md](publishing.md). 162. **Regex com `\b` escrita por heredoc/Python sem string raw vira um caractere de controle (backspace, 0x08)** (aconteceu 2x ao editar `montage-cartoon.ts`): a regex deixa de casar, sem erro. Use `r"..."` ou o Edit (item 44) e confira com `grep -nP "\x08" ` que não sobrou nenhum. +163. **Cartoon: a boca (curva quadrática) só chega à METADE do ponto de controle.** Controles da boca ficam no dobro da + abertura desejada. Onde: `cartoon/src/CharacterFigure.tsx`. +164. **Script de teste em Python que grava JSON com `open(..., "w")` sem `encoding` estraga acento no Windows** (cp1252; o + render lê UTF-8). Sempre `open(..., "w", encoding="utf-8")` (e `ensure_ascii=False` se quiser acento legível). Mesma + família do item 153. Onde: ao gerar `character.json`/spec por script. +165. **Cartoon: sombra do corpo/barriga em elipse parece mancha.** Correção: elipse + curva de volume (contorno) e sombra + lateral recortada por `clipPath`. Onde: `cartoon/src/CharacterFigure.tsx`. Relacionadas, já registradas acima: - Patch por script em arquivos CRLF do painel (`lib/metrics.ts`, `components/metrics-view.tsx`, `dashboard-controls.tsx`, diff --git a/.claude/skills/cenaforge/references/tools.md b/.claude/skills/cenaforge/references/tools.md index 18afae5..e304a3a 100644 --- a/.claude/skills/cenaforge/references/tools.md +++ b/.claude/skills/cenaforge/references/tools.md @@ -35,8 +35,8 @@ Estilo Cartoon (`cartoon/`, 17/11/2026; contrato e uso em [cartoon.md](cartoon.m | Fontes Anton e Bebas Neue | `assets/fonts/` (`publicDir` = `assets`) | texto das etiquetas e legenda | ver licenças em "Clipador" | Licença da Remotion: grátis para pessoa física e empresa pequena; empresa maior paga. **Conferir os termos antes de uso -comercial** (não verificado aqui). Testes: `npx tsx --test tests/*.test.ts` em `cartoon/` (5 testes de `spec.test.ts`); -painel: `montage-cartoon.test.ts` (9). Cartoon 5/5 reexecutado em 17/11/2026; painel 77/77 informado pelo dono. +comercial** (não verificado aqui). Testes: `npx tsx --test tests/*.test.ts` em `cartoon/` (5 de `spec.test.ts` + 11 de `motion.test.ts`); +painel: `montage-cartoon.test.ts` (10). Cartoon 16/16 reexecutado em 17/11/2026; painel 78/78 informado pelo dono. Hardware do teste de referência: i9-13900K, 64 GB, RTX 2060 SUPER. Tempos: prévia 540×960 42–44 s; final 1080×1920 ~160 s. A etapa de render da Godot ocupa 94–96% do total, dominada diff --git a/cartoon/package.json b/cartoon/package.json index b134de1..a790155 100644 --- a/cartoon/package.json +++ b/cartoon/package.json @@ -26,6 +26,8 @@ "exports": { "./character": "./src/character.ts", "./figure": "./src/CharacterFigure.tsx", - "./spec": "./src/spec.ts" + "./spec": "./src/spec.ts", + "./motion": "./src/motion.ts", + "./rig": "./src/rig.ts" } } diff --git a/cartoon/src/CharacterCard.tsx b/cartoon/src/CharacterCard.tsx index 6d94084..09872c7 100644 --- a/cartoon/src/CharacterCard.tsx +++ b/cartoon/src/CharacterCard.tsx @@ -3,7 +3,7 @@ import React from "react"; import { AbsoluteFill, useCurrentFrame, useVideoConfig } from "remotion"; import { CharacterFigure } from "./CharacterFigure"; -import { TagLabel } from "./overlays"; +import { Grain, TagLabel } from "./overlays"; import { loadFonts } from "./theme"; import type { CharacterLook, Expression, Pose } from "./character"; import type { IconId } from "./spec"; @@ -13,25 +13,36 @@ loadFonts(); export type CardProps = { width: number; height: number; background?: string; + /** "face": enquadra só a cabeça (conferir expressões de perto). */ + framing?: "full" | "face"; figures: { look: CharacterLook; expression?: Expression; pose?: Pose; item?: IconId; label?: string }[]; }; -export function CharacterCard({ figures, background = "#2a2e45" }: CardProps) { +export function CharacterCard({ figures, background = "#2a2e45", framing = "full" }: CardProps) { const frame = useCurrentFrame(); const { fps } = useVideoConfig(); const n = Math.max(1, figures.length); return ( -
+
{figures.map((f, i) => (
{f.label &&
3 ? 2.2 : 3.4} />
} -
- -
+ {framing === "face" ? ( +
+
+ +
+
+ ) : ( +
+ +
+ )}
))}
+ ); } diff --git a/cartoon/src/CharacterFigure.tsx b/cartoon/src/CharacterFigure.tsx index 3c4de5f..f950a79 100644 --- a/cartoon/src/CharacterFigure.tsx +++ b/cartoon/src/CharacterFigure.tsx @@ -1,78 +1,100 @@ -// Desenho do personagem a partir das peças (character.ts). SVG puro, sem Remotion: o painel usa o mesmo -// componente na prévia ao vivo da aba Personagens. viewBox 200×440 com os pés em (100, 440). -// `t` (segundos) só move detalhes vivos: respiração, piscar, braço acenando. -import React from "react"; +// Desenho do personagem a partir do RIG (rig.ts): rosto e corpo por parâmetros contínuos, braços e pernas em +// dois segmentos (ombro/cotovelo, quadril/joelho). SVG puro, sem Remotion: o painel usa o mesmo componente. +// viewBox 200×440, pés em (100, 440). O movimento (andar, pular, falar…) vem de motion.ts como `state`; sem ele, +// usa a expressão/pose pedida com a "vida" (piscar, respirar). Posição, giro e espelho ficam por conta de quem +// desenha a cena (Shot.tsx). +import React, { useId } from "react"; import { Icon } from "./icons"; import type { IconId } from "./spec"; -import { DEFAULT_LOOK, type CharacterLook, type Expression, type Pose } from "./character"; +import { DEFAULT_LOOK, type CharacterLook } from "./character"; +import { evaluate, type ActorState } from "./motion"; +import type { BodyParams, FaceParams, Limb } from "./rig"; const INK = "#15161f"; -/** Ângulo dos braços por pose (graus; 0 = para baixo). Direito negativo = para fora; esquerdo positivo = para fora. */ -const ARMS: Record = { - stand: [-8, 8], point: [-95, 8], wave: [-150, 8], hold: [-38, 8], arms_up: [-160, 160], shrug: [-55, 55], think: [150, 8], -}; - function shade(hex: string, k: number): string { const n = parseInt(hex.slice(1), 16); const c = (v: number) => Math.max(0, Math.min(255, Math.round(v * k))).toString(16).padStart(2, "0"); return `#${c((n >> 16) & 255)}${c((n >> 8) & 255)}${c(n & 255)}`; } +/** Ponta de um segmento: ângulo de tela em graus (0 = para baixo). */ +const tip = (x: number, y: number, deg: number, len: number) => { + const r = (deg * Math.PI) / 180; + return { x: x - Math.sin(r) * len, y: y + Math.cos(r) * len }; +}; -function Mouth({ expression }: { expression: Expression }) { - const common = { stroke: INK, strokeWidth: 4.5, fill: "none", strokeLinecap: "round" as const }; - switch (expression) { - case "happy": return ; - case "sad": return ; - case "worried": return ; - case "angry": return ; - case "surprised": return ; - case "scared": return ; - default: return ; +function Segment({ x, y, deg, len, w, fill }: { x: number; y: number; deg: number; len: number; w: number; fill: string }) { + return ; +} + +function Mouth({ f, uid }: { f: FaceParams; uid: string }) { + const w = 32 * f.mouthWidth * (1 - f.mouthRound * 0.35); + const cy = 137 - f.smile * 6; + if (f.mouthOpen < 0.06 && f.mouthRound < 0.3) { + return ; } -} - -function Brows({ expression, thick, color }: { expression: Expression; thick: boolean; color: string }) { - // Inclinação da sobrancelha esquerda (a direita espelha): + sobe por dentro (triste/preocupado), − desce (bravo). - const tilt = { neutral: 0, happy: -6, sad: 16, worried: 14, angry: -18, surprised: 0, scared: 18 }[expression]; - const lift = expression === "surprised" || expression === "scared" ? -7 : expression === "happy" ? -3 : 0; - const w = thick ? 7 : 4.5; - return ( - - - - - ); -} - -function Eyes({ expression, t }: { expression: Expression; t: number }) { - const big = expression === "surprised" || expression === "scared"; - const r = big ? 12.5 : 10.5; - const pupil = expression === "scared" ? 3.4 : big ? 5.5 : 5; - const blink = (t % 3.7) < 0.12 && !big ? 0.12 : 1; - const squint = expression === "angry" ? 0.7 : expression === "happy" ? 0.8 : 1; + const open = Math.max(f.mouthOpen, f.mouthRound * 0.25); + // A curva quadrática só chega à metade do ponto de controle: os controles ficam no dobro da abertura desejada. + const up = cy + f.smile * 2 - open * 8 - f.mouthRound * 6; + const low = cy + open * 46 * (1 + f.mouthRound * 0.3) + f.smile * 12; + const d = `M${100 - w / 2} ${cy} Q100 ${up} ${100 + w / 2} ${cy} Q100 ${low} ${100 - w / 2} ${cy} Z`; return ( - {[82, 118].map((x) => ( - - - - - ))} + + + + {f.teeth && open > 0.12 && } + {open > 0.4 && } + ); } -function Glasses({ kind }: { kind: CharacterLook["glasses"] }) { - if (kind === "none") return null; - const lens = kind === "sun" ? INK : "none"; +function Eyes({ f, lid, skin, uid }: { f: FaceParams; lid: number; skin: string; uid: string }) { + const big = Math.max(f.eyeL, f.eyeR); + const r = 10.5 + Math.max(0, big - 1) * 7; + const cover = Math.max(0, Math.min(0.85, lid)); + const eye = (x: number, open: number) => { + // Olho de riso: fechado em arco para cima quando quase fechado e sorrindo. + if (open < 0.3 && f.smile > 0.55) return ; + if (open < 0.14) return ; + return ( + + + + + + {cover > 0.02 && ( + + + + + )} + + ); + }; + return {eye(82, f.eyeL)}{eye(118, f.eyeR)}; +} + +function Brows({ f, thick, color }: { f: FaceParams; thick: boolean; color: string }) { return ( - - {kind === "square" - ? <> - : <>} - - + + + + + ); +} + +function Extras({ f, t }: { f: FaceParams; t: number }) { + return ( + + {f.blush > 0.02 && <>} + {f.sweat && } + {f.tears && [78, 122].map((x, i) => { + const k = ((t * 1.4 + i * 0.5) % 1); + return ; + })} + {f.anger && } ); } @@ -81,15 +103,57 @@ function Beard({ style, color }: { style: CharacterLook["beard"]["style"]; color switch (style) { case "full": return ; case "stubble": return ; - case "goatee": return ; - case "mustache": return ; + case "goatee": return ; + case "mustache": return ; default: return null; } } -function HairBack({ look }: { look: CharacterLook }) { - if (look.hair.style !== "long") return null; - return ; +function Nose({ kind, skin }: { kind: NonNullable; skin: string }) { + const dark = shade(skin, 0.72); + switch (kind) { + case "curve": return ; + case "round": return <>; + case "long": return ; + case "wide": return <>; + default: return ; + } +} + +function Wrinkles({ k, skin }: { k: number; skin: string }) { + if (k <= 0.05) return null; + const c = shade(skin, 0.78); + return ( + + + {k > 0.35 && } + {k > 0.5 && <>} + {k > 0.4 && <>} + + ); +} + +/** Formato da cabeça (centro (100,106)). */ +function headPath(shape: CharacterLook["head"]): string { + switch (shape) { + case "oval": return "M100 54 C126 54 143 76 143 106 C143 140 124 160 100 160 C76 160 57 140 57 106 C57 76 74 54 100 54 Z"; + case "square": return "M100 56 C130 56 147 72 147 100 L146 128 C144 150 126 158 100 158 C74 158 56 150 54 128 L53 100 C53 72 70 56 100 56 Z"; + case "wide": return "M100 58 C124 58 140 74 143 98 C148 124 140 154 100 158 C60 154 52 124 57 98 C60 74 76 58 100 58 Z"; + default: return "M100 56 C126 56 147 78 147 106 C147 134 126 156 100 156 C74 156 53 134 53 106 C53 78 74 56 100 56 Z"; + } +} + +function Glasses({ kind }: { kind: CharacterLook["glasses"] }) { + if (kind === "none") return null; + return ( + + {kind === "square" + ? <> + : <>} + + + + ); } function HairFront({ look }: { look: CharacterLook }) { @@ -107,92 +171,189 @@ function HairFront({ look }: { look: CharacterLook }) { } } -function Torso({ look, w }: { look: CharacterLook; w: number }) { - const { top } = look; - const x0 = 100 - 36 * w; - const x1 = 100 + 36 * w; - const bottomY = top.style === "dress" ? 345 : 290; - const flare = top.style === "dress" ? 14 : 0; - const body = `M${x0} 172 Q${x0} 158 ${x0 + 14} 156 L${x1 - 14} 156 Q${x1} 158 ${x1} 172 L${x1 + flare} ${bottomY} L${x0 - flare} ${bottomY} Z`; - const accent = top.accent ?? shade(top.color, 1.3); +/** Cabeça inteira no sistema antigo (centro ~ (100,106)); `turn` desloca o rosto para fingir 3/4, `nod` sobe/desce. */ +function Head({ look, f, b, t, uid }: { look: CharacterLook; f: FaceParams; b: BodyParams; t: number; uid: string }) { + const fx = b.headTurn * 9; + const fy = b.headNod * 6; + const browColor = look.hair.style === "bald" || look.hair.style === "cap" ? look.beard.color : look.hair.color; return ( - {top.style === "hoodie" && } - - {top.style === "uniform" && } - {top.style === "shirt" && top.accent && } - {top.style === "jacket" && <>} - {top.style === "hoodie" && } - {top.style === "dress" && [0, 1, 2, 3].map((i) => )} - - ); -} - -function Legs({ look, w }: { look: CharacterLook; w: number }) { - const { bottom } = look; - const gap = 10 * w; - const legW = 20 * w; - const left = 100 - gap - legW; - const right = 100 + gap; - const skinTop = look.top.style === "dress" ? 345 : bottom.style === "shorts" ? 330 : bottom.style === "skirt" ? 345 : 440; - return ( - - - - {look.top.style !== "dress" && bottom.style === "pants" && <>} - {look.top.style !== "dress" && bottom.style === "shorts" && } - {look.top.style !== "dress" && bottom.style === "skirt" && } - - - - ); -} - -export function CharacterFigure({ look = DEFAULT_LOOK, expression = "neutral", pose = "stand", item, t = 0 }: { - look?: CharacterLook; expression?: Expression; pose?: Pose; item?: IconId; t?: number; -}) { - const w = look.build === "slim" ? 0.86 : look.build === "heavy" ? 1.22 : 1; - const breathe = Math.sin(t * 2.2) * 1.6; - const [r0, l0] = ARMS[pose]; - const swing = pose === "wave" ? Math.sin(t * 9) * 14 : Math.sin(t * 1.4) * 2.5; - const rAngle = r0 + swing; - const lAngle = l0 - (pose === "wave" ? 0 : swing); - const shoulderY = 168; - const sx = 34 * w; - const sleeve = look.top.style === "dress" ? look.skin : look.top.color; - const arm = (side: 1 | -1, angle: number, holds?: IconId) => ( - - - - {holds && ( - - + {[53, 147].map((x, i) => ( + + + + ))} + + + {/* Sombra suave do lado de baixo/direito e brilho na testa: volume de ilustração. */} + + + + + + + + + + {look.nose && } + + + + + + {look.accessories?.includes("helmet") && ( + + + + + + )} + {look.accessories?.includes("headset") && ( + )} ); +} + +/** Acessórios por cima da roupa (combináveis). Capacete e fone são desenhados na cabeça. */ +function Accessories({ look, x0, x1, top, bottom, hipY }: { look: CharacterLook; x0: number; x1: number; top: number; bottom: number; hipY: number }) { + const acc = look.accessories ?? []; + const c = look.accessoryColor; + return ( + + {acc.includes("vest") && <> + + + + + } + {acc.includes("apron") && } + {acc.includes("tie") && <>} + {acc.includes("scarf") && <>} + {acc.includes("whistle") && <>} + {acc.includes("chain") && } + {acc.includes("badge") && } + {acc.includes("towel") && } + + ); +} + +export function CharacterFigure({ look = DEFAULT_LOOK, expression, pose, item, t = 0, state }: { + look?: CharacterLook; expression?: string; pose?: string; item?: IconId; t?: number; + /** Estado calculado pela linha do tempo (motion.ts). Sem ele: expressão/pose pedidas + piscar/respirar. */ + state?: Pick; +}) { + const uid = useId().replace(/:/g, ""); + const st = state ?? evaluate({ x: 0, expression, pose }, t, 3600, 1); + const f = st.face; + const b = st.body; + const w = look.build === "slim" ? 0.86 : look.build === "heavy" ? 1.22 : 1; + const breathe = Math.sin(t * 2.2) * 1.4; + + // Quadril desce ao sentar; coxas abrem e encurtam (perspectiva), canelas voltam para baixo. + const hipY = 290 + b.crouch * 62; + const legW = 20 * w; + const pants = look.top.style === "dress" || look.bottom.style !== "pants" ? look.skin : look.bottom.color; + const leg = (s: 1 | -1, l: Limb) => { + const hx = 100 + s * 20 * w; + const thighDeg = -s * (l.raise + b.crouch * 55); + const knee = tip(hx, hipY, thighDeg, 72 * (1 - 0.72 * b.crouch)); + const shinDeg = thighDeg + s * (l.bend + b.crouch * 55); + const foot = tip(knee.x, knee.y, shinDeg, 68); + const shorts = look.bottom.style === "shorts" && look.top.style !== "dress"; + return ( + + + + + + ); + }; + + const sx = 34 * w; + const shY = hipY - 122; + const longSleeve = ["jacket", "hoodie", "uniform"].includes(look.top.style); + const sleeve = look.top.style === "dress" ? look.skin : look.top.color; + const arm = (s: 1 | -1, l: Limb, holds?: IconId) => { + const x = 100 + s * sx; + const upperDeg = -s * l.raise; + const elbow = tip(x, shY, upperDeg, 54); + const foreDeg = upperDeg + s * l.bend; + const hand = tip(elbow.x, elbow.y, foreDeg, 50); + return ( + + + + + + {s < 0 && look.accessories?.includes("watch") && } + {holds && } + + ); + }; + // Mão perto do rosto (pensar, tapar a boca, mão na testa) é desenhada por cima da cabeça. + const handOnFace = b.armR.raise < 45 && b.armR.bend > 135; + + const top = look.top; + const x0 = 100 - 36 * w; + const x1 = 100 + 36 * w; + const torsoTop = hipY - 134; + const torsoBottom = top.style === "dress" ? hipY + 55 : hipY; + const flare = top.style === "dress" ? 14 : 0; + const accent = top.accent ?? shade(top.color, 1.3); + const belly = !!look.belly; + const torsoPath = `M${x0} ${torsoTop + 16} Q${x0} ${torsoTop + 2} ${x0 + 14} ${torsoTop} L${x1 - 14} ${torsoTop} Q${x1} ${torsoTop + 2} ${x1} ${torsoTop + 16} L${x1 + flare} ${torsoBottom} L${x0 - flare} ${torsoBottom} Z`; + const holdItem = b.armR.raise > 20 || b.armR.bend > 40 ? item : undefined; + return ( - - - - {arm(-1, lAngle)} - - {pose !== "think" && arm(1, rAngle, pose === "hold" || pose === "point" ? item : undefined)} - - - - - - - - - - - + + {look.hair.style === "long" && ( + + + + )} + {leg(-1, b.legL)} + {leg(1, b.legR)} + {look.bottom.style === "skirt" && look.top.style !== "dress" && ( + + )} + + {arm(-1, b.armL)} + + {top.style === "hoodie" && } + + + {belly && } + + + + {/* Volume da barriga: curva de baixo mais escura e brilho em cima, sem "mancha". */} + {belly && <> + } + {(top.style === "shirt" || top.style === "uniform") && } + {(top.style === "jacket" || top.style === "hoodie") && } + {top.style === "uniform" && } + {top.style === "shirt" && top.accent && } + {top.style === "jacket" && <>} + {top.style === "hoodie" && } + {top.style === "dress" && [0, 1, 2, 3].map((i) => )} + + + {!handOnFace && arm(1, b.armR, holdItem)} + + + + {st.emote && ( + + + {st.emote.text} + + )} + + {handOnFace && arm(1, b.armR)} - {/* Pensando: a mão vai ao queixo, por cima da barba. */} - {pose === "think" && arm(1, rAngle)} ); diff --git a/cartoon/src/Shot.tsx b/cartoon/src/Shot.tsx index 809f009..7285daf 100644 --- a/cartoon/src/Shot.tsx +++ b/cartoon/src/Shot.tsx @@ -4,9 +4,10 @@ import React from "react"; import { AbsoluteFill, useCurrentFrame, useVideoConfig } from "remotion"; import { CrowdFigure, PersonFigure } from "./actors"; import { Icon } from "./icons"; -import { Captions, CrossOut, Hud, Rings, TagLabel, TextLayer, pop, shake } from "./overlays"; +import { Captions, CrossOut, Grain, Hud, Rings, TagLabel, TextLayer, pop, shake } from "./overlays"; import { SceneBackground } from "./scenes"; import { CharacterFigure } from "./CharacterFigure"; +import { evaluate } from "./motion"; import { LightLayer } from "./places"; import type { ShotSpec } from "./spec"; import { loadFonts } from "./theme"; @@ -35,16 +36,25 @@ export function Shot(spec: ShotSpec) { ); } if (a.character) { - // Personagem da biblioteca: mesmo visual em toda cena; muda expressão, pose e objeto na mão. - const ch = height * 0.36 * (a.scale ?? 1); + // Personagem da biblioteca: mesmo visual em toda cena. Expressão, pose, andar, pular, falar… saem da + // linha do tempo (motion.ts), com a boca na fala (palavras + volume do áudio). + const t = frame / fps; + const st = evaluate({ x: a.x, expression: a.expression, pose: a.pose, face: a.face, body: a.body, flip: a.flip, timeline: a.timeline }, + t, spec.durationS, spec.seed + i * 13, { words: spec.words ?? [], env: spec.audioEnv }); + // Meio corpo / de perto: o personagem cresce e os pés saem do quadro (cabeça perto do terço de cima). + const zoom = a.framing === "close" ? 2.9 : a.framing === "medium" ? 1.9 : 1; + const ch = height * 0.36 * (a.scale ?? 1) * zoom; const cw = (ch * 200) / 440; + const baseY = a.framing === "close" ? 1.15 : a.framing === "medium" ? 0.98 : a.y; const label = a.label ?? a.character.name; + const showLabel = label && Math.abs(st.rot) < 30; return ( -
- - {label && ( -
+
+ + {showLabel && ( +
1 ? "8%" : "50%", top: zoom > 1 ? "22%" : "-15%", transform: `translateX(-50%) scaleX(${st.flip ? -1 : 1})`, textAlign: "center" }}> {a.character.caption &&
}
@@ -80,6 +90,7 @@ export function Shot(spec: ShotSpec) { {(spec.texts ?? []).map((t, i) => )} + {(spec.grain ?? 0.11) > 0 && } {spec.hud && } {spec.words?.length ? : null} diff --git a/cartoon/src/character.ts b/cartoon/src/character.ts index 99fa0d4..e7ada6d 100644 --- a/cartoon/src/character.ts +++ b/cartoon/src/character.ts @@ -9,11 +9,18 @@ export const GLASSES = ["none", "round", "square", "sun"] as const; export const BROWS = ["thin", "thick"] as const; export const TOP_STYLES = ["shirt", "jacket", "hoodie", "dress", "uniform"] as const; export const BOTTOM_STYLES = ["pants", "shorts", "skirt"] as const; -export const EXPRESSIONS = ["neutral", "happy", "sad", "worried", "angry", "surprised", "scared"] as const; -export const POSES = ["stand", "point", "wave", "hold", "arms_up", "shrug", "think"] as const; +export const HEAD_SHAPES = ["round", "oval", "square", "wide"] as const; +export const NOSES = ["button", "curve", "round", "long", "wide"] as const; +/** Acessórios desenhados por cima da roupa (combináveis). */ +export const ACCESSORIES = ["towel", "whistle", "tie", "vest", "helmet", "watch", "badge", "apron", "scarf", "headset", "chain"] as const; +export type Accessory = (typeof ACCESSORIES)[number]; +// Expressões e poses são ATALHOS do rig (rig.ts): parâmetros contínuos que dá para ajustar e misturar. +import { EXPRESSION_NAMES, POSE_NAMES, type ExpressionName, type PoseName } from "./rig"; -export type Expression = (typeof EXPRESSIONS)[number]; -export type Pose = (typeof POSES)[number]; +export const EXPRESSIONS = EXPRESSION_NAMES; +export const POSES = POSE_NAMES; +export type Expression = ExpressionName; +export type Pose = PoseName; export type CharacterLook = { build: (typeof BUILDS)[number]; @@ -27,6 +34,18 @@ export type CharacterLook = { top: { style: (typeof TOP_STYLES)[number]; color: string; accent?: string }; bottom: { style: (typeof BOTTOM_STYLES)[number]; color: string }; shoes: string; + /** Detalhe de ilustração (opcionais; sem eles o personagem sai no traço simples). */ + head?: (typeof HEAD_SHAPES)[number]; + nose?: (typeof NOSES)[number]; + /** Pálpebra de cima de base (0 olho aberto … 0,6 meio caído, olhar cansado/esperto). */ + lids?: number; + /** Rugas (0 nenhuma … 1 muitas: testa e canto dos olhos). */ + wrinkles?: number; + /** Barriga saliente (o "forte" de barriga). */ + belly?: boolean; + accessories?: Accessory[]; + /** Cor dos acessórios principais (toalha, gravata, colete, capacete…). */ + accessoryColor?: string; }; /** Ficha do personagem na biblioteca. `kind: "3d"` aponta para a pessoa articulada da Godot (godot/kits). */ @@ -73,8 +92,14 @@ export function validateLook(look: unknown): string[] { if (!one(BROWS, l.brows)) errors.push(`brows: ${BROWS.join("|")}`); if (!one(TOP_STYLES, l.top?.style)) errors.push(`top.style: ${TOP_STYLES.join("|")}`); if (!one(BOTTOM_STYLES, l.bottom?.style)) errors.push(`bottom.style: ${BOTTOM_STYLES.join("|")}`); + if (l.head !== undefined && !one(HEAD_SHAPES, l.head)) errors.push(`head: ${HEAD_SHAPES.join("|")}`); + if (l.nose !== undefined && !one(NOSES, l.nose)) errors.push(`nose: ${NOSES.join("|")}`); + if (l.lids !== undefined && !(typeof l.lids === "number" && l.lids >= 0 && l.lids <= 0.8)) errors.push("lids entre 0 e 0,8"); + if (l.wrinkles !== undefined && !(typeof l.wrinkles === "number" && l.wrinkles >= 0 && l.wrinkles <= 1)) errors.push("wrinkles entre 0 e 1"); + if (l.accessories !== undefined && (!Array.isArray(l.accessories) || l.accessories.some((a) => !one(ACCESSORIES, a)))) errors.push(`accessories: ${ACCESSORIES.join("|")}`); + if (l.accessoryColor !== undefined && !HEX.test(l.accessoryColor)) errors.push("accessoryColor: cor #rrggbb"); return errors; } -export const isExpression = (v: unknown): v is Expression => one(EXPRESSIONS, v); -export const isPose = (v: unknown): v is Pose => one(POSES, v); +export const isExpression = (v: unknown): v is Expression => typeof v === "string" && (EXPRESSIONS as string[]).includes(v); +export const isPose = (v: unknown): v is Pose => typeof v === "string" && (POSES as string[]).includes(v); diff --git a/cartoon/src/lipsync.ts b/cartoon/src/lipsync.ts new file mode 100644 index 0000000..29151b3 --- /dev/null +++ b/cartoon/src/lipsync.ts @@ -0,0 +1,87 @@ +// Boca acompanhando a fala SEM perder a expressão. O formato vem das letras da palavra que está sendo dita +// (tempos de cada palavra da transcrição): "a" abre, "e/i" esticam, "o/u" arredondam, "m/b/p" fecham, "f/v" +// mostram os dentes; vogal dura mais que consoante e as letras vizinhas se misturam (coarticulação). Se houver +// o volume do áudio quadro a quadro (`env`), ele fecha a boca nas pausas e abre mais nas sílabas fortes. +// A expressão continua por cima: os cantos (sorriso/tristeza), as sobrancelhas e os olhos são dela. +import type { FaceParams } from "./rig"; + +export type Viseme = { open: number; wide: number; round: number; teeth: boolean }; +export type SpokenWord = { text: string; startS: number; endS: number }; + +const CLOSED: Viseme = { open: 0, wide: 0, round: 0, teeth: false }; +const V: Record = { + a: { open: 0.85, wide: 0.3, round: 0, teeth: false }, + e: { open: 0.55, wide: 0.65, round: 0, teeth: true }, + i: { open: 0.3, wide: 0.95, round: 0, teeth: true }, + o: { open: 0.65, wide: 0, round: 0.75, teeth: false }, + u: { open: 0.35, wide: 0, round: 1, teeth: false }, + mbp: { open: 0, wide: 0.1, round: 0, teeth: false }, + fv: { open: 0.12, wide: 0.2, round: 0, teeth: true }, + cons: { open: 0.3, wide: 0.3, round: 0, teeth: true }, +}; + +function visemeOf(ch: string): Viseme { + if ("aáàâã".includes(ch)) return V.a; + if ("eéê".includes(ch)) return V.e; + if ("iíy".includes(ch)) return V.i; + if ("oóôõ".includes(ch)) return V.o; + if ("uúü".includes(ch)) return V.u; + if ("mbp".includes(ch)) return V.mbp; + if ("fv".includes(ch)) return V.fv; + return V.cons; +} +const isVowel = (ch: string) => /[aáàâãeéêiíyoóôõuúü]/.test(ch); + +function mix(a: Viseme, b: Viseme, k: number): Viseme { + return { open: a.open + (b.open - a.open) * k, wide: a.wide + (b.wide - a.wide) * k, round: a.round + (b.round - a.round) * k, teeth: k < 0.5 ? a.teeth : b.teeth }; +} + +/** Formato da boca no instante `t` (segundos do trecho) para as palavras dadas; fechada fora das palavras. */ +export function visemeAt(words: SpokenWord[], t: number, env?: { values: number[]; fps: number }): Viseme { + const w = words.find((x) => t >= x.startS && t < x.endS); + if (!w) { + // Fim de palavra: fecha em ~60 ms em vez de bater a boca. + const prev = [...words].reverse().find((x) => x.endS <= t); + return prev && t - prev.endS < 0.06 ? mix(V.cons, CLOSED, (t - prev.endS) / 0.06) : CLOSED; + } + const letters = [...w.text.toLowerCase().replace(/(ch|lh|nh|qu)/g, "c").replace(/[^a-záàâãéêíóôõúüçy]/g, "")]; + if (!letters.length) return CLOSED; + // Vogal pesa o dobro da consoante no tempo da palavra. + const weights = letters.map((ch) => (isVowel(ch) ? 1.7 : 0.8)); + const total = weights.reduce((a, b) => a + b, 0); + let pos = ((t - w.startS) / Math.max(0.04, w.endS - w.startS)) * total; + let i = 0; + while (i < letters.length - 1 && pos > weights[i]) { pos -= weights[i]; i++; } + const frac = Math.min(1, pos / weights[i]); + const cur = visemeOf(letters[i]); + const next = i + 1 < letters.length ? visemeOf(letters[i + 1]) : CLOSED; + // Coarticulação: a 2ª metade da letra já caminha para a próxima. + let v = frac > 0.5 ? mix(cur, next, (frac - 0.5) * 0.9) : cur; + if (env?.values.length) { + const a = env.values[Math.min(env.values.length - 1, Math.max(0, Math.floor(t * env.fps)))] ?? 0; + const k = Math.max(0, Math.min(1.15, (a - 0.03) / 0.3)); + v = { ...v, open: v.open * (0.25 + 0.75 * Math.min(1, k)) * (k < 0.05 ? 0.2 : 1) }; + } + return v; +} + +/** Ênfase (0–1) no instante: o volume perto do pico levanta um pouco as sobrancelhas. */ +export function emphasisAt(t: number, env?: { values: number[]; fps: number }): number { + if (!env?.values.length) return 0; + const a = env.values[Math.min(env.values.length - 1, Math.max(0, Math.floor(t * env.fps)))] ?? 0; + return Math.max(0, Math.min(1, (a - 0.45) / 0.4)); +} + +/** Põe a fala na boca mantendo a expressão (cantos, sobrancelhas, olhos). `k` = quanto da fala entra (0–1). */ +export function speak(face: FaceParams, v: Viseme, k = 1, emphasis = 0): FaceParams { + const open = Math.max(face.mouthOpen * 0.35, v.open * 0.9); + return { + ...face, + mouthOpen: face.mouthOpen + (open - face.mouthOpen) * k, + mouthWidth: face.mouthWidth * (1 + (v.wide * 0.22 - v.round * 0.45) * k), + mouthRound: face.mouthRound + (v.round - face.mouthRound) * k, + teeth: k > 0.5 ? v.teeth && v.open > 0.1 : face.teeth, + browL: { ...face.browL, y: face.browL.y - emphasis * 3 * k }, + browR: { ...face.browR, y: face.browR.y - emphasis * 3 * k }, + }; +} diff --git a/cartoon/src/motion.ts b/cartoon/src/motion.ts new file mode 100644 index 0000000..29c635d --- /dev/null +++ b/cartoon/src/motion.ts @@ -0,0 +1,216 @@ +// Movimento do personagem: uma LINHA DO TEMPO de ações que se combinam (não animações prontas). Cada ação tem +// início (segundos `at`, fração do trecho `atP` ou a palavra da narração `cue`) e duração; o estado em cada +// quadro sai de aplicar as ações em ordem sobre a expressão/pose de base, mais a "vida" (piscar, respirar). +// Ações permanentes mudam o estado dali em diante (express, pose, walk, sit, fall, turn, look); as momentâneas +// voltam ao fim (nod, shake_head, tremble, bounce, wave, jump, talk, emote). +import { emphasisAt, speak, visemeAt, type SpokenWord } from "./lipsync"; +import { blendBody, blendFace, bodyOf, faceOf, withBody, withFace, type BodyParams, type BodyPatch, type FaceParams, type FacePatch } from "./rig"; + +export const ACTIONS = ["express", "pose", "walk", "run", "enter", "exit", "jump", "nod", "shake_head", "tremble", "bounce", "fall", + "sit", "stand_up", "turn", "talk", "look", "emote", "wave"] as const; +export type ActionKind = (typeof ACTIONS)[number]; + +export type Action = { + do: ActionKind; + /** Início: segundos, fração do trecho (0–1) ou a 1ª palavra da narração que começa com `cue`. */ + at?: number; atP?: number; cue?: string; + dur?: number; + /** talk: termina no fim desta palavra da narração (a fala vai de `cue` até `cueEnd`). */ + cueEnd?: string; + expression?: string; face?: FacePatch; + pose?: string; body?: BodyPatch; + /** walk/run/enter: x de destino (fração). */ + to?: number; + /** look: para onde; fall: para que lado. */ + dir?: "left" | "right" | "up" | "down"; + /** nod/shake_head/bounce/wave: repetições. jump: altura (fração da altura do quadro). */ + times?: number; height?: number; + /** emote: símbolo sobre a cabeça ("!", "?", "…", "♥", "zzz", "💢"). talk: o texto falado (sem tempos de palavra, é + * repartido pela duração). */ + text?: string; +}; + +export type ActorInput = { + x: number; expression?: string; pose?: string; face?: FacePatch; body?: BodyPatch; flip?: boolean; timeline?: Action[]; +}; + +export type ActorState = { + face: FaceParams; body: BodyParams; + x: number; dy: number; dx: number; rot: number; sx: number; sy: number; flip: boolean; + emote: { text: string; k: number } | null; +}; + +const DEFAULT_DUR: Record = { + express: 0.25, pose: 0.35, walk: 1.6, run: 0.9, enter: 1.2, exit: 1.2, jump: 0.8, nod: 0.7, shake_head: 0.8, tremble: 1, bounce: 0.8, + fall: 0.6, sit: 0.5, stand_up: 0.5, turn: 0.3, talk: 1.5, look: 0.3, emote: 1.2, wave: 1.2, +}; + +const clamp01 = (v: number) => Math.max(0, Math.min(1, v)); +const ease = (p: number) => (p < 0.5 ? 2 * p * p : 1 - (-2 * p + 2) ** 2 / 2); +/** Passa um pouco do alvo e volta (dá vida às poses). */ +const easeBack = (p: number) => { const c = 1.4; return 1 + (c + 1) * (p - 1) ** 3 + c * (p - 1) ** 2; }; +const norm = (s: string) => s.normalize("NFD").replace(/[̀-ͯ]/g, "").toLowerCase().replace(/[^a-z0-9]/g, ""); + +/** Início da ação em segundos (cue = palavra falada; sem a palavra, cai para atP/at/0). */ +export function startOf(a: Action, durationS: number, words: { text: string; startS: number }[] = []): number { + if (a.cue) { + const c = norm(a.cue); + const w = words.find((x) => norm(x.text).startsWith(c)); + if (w) return w.startS; + } + if (a.atP !== undefined) return a.atP * durationS; + return a.at ?? 0; +} + +/** Piscar em intervalos variados (2,4–4,6 s), determinístico pela semente. */ +function blinkAt(t: number, seed: number): number { + let s = 0.6 + (seed % 7) * 0.13; + let k = 1; + while (s < t + 0.2) { + const d = t - s; + if (d >= 0 && d < 0.13) k = Math.min(k, Math.abs(d - 0.065) / 0.065); + s += 2.4 + ((Math.sin(s * 12.9898 + seed) + 1) / 2) * 2.2; + } + return k; +} + +/** Fala do trecho: palavras com tempo (narração) e, se houver, o volume do áudio quadro a quadro. */ +export type Speech = { words: SpokenWord[]; env?: { values: number[]; fps: number } }; + +/** Fim da fala: o fim da palavra `cueEnd` (depois do início), senão início + dur. */ +function endOf(a: Action, s: number, words: SpokenWord[]): number | null { + if (!a.cueEnd) return null; + const c = norm(a.cueEnd); + const w = words.find((x) => x.startS >= s - 0.01 && norm(x.text).startsWith(c)); + return w ? w.endS : null; +} + +export function evaluate(actor: ActorInput, t: number, durationS: number, seed = 1, speech: Speech = { words: [] }): ActorState { + const words = speech.words; + const st: ActorState = { + face: faceOf(actor.expression, actor.face), body: bodyOf(actor.pose, actor.body), + x: actor.x, dy: 0, dx: 0, rot: 0, sx: 1, sy: 1, flip: !!actor.flip, emote: null, + }; + const timeline = (actor.timeline ?? []).map((a) => ({ a, s: startOf(a, durationS, words) })).sort((p, q) => p.s - q.s); + for (const { a, s } of timeline) { + if (t < s) break; + const end = a.do === "talk" ? endOf(a, s, words) : null; + const d = Math.max(0.05, end !== null ? end - s : a.dur ?? DEFAULT_DUR[a.do]); + const p = clamp01((t - s) / d); + const active = t - s < d; + const env = active ? Math.min(1, (t - s) / 0.15, (s + d - t) / 0.15) : 0; // entra e sai suave (momentâneas) + switch (a.do) { + case "express": { + const target = a.expression ? faceOf(a.expression, a.face) : withFace(st.face, a.face); + st.face = blendFace(st.face, target, ease(p)); + break; + } + case "pose": { + const target = a.pose ? bodyOf(a.pose, a.body) : withBody(st.body, a.body); + st.body = blendBody(st.body, target, clamp01(easeBack(p))); + break; + } + case "walk": case "run": case "enter": case "exit": { + const from = a.do === "enter" ? (a.to ?? st.x) < 0.5 ? -0.25 : 1.25 : st.x; + const to = a.do === "exit" ? (st.x < 0.5 ? -0.3 : 1.3) : a.to ?? st.x; + const run = a.do === "run"; + st.x = from + (to - from) * (run ? p : ease(p)); + if (to !== from) st.flip = to < from; + if (active) { + const phase = (t - s) * Math.PI * 2 * (run ? 3.2 : 2.1); + const amp = run ? 1.6 : 1; + const sw = Math.sin(phase); + st.body = withBody(st.body, { + armL: { raise: 8 + sw * 20 * amp, bend: run ? 85 : 15 }, armR: { raise: 8 - sw * 20 * amp, bend: run ? 85 : 15 }, + legL: { raise: 3 + Math.max(0, sw) * 6, bend: Math.max(0, sw) * 38 * amp }, legR: { raise: 3 + Math.max(0, -sw) * 6, bend: Math.max(0, -sw) * 38 * amp }, + lean: (to < from ? -1 : 1) * (run ? 8 : 3), + }); + st.dy -= Math.abs(Math.sin(phase)) * (run ? 0.012 : 0.006); + } + break; + } + case "jump": { + if (!active) break; + const h = a.height ?? 0.08; + if (p < 0.15) { st.sy *= 1 - 0.1 * (p / 0.15); st.sx *= 1 + 0.06 * (p / 0.15); st.body = withBody(st.body, { crouch: 0.35 * (p / 0.15) }); } + else if (p < 0.85) { + const q = (p - 0.15) / 0.7; + st.dy -= h * 4 * q * (1 - q); + st.sy *= 1.07; st.sx *= 0.95; + st.body = withBody(st.body, { arms: { raise: 120, bend: -10 }, legs: { raise: 6, bend: 30 } }); + } else { const q = (p - 0.85) / 0.15; st.sy *= 1 - 0.08 * (1 - q); st.sx *= 1 + 0.05 * (1 - q); } + break; + } + case "nod": st.body = withBody(st.body, { headNod: st.body.headNod + Math.sin(p * Math.PI * 2 * (a.times ?? 2)) * 0.6 * env }); break; + case "shake_head": st.body = withBody(st.body, { headTurn: st.body.headTurn + Math.sin(p * Math.PI * 2 * (a.times ?? 2)) * 0.7 * env }); break; + case "tremble": if (active) { st.dx += Math.sin(t * 77.7) * 0.004 * env; st.dy += Math.cos(t * 91.3) * 0.002 * env; } break; + case "bounce": st.dy -= Math.abs(Math.sin(p * Math.PI * (a.times ?? 2))) * 0.02 * env; break; + case "fall": { + const side = a.dir === "right" ? 1 : -1; + st.rot = side * 88 * ease(p); + st.dy += 0.02 * ease(p); + st.face = blendFace(st.face, faceOf("shocked"), Math.min(1, p * 3)); + break; + } + case "sit": st.body = blendBody(st.body, withBody(st.body, { crouch: 1, arms: { raise: 14, bend: 40 } }), ease(p)); break; + case "stand_up": st.body = blendBody(st.body, withBody(st.body, { crouch: 0 }), ease(p)); break; + case "turn": { + const flipped = !st.flip; + if (p >= 0.5) st.flip = flipped; + if (active) st.sx *= Math.max(0.15, Math.abs(Math.cos(p * Math.PI))); + break; + } + case "talk": { + if (!active) break; + // Palavras da narração dentro da fala; sem elas, o texto da ação repartido pela duração (vogal pesa mais). + let spoken = words.filter((w) => w.endS > s && w.startS < s + d); + if (!spoken.length && a.text) { + const list = a.text.split(/\s+/).filter(Boolean); + const total = list.reduce((n, w) => n + w.length + 1, 0); + let c = s; + spoken = list.map((w) => { const len = (d * (w.length + 1)) / total; const out = { text: w, startS: c, endS: c + len * 0.88 }; c += len; return out; }); + } + if (spoken.length) { + st.face = speak(st.face, visemeAt(spoken, t, speech.env), Math.min(1, (t - s) / 0.08, (s + d - t) / 0.08 + 0.2), emphasisAt(t, speech.env)); + } else { + const flap = Math.abs(Math.sin((t - s) * Math.PI * 2 * 4.3 + seed)) * (0.6 + 0.4 * Math.sin((t - s) * 9.1 + seed)); + st.face = { ...st.face, mouthOpen: Math.max(st.face.mouthOpen, (0.12 + 0.5 * flap) * env), teeth: st.face.teeth || flap > 0.6 }; + } + // Quem fala mexe a cabeça de leve e acompanha as sílabas fortes. + st.body = withBody(st.body, { headTilt: st.body.headTilt + Math.sin((t - s) * 5.3) * 2 * env, headNod: st.body.headNod + emphasisAt(t, speech.env) * 0.25 }); + break; + } + case "look": { + const gx = a.dir === "left" ? -0.9 : a.dir === "right" ? 0.9 : 0; + const gy = a.dir === "up" ? -0.8 : a.dir === "down" ? 0.8 : 0; + const k = ease(p); + st.face = { ...st.face, gazeX: st.face.gazeX + (gx - st.face.gazeX) * k, gazeY: st.face.gazeY + (gy - st.face.gazeY) * k }; + st.body = withBody(st.body, { headTurn: st.body.headTurn + (gx * 0.5 - st.body.headTurn) * k, headNod: st.body.headNod + (gy * -0.4 - st.body.headNod) * k }); + break; + } + case "emote": if (active) st.emote = { text: a.text ?? "!", k: env }; break; + case "wave": if (active) st.body = withBody(st.body, { armR: { raise: 140 * Math.min(1, env * 1.5), bend: -25 + Math.sin(p * Math.PI * 2 * (a.times ?? 3)) * 30 } }); break; + } + } + // Vida: piscar (a não ser de olhos quase fechados), respirar e um balanço leve de cabeça. + const blink = blinkAt(t, seed); + if (blink < 1) st.face = { ...st.face, eyeL: st.face.eyeL * Math.max(0.08, blink), eyeR: st.face.eyeR * Math.max(0.08, blink) }; + st.body = withBody(st.body, { headTilt: st.body.headTilt + Math.sin(t * 0.9 + seed) * 1.2 }); + return st; +} + +/** Confere uma linha do tempo (lista de problemas; vazia = ok). */ +export function validateTimeline(timeline: unknown): string[] { + if (timeline === undefined) return []; + if (!Array.isArray(timeline) || timeline.length > 40) return ["timeline: lista de até 40 ações"]; + const errors: string[] = []; + timeline.forEach((a: Partial, i) => { + if (!a || !ACTIONS.includes(a.do as ActionKind)) errors.push(`timeline[${i}].do: ${ACTIONS.join(", ")}`); + for (const k of ["at", "atP", "dur", "to", "times", "height"] as const) { + if (a[k] !== undefined && (typeof a[k] !== "number" || !Number.isFinite(a[k]))) errors.push(`timeline[${i}].${k}: número`); + } + if (a.atP !== undefined && !(a.atP >= 0 && a.atP <= 1)) errors.push(`timeline[${i}].atP entre 0 e 1`); + if (a.dur !== undefined && !(a.dur > 0 && a.dur <= 30)) errors.push(`timeline[${i}].dur entre 0 e 30 s`); + }); + return errors; +} diff --git a/cartoon/src/overlays.tsx b/cartoon/src/overlays.tsx index 1200104..b78cacd 100644 --- a/cartoon/src/overlays.tsx +++ b/cartoon/src/overlays.tsx @@ -130,3 +130,16 @@ export function Captions({ words, frame, fps, y = 0.665 }: { words: Word[]; fram
); } + +/** Textura de papel/granulado por cima de tudo: tira a cara de "vetor de computador" (acabamento de ilustração). */ +export function Grain({ opacity = 0.11, seed = 3 }: { opacity?: number; seed?: number }) { + return ( + + + + + + + + ); +} diff --git a/cartoon/src/rig.ts b/cartoon/src/rig.ts new file mode 100644 index 0000000..0489cde --- /dev/null +++ b/cartoon/src/rig.ts @@ -0,0 +1,163 @@ +// Rig do personagem: o rosto e o corpo são PARÂMETROS contínuos, não desenhos prontos. Uma expressão ou uma +// pose é só um conjunto de valores; dá para misturar (blend), ajustar um valor ("sorriso 0,3 a mais") e criar +// novas sem mexer no desenho. Ângulos em graus; "para fora" positivo nos dois lados (o desenho espelha). + +export type FaceParams = { + /** Sobrancelha: y (px; negativo sobe) e tilt (graus; positivo = ponta de dentro sobe, como triste/preocupado). */ + browL: { y: number; tilt: number }; + browR: { y: number; tilt: number }; + /** Abertura dos olhos (0 fechado · 1 normal · 1,35 arregalado). */ + eyeL: number; + eyeR: number; + /** Tamanho da pupila (0,4 pavor · 1 normal · 1,3 encantado). */ + pupil: number; + /** Direção do olhar (-1…1). */ + gazeX: number; + gazeY: number; + /** Boca: abertura 0…1, sorriso -1 (triste) … 1 (feliz), largura 0,5…1,4, dentes à mostra. */ + mouthOpen: number; + smile: number; + mouthWidth: number; + /** Arredondamento dos lábios (0 normal … 1 bico de "o/u"): vem da fala (lipsync.ts). */ + mouthRound: number; + /** Pálpebra de cima somada à de base do personagem (−0,5 arregala … 0,6 quase fecha). */ + lid: number; + teeth: boolean; + /** Extras: rubor 0…1, gota de suor, lágrimas, veia de raiva. */ + blush: number; + sweat: boolean; + tears: boolean; + anger: boolean; +}; + +export type Limb = { + /** Abertura a partir do corpo (0 = para baixo; 90 = horizontal para fora; 180 = para cima). */ + raise: number; + /** Dobra do cotovelo/joelho (positivo = antebraço/canela para dentro, na frente do corpo). */ + bend: number; +}; + +export type BodyParams = { + /** Inclinação do tronco (graus; positivo = para a direita de quem olha). */ + lean: number; + /** Cabeça: inclinação (graus), virada (-1…1, finge 3/4) e aceno (-1 olha para cima … 1 para baixo). */ + headTilt: number; + headTurn: number; + headNod: number; + armL: Limb; + armR: Limb; + legL: Limb; + legR: Limb; + /** Agachar/sentar: 0 em pé … 1 sentado (quadril desce, coxa encurta em perspectiva). */ + crouch: number; +}; + +export const NEUTRAL_FACE: FaceParams = { + browL: { y: 0, tilt: 0 }, browR: { y: 0, tilt: 0 }, eyeL: 1, eyeR: 1, pupil: 1, gazeX: 0, gazeY: 0, + mouthOpen: 0, smile: 0.1, mouthWidth: 1, mouthRound: 0, lid: 0, teeth: false, blush: 0, sweat: false, tears: false, anger: false, +}; + +export const NEUTRAL_BODY: BodyParams = { + lean: 0, headTilt: 0, headTurn: 0, headNod: 0, + armL: { raise: 8, bend: 6 }, armR: { raise: 8, bend: 6 }, legL: { raise: 2, bend: 0 }, legR: { raise: 2, bend: 0 }, crouch: 0, +}; + +type FacePatch = Partial> & { browL?: Partial; browR?: Partial; brows?: Partial; eyes?: number }; +type BodyPatch = Partial> & { armL?: Partial; armR?: Partial; legL?: Partial; legR?: Partial; arms?: Partial; legs?: Partial }; + +/** Aplica um ajuste parcial (aceita `brows`/`eyes`/`arms`/`legs` para os dois lados de uma vez). */ +export function withFace(base: FaceParams, p: FacePatch = {}): FaceParams { + const { brows, eyes, browL, browR, ...rest } = p; + return { + ...base, ...rest, + browL: { ...base.browL, ...brows, ...browL }, browR: { ...base.browR, ...brows, ...browR }, + eyeL: rest.eyeL ?? eyes ?? base.eyeL, eyeR: rest.eyeR ?? eyes ?? base.eyeR, + }; +} +export function withBody(base: BodyParams, p: BodyPatch = {}): BodyParams { + const { arms, legs, armL, armR, legL, legR, ...rest } = p; + return { + ...base, ...rest, + armL: { ...base.armL, ...arms, ...armL }, armR: { ...base.armR, ...arms, ...armR }, + legL: { ...base.legL, ...legs, ...legL }, legR: { ...base.legR, ...legs, ...legR }, + }; +} + +/** Expressões prontas = atalhos de parâmetros (dá para ajustar qualquer valor por cima com `face`). */ +export const EXPRESSION_PRESETS = { + neutral: {}, + smile: { smile: 0.7, eyes: 0.9 }, + happy: { smile: 0.9, mouthOpen: 0.3, teeth: true, eyes: 0.85, brows: { y: -3 } }, + laugh: { smile: 1, mouthOpen: 0.75, teeth: true, eyes: 0.18, brows: { y: -5 }, blush: 0.4 }, + proud: { smile: 0.6, lid: 0.35, brows: { y: -2 } }, + sad: { smile: -0.7, brows: { tilt: 16 }, eyes: 0.8, gazeY: 0.5 }, + cry: { smile: -0.9, mouthOpen: 0.35, brows: { tilt: 20 }, eyes: 0.4, tears: true }, + worried: { smile: -0.3, brows: { tilt: 14, y: -2 }, eyes: 1.05, sweat: true }, + angry: { smile: -0.4, brows: { tilt: -18, y: 3 }, lid: 0.25, mouthWidth: 0.9 }, + furious: { smile: -0.6, mouthOpen: 0.6, teeth: true, brows: { tilt: -24, y: 4 }, lid: 0.3, anger: true }, + surprised: { mouthOpen: 0.6, mouthWidth: 0.55, smile: 0, brows: { y: -8 }, eyes: 1.25, pupil: 0.8, lid: -0.5 }, + scared: { mouthOpen: 0.5, mouthWidth: 0.9, smile: -0.5, teeth: true, brows: { tilt: 18, y: -6 }, eyes: 1.3, pupil: 0.55, sweat: true, lid: -0.5 }, + shocked: { mouthOpen: 0.95, mouthWidth: 0.6, smile: 0, brows: { y: -10 }, eyes: 1.35, pupil: 0.45, lid: -0.5 }, + suspicious: { smile: -0.1, mouthWidth: 0.8, browL: { y: -6, tilt: 0 }, browR: { y: 4, tilt: -10 }, lid: 0.45, gazeX: 0.6 }, + smirk: { smile: 0.45, mouthWidth: 0.8, browL: { y: -5 }, lid: 0.3, gazeX: -0.3 }, + confused: { smile: -0.2, mouthWidth: 0.75, browL: { y: -7 }, browR: { tilt: -8 }, gazeY: -0.6, gazeX: 0.4 }, + disgusted: { smile: -0.7, mouthWidth: 1.1, brows: { tilt: -10, y: 2 }, lid: 0.35 }, + sleepy: { lid: 0.6, brows: { y: 3 }, mouthOpen: 0.1, smile: 0 }, + determined: { smile: 0.1, mouthWidth: 0.85, brows: { tilt: -10, y: 2 }, lid: 0.2 }, + embarrassed: { smile: 0.3, blush: 1, gazeY: 0.6, gazeX: -0.4, eyes: 0.8, sweat: true }, +} satisfies Record; + +/** Poses prontas = atalhos de ângulos (ajustáveis por cima com `body`). */ +export const POSE_PRESETS = { + stand: {}, + point: { armR: { raise: 92, bend: 0 } }, + wave: { armR: { raise: 140, bend: -25 } }, + hold: { armR: { raise: 28, bend: 75 } }, + arms_up: { arms: { raise: 158, bend: -10 } }, + celebrate: { arms: { raise: 150, bend: -30 }, headNod: -0.4 }, + shrug: { arms: { raise: 38, bend: 100 }, headTilt: 7 }, + think: { armR: { raise: 18, bend: 150 }, headTilt: -6 }, + hands_on_hips: { arms: { raise: 42, bend: 105 } }, + cross_arms: { arms: { raise: 22, bend: 128 } }, + facepalm: { armR: { raise: 26, bend: 158 }, headNod: 0.5, headTilt: 5 }, + cover_mouth: { armR: { raise: 16, bend: 168 } }, + defend: { arms: { raise: 62, bend: 118 }, lean: -4 }, + reach: { armR: { raise: 70, bend: -10 }, lean: 6 }, + sit: { crouch: 1, arms: { raise: 14, bend: 40 } }, + kneel: { crouch: 0.6, arms: { raise: 10, bend: 20 } }, + lean_in: { lean: 8, headTilt: 6 }, +} satisfies Record; + +export type ExpressionName = keyof typeof EXPRESSION_PRESETS; +export type PoseName = keyof typeof POSE_PRESETS; +export const EXPRESSION_NAMES = Object.keys(EXPRESSION_PRESETS) as ExpressionName[]; +export const POSE_NAMES = Object.keys(POSE_PRESETS) as PoseName[]; + +export const faceOf = (name: string | undefined, patch?: FacePatch): FaceParams => + withFace(withFace(NEUTRAL_FACE, (EXPRESSION_PRESETS as Record)[name ?? "neutral"] ?? {}), patch); +export const bodyOf = (name: string | undefined, patch?: BodyPatch): BodyParams => + withBody(withBody(NEUTRAL_BODY, (POSE_PRESETS as Record)[name ?? "stand"] ?? {}), patch); + +const lerp = (a: number, b: number, k: number) => a + (b - a) * k; +const limb = (a: Limb, b: Limb, k: number): Limb => ({ raise: lerp(a.raise, b.raise, k), bend: lerp(a.bend, b.bend, k) }); + +/** Mistura duas expressões (k = 0 → a, 1 → b). Os "liga/desliga" trocam na metade. */ +export function blendFace(a: FaceParams, b: FaceParams, k: number): FaceParams { + const pick = (x: T, y: T) => (k < 0.5 ? x : y); + return { + browL: { y: lerp(a.browL.y, b.browL.y, k), tilt: lerp(a.browL.tilt, b.browL.tilt, k) }, + browR: { y: lerp(a.browR.y, b.browR.y, k), tilt: lerp(a.browR.tilt, b.browR.tilt, k) }, + eyeL: lerp(a.eyeL, b.eyeL, k), eyeR: lerp(a.eyeR, b.eyeR, k), pupil: lerp(a.pupil, b.pupil, k), + gazeX: lerp(a.gazeX, b.gazeX, k), gazeY: lerp(a.gazeY, b.gazeY, k), + mouthOpen: lerp(a.mouthOpen, b.mouthOpen, k), smile: lerp(a.smile, b.smile, k), mouthWidth: lerp(a.mouthWidth, b.mouthWidth, k), mouthRound: lerp(a.mouthRound, b.mouthRound, k), lid: lerp(a.lid, b.lid, k), + teeth: pick(a.teeth, b.teeth), blush: lerp(a.blush, b.blush, k), sweat: pick(a.sweat, b.sweat), tears: pick(a.tears, b.tears), anger: pick(a.anger, b.anger), + }; +} +export function blendBody(a: BodyParams, b: BodyParams, k: number): BodyParams { + return { + lean: lerp(a.lean, b.lean, k), headTilt: lerp(a.headTilt, b.headTilt, k), headTurn: lerp(a.headTurn, b.headTurn, k), headNod: lerp(a.headNod, b.headNod, k), + armL: limb(a.armL, b.armL, k), armR: limb(a.armR, b.armR, k), legL: limb(a.legL, b.legL, k), legR: limb(a.legR, b.legR, k), crouch: lerp(a.crouch, b.crouch, k), + }; +} + +export type { FacePatch, BodyPatch }; diff --git a/cartoon/src/spec.ts b/cartoon/src/spec.ts index eb3c47a..db3ac33 100644 --- a/cartoon/src/spec.ts +++ b/cartoon/src/spec.ts @@ -3,6 +3,8 @@ // do quadro (0 = esquerda/topo, 1 = direita/base). Tempos em segundos, a partir do início do trecho. import { EXPRESSIONS, POSES, validateLook, type CharacterLook, type Expression, type Pose } from "./character"; +import { validateTimeline, type Action } from "./motion"; +import type { BodyPatch, FacePatch } from "./rig"; import { ELEMENTS, GROUNDS, PALETTES, type PaletteId, type Place } from "./places"; /** "place" = lugar montado por peças (ver places.tsx); os demais são fundos prontos da 1ª versão. */ @@ -27,6 +29,13 @@ export type Person = { item?: IconId; /** Olha para a esquerda (espelha o desenho). */ flip?: boolean; + /** Enquadramento: corpo inteiro (padrão), meio corpo ou de perto (rosto grande, como ilustração de destaque). */ + framing?: "full" | "medium" | "close"; + /** Ajuste fino por cima da expressão/pose (ex.: { smile: 0.3, browL: { y: -6 } } ou { armR: { raise: 60 } }). */ + face?: FacePatch; + body?: BodyPatch; + /** Movimento: ações com início (at/atP/cue) — andar, pular, falar, trocar de expressão… (motion.ts). */ + timeline?: Action[]; /** Cor da roupa (hex). */ outfit?: string; hair?: "short" | "bun" | "none"; @@ -78,6 +87,8 @@ export type ShotSpec = { palette?: PaletteId; /** Lugar montado por peças (scene.kind "place"). */ place?: Place; + /** Textura de papel por cima (0 desliga; padrão 0,11). */ + grain?: number; /** Luz por cima: foco do teto ("spot") ou vinheta. */ light?: (typeof LIGHTS)[number]; /** push = zoom no fim do trecho (1 = parado); panX = deslocamento horizontal da câmera (fração). */ @@ -86,8 +97,10 @@ export type ShotSpec = { actors?: Actor[]; props?: Prop[]; texts?: TextItem[]; - /** Legenda palavra por palavra (tempos da narração). Vazio = sem legenda. */ + /** Legenda palavra por palavra (tempos da narração). Vazio = sem legenda. A boca de quem "fala" usa os mesmos tempos. */ words?: Word[]; + /** Volume do áudio do trecho quadro a quadro (0–1): fecha a boca nas pausas e abre nas sílabas fortes. */ + audioEnv?: { fps: number; values: number[] }; card?: { title: string; subtitle?: string; footer?: string }; }; @@ -129,8 +142,15 @@ export function validateSpec(spec: unknown): string[] { } else if (a.kind === "person" && a.expression !== undefined && !EXPRESSIONS.includes(a.expression)) errors.push(`actors[${i}]: expressão (${EXPRESSIONS.join(", ")})`); else if (a.kind === "person" && a.pose !== undefined && !POSES.includes(a.pose)) errors.push(`actors[${i}]: pose (${POSES.join(", ")})`); else if (a.kind === "person" && a.item !== undefined && !ICONS.includes(a.item)) errors.push(`actors[${i}]: item "${a.item}" não existe`); + else if (a.kind === "person") { + for (const e of validateTimeline(a.timeline)) errors.push(`actors[${i}].${e}`); + for (const [j, act] of (a.timeline ?? []).entries()) { + if (act.expression !== undefined && !EXPRESSIONS.includes(act.expression as Expression)) errors.push(`actors[${i}].timeline[${j}]: expressão "${act.expression}" não existe`); + if (act.pose !== undefined && !POSES.includes(act.pose as Pose)) errors.push(`actors[${i}].timeline[${j}]: pose "${act.pose}" não existe`); + } + } else if (a.kind === "crowd" && (!finite(a.count) || a.count < 1 || a.count > 40 || !frac(a.y))) errors.push(`actors[${i}]: crowd inválida`); - else if (a.kind !== "person" && a.kind !== "crowd") errors.push(`actors[${i}]: kind inválido`); + else if ((a as { kind: string }).kind !== "crowd") errors.push(`actors[${i}]: kind inválido`); } for (const [i, p] of (s.props ?? []).entries()) { if (!ICONS.includes(p.icon)) errors.push(`props[${i}]: ícone "${p.icon}" não existe (${ICONS.join(", ")})`); @@ -142,6 +162,7 @@ export function validateSpec(spec: unknown): string[] { if (typeof t.text !== "string" || !t.text.trim()) errors.push(`texts[${i}]: texto vazio`); if (!frac(t.x) || !frac(t.y)) errors.push(`texts[${i}]: x/y fora do quadro`); } + if (s.audioEnv !== undefined && (!finite(s.audioEnv.fps) || !Array.isArray(s.audioEnv.values) || s.audioEnv.values.length > 36000)) errors.push("audioEnv: { fps, values[] } (até 36 mil valores)"); for (const [i, w] of (s.words ?? []).entries()) { if (typeof w.text !== "string" || !finite(w.startS) || !finite(w.endS) || w.endS < w.startS) errors.push(`words[${i}]: inválida`); } diff --git a/cartoon/tests/motion.test.ts b/cartoon/tests/motion.test.ts new file mode 100644 index 0000000..50702f6 --- /dev/null +++ b/cartoon/tests/motion.test.ts @@ -0,0 +1,79 @@ +import assert from "node:assert/strict"; +import { describe, it } from "node:test"; +import { visemeAt, speak } from "../src/lipsync"; +import { evaluate, startOf, validateTimeline } from "../src/motion"; +import { EXPRESSION_NAMES, blendFace, faceOf } from "../src/rig"; + +const words = [ + { text: "Mamãe", startS: 0.2, endS: 0.7 }, + { text: "não", startS: 0.8, endS: 1.2 }, + { text: "ouviu", startS: 1.3, endS: 1.8 }, +]; + +describe("rig: expressões como parâmetros", () => { + it("toda expressão pronta vira parâmetros válidos e se mistura com outra", () => { + for (const name of EXPRESSION_NAMES) assert.ok(Number.isFinite(faceOf(name).smile), name); + const half = blendFace(faceOf("sad"), faceOf("happy"), 0.5); + assert.ok(half.smile > faceOf("sad").smile && half.smile < faceOf("happy").smile); + }); + it("ajuste fino por cima de uma expressão", () => { + assert.equal(faceOf("neutral", { smile: 0.8, browL: { y: -6 } }).browL.y, -6); + }); +}); + +describe("linha do tempo", () => { + it("cue = palavra falada; atP = fração do trecho", () => { + assert.equal(startOf({ do: "nod", cue: "nao" }, 4, words), 0.8); + assert.equal(startOf({ do: "nod", atP: 0.5 }, 4, words), 2); + assert.equal(startOf({ do: "nod", cue: "inexistente", at: 1 }, 4, words), 1); + }); + it("andar chega ao destino e vira para o lado certo; é determinístico", () => { + const actor = { x: 0.7, timeline: [{ do: "walk" as const, at: 0, to: 0.3, dur: 1 }] }; + const end = evaluate(actor, 2, 4); + assert.ok(Math.abs(end.x - 0.3) < 1e-9); + assert.equal(end.flip, true); + assert.deepEqual(evaluate(actor, 0.5, 4), evaluate(actor, 0.5, 4)); + }); + it("trocar expressão é suave e permanente", () => { + const actor = { x: 0.5, timeline: [{ do: "express" as const, at: 1, expression: "happy", dur: 0.4 }] }; + const mid = evaluate(actor, 1.2, 4).face.smile; + assert.ok(mid > faceOf("neutral").smile && mid < faceOf("happy").smile); + assert.ok(Math.abs(evaluate(actor, 3, 4).face.smile - faceOf("happy").smile) < 1e-9); + }); + it("pular sobe e volta ao chão", () => { + const actor = { x: 0.5, timeline: [{ do: "jump" as const, at: 0, dur: 1 }] }; + assert.ok(evaluate(actor, 0.5, 4).dy < -0.05); + assert.equal(evaluate(actor, 2, 4).dy, 0); + }); + it("valida a linha do tempo", () => { + assert.deepEqual(validateTimeline([{ do: "walk", to: 0.3 }]), []); + assert.match(validateTimeline([{ do: "voar" }]).join(), /do:/); + }); +}); + +describe("fala: boca pelas letras, expressão mantida", () => { + it("m fecha, a abre, o arredonda; fora das palavras fica fechada", () => { + assert.equal(visemeAt(words, 0.21).open, 0); // "M" do começo + assert.ok(visemeAt([{ text: "aaa", startS: 0, endS: 1 }], 0.5).open > 0.7); + assert.ok(visemeAt([{ text: "oo", startS: 0, endS: 1 }], 0.5).round > 0.6); + assert.equal(visemeAt(words, 3).open, 0); + }); + it("falando bravo continua bravo (sobrancelhas e cantos da boca)", () => { + const angry = faceOf("angry"); + const talking = speak(angry, visemeAt([{ text: "aaa", startS: 0, endS: 1 }], 0.5)); + assert.equal(talking.browL.tilt, angry.browL.tilt); + assert.equal(talking.smile, angry.smile); + assert.ok(talking.mouthOpen > 0.5); + }); + it("a ação falar vai da palavra de início até o fim da palavra final", () => { + const actor = { x: 0.5, timeline: [{ do: "talk" as const, cue: "mamae", cueEnd: "ouviu" }] }; + assert.ok(evaluate(actor, 0.45, 4, 1, { words }).face.mouthOpen > 0.2); + assert.ok(evaluate(actor, 2.5, 4, 1, { words }).face.mouthOpen < 0.05); + }); + it("com o volume do áudio, a boca fecha na pausa", () => { + const env = { fps: 10, values: Array.from({ length: 20 }, (_, i) => (i === 5 ? 0 : 0.9)) }; + const loud = visemeAt([{ text: "aaaaaaaaaa", startS: 0, endS: 2 }], 0.25, env).open; + const pause = visemeAt([{ text: "aaaaaaaaaa", startS: 0, endS: 2 }], 0.55, env).open; + assert.ok(loud > 0.5 && pause < 0.2); + }); +}); diff --git a/doc/cartoon/animacao.md b/doc/cartoon/animacao.md new file mode 100644 index 0000000..49360f8 --- /dev/null +++ b/doc/cartoon/animacao.md @@ -0,0 +1,79 @@ +# Expressões, movimento e fala do estilo Cartoon + +Nada aqui é animação pronta: o personagem tem um **rig** (rosto e corpo por parâmetros) e uma **linha do +tempo** de ações que se combinam. Expressões e poses com nome são só atalhos — ajuste qualquer valor por cima +ou crie combinações novas. Código: `cartoon/src/rig.ts`, `motion.ts`, `lipsync.ts`, `CharacterFigure.tsx`. + +## Rosto (FaceParams) + +| Parâmetro | Faixa | Efeito | +|---|---|---| +| `browL` / `browR` `{ y, tilt }` | y −10…6 px · tilt −25…25° | y negativo sobe; tilt + = ponta de dentro sobe (triste), − = desce (bravo) | +| `eyeL` / `eyeR` | 0…1,35 | 0 fechado · 1 normal · 1,35 arregalado (fechado + sorriso = olho de riso em arco) | +| `pupil` | 0,4…1,3 | pupila pequena = pavor | +| `gazeX` / `gazeY` | −1…1 | para onde olha | +| `mouthOpen` | 0…1 | abertura | +| `smile` | −1…1 | cantos para baixo (triste/bravo) ou para cima (feliz) | +| `mouthWidth` | 0,5…1,4 | estreita (O de susto) ou larga | +| `mouthRound` | 0…1 | bico de "o/u" (a fala usa) | +| `teeth` | sim/não | dentes à mostra | +| `blush`, `sweat`, `tears`, `anger` | 0…1 / sim/não | rubor, gota de suor, lágrimas escorrendo, veia de raiva | + +Atalhos (`expression`): neutral, smile, happy, laugh, proud, sad, cry, worried, angry, furious, surprised, +scared, shocked, suspicious, smirk, confused, disgusted, sleepy, determined, embarrassed. +Ajuste fino no ator: `"face": { "smile": 0.3, "browL": { "y": -6 } }` (aceita `brows` e `eyes` para os dois +lados). Expressão nova = combinação de parâmetros; não precisa de desenho novo. + +## Corpo (BodyParams) + +Braços e pernas em dois segmentos: `raise` (abre a partir do corpo: 0 baixo, 90 horizontal, 180 para cima) e +`bend` (dobra o cotovelo/joelho para dentro). Mais `lean` (tronco), `headTilt`, `headTurn` (−1…1, finge 3/4), +`headNod` (−1 olha para cima … 1 para baixo) e `crouch` (0 em pé … 1 sentado). + +Atalhos (`pose`): stand, point, wave, hold, arms_up, celebrate, shrug, think, hands_on_hips, cross_arms, +facepalm, cover_mouth, defend, reach, sit, kneel, lean_in. Ajuste: `"body": { "armR": { "raise": 60 } }`. + +## Linha do tempo (`timeline` do ator) + +Cada ação começa em `at` (segundos), `atP` (fração do trecho) ou **`cue`** (a palavra da narração: começa quando +a voz diz essa palavra — o jeito preferido). `dur` muda a duração. + +| Ação | Efeito | Campos | +|---|---|---| +| `express` | troca de expressão (suave, fica) | `expression` e/ou `face` | +| `pose` | troca de pose (com leve passada do ponto) | `pose` e/ou `body` | +| `walk` / `run` | anda/corre até `to` (x), virando para o lado | `to` | +| `enter` / `exit` | entra de fora do quadro / sai | `to` | +| `jump` | preparação, salto com esticada, aterrissagem | `height` | +| `nod` / `shake_head` | sim / não com a cabeça | `times` | +| `tremble` · `bounce` | tremer · quicar de alegria | `times` | +| `fall` | cai de lado (cara de choque) | `dir` | +| `sit` / `stand_up` | senta / levanta | — | +| `turn` | vira (espelha passando pelo perfil) | — | +| `look` | olhar e cabeça para um lado | `dir` left/right/up/down | +| `wave` | acena | `times` | +| `emote` | balão sobre a cabeça | `text` "!", "?", "…" | +| `talk` | fala: boca pelas letras e volume | `cue` + `cueEnd` (palavras) ou `text` + `dur` | + +Sempre há "vida": piscar em intervalos variados, respirar e balanço leve de cabeça. + +## Fala com expressão + +`talk` usa os tempos de cada palavra (transcrição do áudio do trecho) e o volume do áudio quadro a quadro +(`audioEnv`, gerado pelo painel). A boca segue as letras — "a" abre, "e/i" esticam, "o/u" arredondam, +"m/b/p" fecham, "f/v" mostram os dentes —, fecha nas pausas e abre mais nas sílabas fortes. **A expressão +continua**: os cantos da boca, as sobrancelhas e os olhos são dela (bravo falando segue bravo). +Para um personagem dizer uma fala da narração: `{ "do": "talk", "cue": "primeira", "cueEnd": "ultima" }`. + +## Como o plano automático usa isso (panel/src/lib/montage-cartoon.ts → `timelineFor`) + +- Emoção na palavra: "medo" → `express scared` com `cue: "medo"` (o personagem começa neutro). +- Verbos viram ações: andou/correu/pulou/caiu/sentou/levantou/negou/concordou/tremeu/riu/chorou/olhou/virou/ + pensou/acenou/apontou/cruzou os braços/comemorou; "de repente" → balão "!"; "por que/será" → "?". +- Fala entre aspas ou depois de travessão → `talk` do personagem de `cue` (1ª palavra) a `cueEnd` (última). + +## Boas práticas + +- Uma mudança de expressão por frase basta; muitas trocas parecem tique. +- Ação no verbo, emoção na palavra da emoção: o público vê acontecer quando ouve. +- Movimento grande (correr, cair) pede câmera parada; parado falando pede `push` lento. diff --git a/doc/cartoon/personagens.md b/doc/cartoon/personagens.md index 2e46201..5a8e9bb 100644 --- a/doc/cartoon/personagens.md +++ b/doc/cartoon/personagens.md @@ -46,6 +46,12 @@ cria (pela descrição), ajusta e apaga. O elenco de cada história fica em `sto | `top.style` | `shirt`, `jacket`, `hoodie`, `dress`, `uniform` (`accent` = faixa/gola) | | `bottom.style` | `pants`, `shorts`, `skirt` | | cores | sempre `#rrggbb` | +| `head` (opcional) | `round`, `oval`, `square`, `wide` | +| `nose` (opcional) | `button`, `curve` (de perfil, tipo C), `round`, `long`, `wide` | +| `lids` (opcional) | 0 a 0,6 — pálpebra de cima de base: olhar caído, experiente (o que mais dá "cara de ilustração") | +| `wrinkles` (opcional) | 0 a 1 — testa, canto dos olhos e bigode chinês | +| `belly` (opcional) | barriga saliente | +| `accessories` (opcional) | `towel`, `whistle`, `tie`, `vest`, `helmet`, `watch`, `badge`, `apron`, `scarf`, `headset`, `chain` (+ `accessoryColor`) | `kind: "3d"` reserva o personagem para a Godot (pessoa articulada de `godot/kits/`, parâmetros em `godot`); o Cartoon ignora esses. @@ -54,13 +60,19 @@ o Cartoon ignora esses. No spec do trecho (`cartoon/src/spec.ts`), um ator `person` com `character` (nome, legenda, look) e: -- `expression`: `neutral`, `happy`, `sad`, `worried`, `angry`, `surprised`, `scared` -- `pose`: `stand`, `point`, `wave`, `hold`, `arms_up`, `shrug`, `think` +- `expression` e `pose`: atalhos do rig (20 expressões, 17 poses) com ajuste fino `face`/`body`, e + `timeline` com movimento e fala — tudo em `doc/cartoon/animacao.md`. - `item` (com `hold`/`point`): ícone na mão — `phone`, `fuel`, `battery`, `money`, `bulb`, `clock`, … - `flip`: olha para a esquerda. ## Como criar um bom personagem +Nível de acabamento de ilustração (referência estudada em 17/11/2026: ilustrações de série no Instagram): +pálpebra caída (`lids` 0,25–0,35) + nariz + rugas para os mais velhos, uma marca de profissão nos acessórios +(apito do técnico, capacete e colete do operário, avental da merendeira), corpo com formato (barriga, ombro) e, +quando ele é o centro da cena, enquadramento `medium` ou `close`. A cena inteira ganha textura de papel (`grain`). +A descrição em texto já preenche tudo isso por regras (idade, profissão, "barrigudo", "narigudo", "cansado"…). + - Uma silhueta reconhecível de longe: **uma** marca forte (careca + barba grisalha, coque branco, boné vermelho). - Roupa de cor chapada que contraste com a paleta da série (sépia pede verde/azul; noite pede amarelo/roxo). - `caption` curta, com função e idade ("Engenheiro de minas · 58 anos"): aparece na 1ª cena. diff --git a/panel/src/components/character-studio.tsx b/panel/src/components/character-studio.tsx index d8e3e3b..ac9218c 100644 --- a/panel/src/components/character-studio.tsx +++ b/panel/src/components/character-studio.tsx @@ -4,10 +4,11 @@ // escolhe daqui (montagem Cartoon). import { useEffect, useState } from "react"; import { - BEARD_STYLES, BOTTOM_STYLES, BROWS, BUILDS, EXPRESSIONS, GLASSES, HAIR_STYLES, POSES, TOP_STYLES, + ACCESSORIES, BEARD_STYLES, BOTTOM_STYLES, BROWS, BUILDS, EXPRESSIONS, GLASSES, HAIR_STYLES, HEAD_SHAPES, NOSES, POSES, TOP_STYLES, type Character, type CharacterLook, type Expression, type Pose, } from "cenaforge-cartoon/character"; import { CharacterFigure } from "cenaforge-cartoon/figure"; +import { ACTIONS, evaluate, type ActionKind } from "cenaforge-cartoon/motion"; import { apiCall } from "./api-client"; import { askConfirm } from "./confirm-dialog"; import { PlusIcon, SparkIcon, TrashIcon, UsersIcon } from "./icons"; @@ -20,8 +21,17 @@ const LABEL: Record = { round: "redondo", square: "quadrado", sun: "escuro", thin: "finas", thick: "grossas", shirt: "camisa", jacket: "jaqueta", hoodie: "moletom", dress: "vestido", uniform: "uniforme", pants: "calça", shorts: "bermuda", skirt: "saia", - neutral: "neutro", happy: "feliz", sad: "triste", worried: "preocupado", angry: "bravo", surprised: "surpreso", scared: "com medo", - stand: "em pé", point: "apontando", wave: "acenando", hold: "segurando", arms_up: "braços pra cima", shrug: "ombros", think: "pensando", + neutral: "neutro", smile: "sorriso", happy: "feliz", laugh: "rindo", proud: "orgulhoso", sad: "triste", cry: "chorando", worried: "preocupado", + angry: "bravo", furious: "furioso", surprised: "surpreso", scared: "com medo", shocked: "chocado", suspicious: "desconfiado", smirk: "sorriso de canto", + confused: "confuso", disgusted: "enojado", sleepy: "com sono", determined: "decidido", embarrassed: "envergonhado", + stand: "em pé", point: "apontando", wave: "acenando", hold: "segurando", arms_up: "braços pra cima", celebrate: "comemorando", shrug: "ombros", + think: "pensando", hands_on_hips: "mãos na cintura", cross_arms: "braços cruzados", facepalm: "mão na testa", cover_mouth: "mão na boca", + defend: "se defendendo", reach: "alcançando", sit: "sentado", kneel: "ajoelhado", lean_in: "inclinado", + express: "trocar expressão", pose: "trocar pose", walk: "andar", run: "correr", enter: "entrar", exit: "sair", jump: "pular", nod: "acenar que sim", + shake_head: "balançar que não", tremble: "tremer", bounce: "quicar", fall: "cair", stand_up: "levantar", turn: "virar", talk: "falar", look: "olhar", + emote: "balão (!)", + oval: "oval", wide: "largo", button: "botão", curve: "curvo (perfil)", towel: "toalha no ombro", whistle: "apito", tie: "gravata", + vest: "colete refletivo", helmet: "capacete", watch: "relógio", badge: "crachá", apron: "avental", scarf: "lenço", headset: "fone", chain: "corrente", }; const label = (v: string) => LABEL[v] ?? v; @@ -56,6 +66,8 @@ export function CharacterStudio({ initial }: { initial: Character[] }) { const [draft, setDraft] = useState(initial[0] ?? null); const [expression, setExpression] = useState("neutral"); const [pose, setPose] = useState("stand"); + // Movimento da prévia: a ação toca em repetição a cada 2,6 s (o mesmo motor do render). + const [move, setMove] = useState(""); const [t, setT] = useState(0); const [busy, setBusy] = useState(null); const [message, setMessage] = useState<{ ok: boolean; text: React.ReactNode } | null>(null); @@ -175,10 +187,16 @@ export function CharacterStudio({ initial }: { initial: Character[] }) {
-
+
+ + +
@@ -205,6 +223,37 @@ export function CharacterStudio({ initial }: { initial: Character[] }) { setLook((l) => ({ ...l, top: { ...l.top, accent: v } }))} /> setLook((l) => ({ ...l, bottom: { ...l.bottom, style: v } }))} /> setLook((l) => ({ ...l, bottom: { ...l.bottom, color: v } }))} /> + setLook((l) => ({ ...l, head: v }))} /> + setLook((l) => ({ ...l, nose: v }))} /> + + setLook((l) => ({ ...l, lids: Number(e.target.value) }))} /> + + + setLook((l) => ({ ...l, wrinkles: Number(e.target.value) }))} /> + + + setLook((l) => ({ ...l, accessoryColor: v }))} /> +
+
+ Acessórios +
+ {ACCESSORIES.map((a) => { + const on = look.accessories?.includes(a) ?? false; + return ( + + ); + })} +
@@ -230,3 +279,20 @@ export function CharacterStudio({ initial }: { initial: Character[] }) {
); } + +/** Prévia com movimento: aplica a ação escolhida em repetição, com posição, giro e espelho como no render. */ +function MovePreview({ look, expression, pose, move, t }: { look: CharacterLook; expression: Expression; pose: Pose; move: ActionKind | ""; t: number }) { + const loop = 2.6; + const lt = t % loop; + const timeline = move + ? [move === "walk" || move === "run" ? { do: move, at: 0.3, to: 0.62 } : move === "talk" ? { do: move, at: 0.3, dur: 1.8, text: "olha só que coisa interessante aconteceu" } : move === "emote" ? { do: move, at: 0.3, text: "!" } : move === "look" ? { do: move, at: 0.3, dir: "left" as const } : { do: move, at: 0.3 }] + : []; + const st = evaluate({ x: 0.5, expression, pose, timeline: timeline as never }, move ? lt : t, loop, 1); + return ( +
+
+ +
+
+ ); +} diff --git a/panel/src/lib/characters.ts b/panel/src/lib/characters.ts index e7f2598..590ce6c 100644 --- a/panel/src/lib/characters.ts +++ b/panel/src/lib/characters.ts @@ -104,6 +104,12 @@ const PROFESSIONS: [RegExp, { top: CharacterLook["top"]; caption: string }][] = [/bombeir/, { top: { style: "uniform", color: "#c8352f", accent: "#f2c230" }, caption: "Bombeiro" }], [/militar|soldad/, { top: { style: "uniform", color: "#5b6b3a", accent: "#3a4a2a" }, caption: "Militar" }], [/professor/, { top: { style: "jacket", color: "#7a5232", accent: "#e9ecef" }, caption: "Professor" }], + [/tecnico|treinador/, { top: { style: "jacket", color: "#1f3a7a", accent: "#f2c230" }, caption: "Técnico" }], + [/porteiro|seguranca|vigia/, { top: { style: "jacket", color: "#2f4f86", accent: "#e9ecef" }, caption: "Porteiro" }], + [/merendeir|cozinheir/, { top: { style: "shirt", color: "#c85a5a" }, caption: "Merendeira" }], + [/roupeiro/, { top: { style: "jacket", color: "#56704a", accent: "#e9ecef" }, caption: "Roupeiro" }], + [/obra|pedreiro|operario/, { top: { style: "shirt", color: "#56704a" }, caption: "Operário" }], + [/empresari|executiv|advogad/, { top: { style: "jacket", color: "#3a3f4f", accent: "#e9ecef" }, caption: "Empresário" }], ]; /** Aparência e legenda a partir de uma descrição curta ("Otávio, 58, engenheiro, barba grisalha, óculos"). */ @@ -138,6 +144,26 @@ export function describeToLook(description: string): { look: CharacterLook; capt bottom: { style: /\b(short|bermuda)\b/.test(t) || child ? "shorts" : /\bsaia\b/.test(t) ? "skirt" : "pants", color: female && /saia/.test(t) ? top.color : "#2c3346" }, shoes: child ? "#f2f2f2" : "#1d1d24", }; + // Detalhe de ilustração: nariz, pálpebra, rugas, formato da cabeça, barriga e acessórios pela descrição. + look.nose = /narigud|nariz grande|nariz comprido/.test(t) ? "long" : /nariz largo|nariz de batata/.test(t) ? "wide" : old && !female ? "curve" : child ? "button" : female ? "button" : "round"; + look.lids = Math.min(0.6, (old ? 0.3 : 0.1) + (/cansad|sonolent|olhar caido|desconfiad/.test(t) ? 0.2 : 0)); + look.wrinkles = age >= 60 || /idos|velh/.test(t) ? 0.7 : age >= 45 ? 0.4 : old ? 0.6 : 0; + look.head = /rosto quadrado|queixo quadrado/.test(t) ? "square" : /rosto fino|rosto comprido/.test(t) ? "oval" : look.build === "heavy" ? "wide" : "round"; + if (/barrig|panca/.test(t) || (look.build === "heavy" && age >= 40 && !female)) look.belly = true; + const acc = new Set[number]>(); + if (/tecnico|treinador|juiz|arbitr|professor de educacao fisica/.test(t)) { acc.add("whistle"); acc.add("watch"); } + if (/obra|pedreiro|operario|mestre de obra/.test(t)) { acc.add("helmet"); acc.add("vest"); look.accessoryColor = "#ff8a2a"; } + if (/porteiro|seguranca|vigia|crach/.test(t)) acc.add("badge"); + if (/merendeir|cozinheir|padeir|avental/.test(t)) { acc.add("apron"); look.accessoryColor ??= "#f4f1e8"; } + if (/roupeiro|massagista|toalha/.test(t)) acc.add("towel"); + if (/empresari|executiv|advogad|gerente|gravata/.test(t)) { acc.add("tie"); acc.add("watch"); } + if (/cachecol|lenco/.test(t)) acc.add("scarf"); + if (/fone|locutor|radialista|atendente/.test(t)) acc.add("headset"); + if (/correntao|corrente de ouro|cordao/.test(t)) acc.add("chain"); + if (/capacete/.test(t)) acc.add("helmet"); + if (/colete/.test(t)) acc.add("vest"); + if (/relogio/.test(t)) acc.add("watch"); + if (acc.size) look.accessories = [...acc]; const caption = [profession?.caption, age > 0 ? `${age} anos` : ""].filter(Boolean).join(" · ") || undefined; return { look, caption }; } diff --git a/panel/src/lib/montage-cartoon.test.ts b/panel/src/lib/montage-cartoon.test.ts index 22ba85e..149a600 100644 --- a/panel/src/lib/montage-cartoon.test.ts +++ b/panel/src/lib/montage-cartoon.test.ts @@ -1,7 +1,7 @@ import assert from "node:assert/strict"; import { describe, it } from "node:test"; import { describeToLook } from "./characters"; -import { cartoonKey, cartoonSpec, planCartoon, wordTimings } from "./montage-cartoon"; +import { cartoonKey, cartoonSpec, planCartoon, timelineFor, wordTimings } from "./montage-cartoon"; const shot = (narration: string, onScreen = "", index = 0) => ({ index, narration, onScreen, visualHint: "" }); @@ -52,7 +52,9 @@ describe("estilo Cartoon: plano por regras", () => { const actor = plan.actors?.find((a) => a.kind === "person"); assert.ok(actor && actor.kind === "person" && actor.character); assert.equal(actor.character!.look.hair.style, "bald"); - assert.equal(actor.expression, "scared"); + // Começa neutro; o medo entra quando a voz diz "medo" (linha do tempo). + assert.equal(actor.expression, "neutral"); + assert.deepEqual(actor.timeline?.find((x) => x.do === "express"), { do: "express", cue: "medo", expression: "scared" }); assert.equal(plan.palette, "sepia"); assert.equal(plan.light, "spot"); }); @@ -64,6 +66,15 @@ describe("estilo Cartoon: plano por regras", () => { assert.equal(describeToLook("menino de 9 anos, cabelo cacheado").look.height, 0.78); }); + it("linha do tempo pelo texto: emoção e verbos na palavra; fala entre aspas na boca", () => { + const tl = timelineFor("Ele ficou com medo, correu e caiu. Depois gritou: “Socorro, alguém me ajuda!”", 0.5); + assert.deepEqual(tl.find((a) => a.do === "express"), { do: "express", cue: "medo", expression: "scared" }); + assert.equal(tl.find((a) => a.do === "run")?.cue, "correu"); + assert.equal(tl.find((a) => a.do === "fall")?.cue, "caiu"); + const talk = tl.find((a) => a.do === "talk"); + assert.deepEqual([talk?.cue, talk?.cueEnd], ["socorro", "ajuda"]); + }); + it("a chave muda com a cena, a duração e o áudio", () => { const plan = planCartoon(shot("A rua está escura.")); const k = cartoonKey(plan, 3.2, "abc"); diff --git a/panel/src/lib/montage-cartoon.ts b/panel/src/lib/montage-cartoon.ts index a3c5c50..95150b7 100644 --- a/panel/src/lib/montage-cartoon.ts +++ b/panel/src/lib/montage-cartoon.ts @@ -8,8 +8,9 @@ import { spawn } from "node:child_process"; import fs from "node:fs"; import path from "node:path"; import type { CharacterLook, Expression, Pose } from "cenaforge-cartoon/character"; +import type { Action } from "cenaforge-cartoon/motion"; import type { IconId, ShotSpec, Word } from "cenaforge-cartoon/spec"; -import type { JobHook } from "./montage-ffmpeg"; +import { ffmpegBin, type JobHook } from "./montage-ffmpeg"; import { transcribe } from "./voice"; export type CartoonIcon = IconId; @@ -93,6 +94,75 @@ function expressionOf(text: string): Expression { return "neutral"; } +/** 1ª palavra do trecho que casa com a regra (é o "cue": a ação começa quando a voz diz essa palavra). */ +function cueOf(text: string, re: RegExp): string | null { + const m = re.exec(text); + if (!m) return null; + return m[0].trim().split(/\s+/)[0].replace(/[^a-z0-9]/g, "").slice(0, 12) || null; +} + +/** Verbos e emoções do texto → linha do tempo do personagem (cada ação começa na palavra que a provocou). */ +const MOVES: { re: RegExp; act: (cue: string, x: number) => Action[] }[] = [ + { re: /\b(andou|caminhou|foi ate|se aproximou|chegou perto)\b/, act: (cue, x) => [{ do: "walk", cue, to: x < 0.5 ? x + 0.2 : x - 0.2 }] }, + { re: /\b(correu|fugiu|disparou|saiu correndo)\b/, act: (cue, x) => [{ do: "run", cue, to: x < 0.5 ? x + 0.3 : x - 0.3 }] }, + { re: /\b(pulou|saltou)\b/, act: (cue) => [{ do: "jump", cue }] }, + { re: /\b(caiu|desmaiou|tropecou|despencou)\b/, act: (cue) => [{ do: "fall", cue }] }, + { re: /\b(sentou|se sentou)\b/, act: (cue) => [{ do: "sit", cue }] }, + { re: /\b(levantou|se levantou|ficou de pe)\b/, act: (cue) => [{ do: "stand_up", cue }] }, + { re: /\b(balancou a cabeca|negou|disse que nao)\b/, act: (cue) => [{ do: "shake_head", cue }] }, + { re: /\b(concordou|assentiu|acenou com a cabeca)\b/, act: (cue) => [{ do: "nod", cue }] }, + { re: /\b(tremia|tremeu|tremendo|arrepiou|arrepio)\b/, act: (cue) => [{ do: "tremble", cue, dur: 1.4 }] }, + { re: /\b(riu|gargalhou|caiu na risada|rindo)\b/, act: (cue) => [{ do: "express", cue, expression: "laugh" }, { do: "bounce", cue, times: 3 }] }, + { re: /\b(chorou|chorando|lagrimas)\b/, act: (cue) => [{ do: "express", cue, expression: "cry" }] }, + { re: /\b(olhou para os lados|olhou em volta|procurou)\b/, act: (cue) => [{ do: "look", cue, dir: "left" }, { do: "shake_head", cue, times: 1, dur: 1.2 }] }, + { re: /\b(olhou para cima|olhou pro ceu)\b/, act: (cue) => [{ do: "look", cue, dir: "up" }] }, + { re: /\b(virou|deu as costas)\b/, act: (cue) => [{ do: "turn", cue }] }, + { re: /\b(pensou|lembrou|imaginou|calculou|planejou)\b/, act: (cue) => [{ do: "pose", cue, pose: "think" }] }, + { re: /\b(acenou|tchau|chamou)\b/, act: (cue) => [{ do: "wave", cue }] }, + { re: /\b(apontou|mostrou)\b/, act: (cue) => [{ do: "pose", cue, pose: "point" }] }, + { re: /\b(cruzou os bracos)\b/, act: (cue) => [{ do: "pose", cue, pose: "cross_arms" }] }, + { re: /\b(desesper|mao na cabeca|nao acreditou)\w*/, act: (cue) => [{ do: "pose", cue, pose: "facepalm" }] }, + { re: /\b(comemorou|vibrou|venceu|conseguiu)\b/, act: (cue) => [{ do: "pose", cue, pose: "celebrate" }, { do: "bounce", cue, times: 2 }] }, + { re: /\b(de repente|susto|assustou)\b/, act: (cue) => [{ do: "emote", cue, text: "!" }] }, + { re: /\b(por que|sera que|duvida|estranh)\w*/, act: (cue) => [{ do: "emote", cue, text: "?" }] }, +]; +const EMOTIONS: { re: RegExp; expression: Expression }[] = [ + { re: /\b(medo|apavorad|assust|pavor|terror|socorro)\w*/, expression: "scared" }, + { re: /\b(furios|grit)\w*/, expression: "furious" }, + { re: /\b(raiva|bravo|brava|irritad)\w*/, expression: "angry" }, + { re: /\b(de repente|surpres|choc|inacredit)\w*/, expression: "surprised" }, + { re: /\b(trist|perdeu|saudade|sozinh)\w*/, expression: "sad" }, + { re: /\b(preocup|problema|nervos|ansios)\w*/, expression: "worried" }, + { re: /\b(desconfi|suspeit)\w*/, expression: "suspicious" }, + { re: /\b(feliz|alegr|sorri)\w*/, expression: "happy" }, +]; + +/** Fala entre aspas ou depois de travessão: [1ª palavra, última palavra, texto] (normalizados). */ +function quoteOf(original: string): { first: string; last: string; text: string } | null { + const m = /[“"«]([^”"»]{3,})[”"»]|(?:^|\s)[—–-]\s*([^—–\n]{3,})/.exec(original); + const said = (m?.[1] ?? m?.[2] ?? "").trim(); + if (!said) return null; + const ws = norm(said).split(/[^a-z0-9]+/).filter(Boolean); + return ws.length ? { first: ws[0], last: ws[ws.length - 1], text: said } : null; +} + +/** Linha do tempo do personagem principal do trecho: emoção na palavra, verbos viram movimento, fala na boca. */ +export function timelineFor(original: string, x: number): Action[] { + const text = norm(original); + const out: Action[] = []; + for (const e of EMOTIONS) { + const cue = cueOf(text, e.re); + if (cue) { out.push({ do: "express", cue, expression: e.expression }); break; } + } + for (const m of MOVES) { + const cue = cueOf(text, m.re); + if (cue) out.push(...m.act(cue, x)); + } + const quote = quoteOf(original); + if (quote) out.push({ do: "talk", cue: quote.first, cueEnd: quote.last, text: quote.text }); + return out.slice(0, 12); +} + function poseOf(text: string, hasProp: boolean): Pose { if (/acen|tchau|chamou/.test(text)) return "wave"; if (/comemor|venceu|gritou de alegria/.test(text)) return "arms_up"; @@ -137,7 +207,14 @@ export function planCartoon(shot: ShotText, ctx: PlanContext = {}, variant = 0): actors.push({ kind: "person", x: castIn.length > 1 ? (i === 0 ? 0.3 : 0.7) : props.length ? 0.34 : 0.5, y: 0.74, enterS: 0.15 + i * 0.3, character: { name: c.name, caption: i === 0 && shot.index === 0 ? c.caption : undefined, look: c.look }, - expression: expressionOf(text), pose: i === 0 ? poseOf(text, props.length > 0) : "stand", + // Começa neutro e a emoção/movimento entram na palavra (linha do tempo); sem gatilho no texto, fica a + // expressão geral do trecho desde o início. + expression: timelineFor(original, 0.5).some((a) => a.do === "express") ? "neutral" : expressionOf(text), + pose: i === 0 ? poseOf(text, props.length > 0) : "stand", + ...(i === 0 ? { timeline: timelineFor(original, castIn.length > 1 ? 0.3 : props.length ? 0.34 : 0.5) } : {}), + // Enquadramento: de perto quando fala; meio corpo sozinho em cena; corpo inteiro com mais gente/objetos. + framing: i === 0 && timelineFor(original, 0.5).some((a) => a.do === "talk") && castIn.length === 1 ? "close" + : castIn.length === 1 && !crowd && props.length === 0 ? "medium" : "full", item: i === 0 && props.length === 1 && ["phone", "fuel", "battery", "money", "bulb"].includes(props[0].icon) ? props[0].icon : undefined, flip: i === 1, }); @@ -239,8 +316,39 @@ export async function wordTimings(input: { repoRoot: string; audio: string; spok } /** Monta o spec completo de um trecho (o que o render recebe). */ -export function cartoonSpec(scene: CartoonScene, durationS: number, words: CartoonWord[]): CartoonSpec { - return { schemaVersion: 1, width: 1080, height: 1920, fps: 30, durationS: Math.round(durationS * 1000) / 1000, ...scene, words }; +export function cartoonSpec(scene: CartoonScene, durationS: number, words: CartoonWord[], audioEnv?: ShotSpec["audioEnv"]): CartoonSpec { + return { schemaVersion: 1, width: 1080, height: 1920, fps: 30, durationS: Math.round(durationS * 1000) / 1000, ...scene, words, ...(audioEnv ? { audioEnv } : {}) }; +} + +/** + * Volume do áudio quadro a quadro (0–1, normalizado pelo percentil 95): a boca fecha nas pausas e abre nas + * sílabas fortes. Lê o áudio em mono 8 kHz pelo FFmpeg. Sem FFmpeg ou com erro, devolve undefined (a boca + * segue só pelas palavras). + */ +export async function audioEnvelope(file: string, fps = 30): Promise { + try { + const pcm = await new Promise((resolve, reject) => { + const child = spawn(ffmpegBin("ffmpeg"), ["-v", "error", "-i", file, "-ac", "1", "-ar", "8000", "-f", "s16le", "-"], { windowsHide: true }); + const chunks: Buffer[] = []; + child.stdout.on("data", (d: Buffer) => chunks.push(d)); + child.on("error", reject); + child.on("close", (code) => (code === 0 ? resolve(Buffer.concat(chunks)) : reject(new Error(`ffmpeg ${code}`)))); + }); + const samples = new Int16Array(pcm.buffer, pcm.byteOffset, Math.floor(pcm.length / 2)); + const per = Math.round(8000 / fps); + const rms: number[] = []; + for (let i = 0; i < samples.length; i += per) { + let sum = 0; + const end = Math.min(samples.length, i + per); + for (let j = i; j < end; j++) sum += (samples[j] / 32768) ** 2; + rms.push(Math.sqrt(sum / Math.max(1, end - i))); + } + const sorted = [...rms].sort((a, b) => a - b); + const ref = sorted[Math.floor(sorted.length * 0.95)] || 1; + return { fps, values: rms.map((v) => Math.round(Math.min(1, v / ref) * 100) / 100) }; + } catch { + return undefined; + } } /** diff --git a/panel/src/lib/montage.ts b/panel/src/lib/montage.ts index c8c4f7d..eb1ddcc 100644 --- a/panel/src/lib/montage.ts +++ b/panel/src/lib/montage.ts @@ -16,7 +16,7 @@ import { LAST_PAD_S, PAD_S, buildCredits, buildSegment, concatSegments, ffmpegBi import { downloadImage, searchFirst } from "./image-search"; import { DOC2D_TEMPLATES, planScene, planShot, planShot3d, renderGodotScene, sceneKey, scriptEntities, type Doc2DScene } from "./montage-godot"; import { getCast } from "./characters"; -import { cartoonKey, cartoonSpec, planCartoon, renderCartoonShots, wordTimings, type CartoonScene, type PlanContext } from "./montage-cartoon"; +import { audioEnvelope, cartoonKey, cartoonSpec, planCartoon, renderCartoonShots, wordTimings, type CartoonScene, type PlanContext } from "./montage-cartoon"; import { listLibrary, paramsFor } from "./scene-library"; import { killTree } from "./proc"; import { parseScript } from "./script-doc"; @@ -289,7 +289,9 @@ async function renderCartoonInternal(ep: EpisodeView, montage: Montage, shots: M const words = montage.captions ? await wordTimings({ repoRoot: REPO_ROOT, audio: shot.audio.file, spoken: shot.spoken, durationS: duration, scene, log }) : []; - jobs.push({ shot, scene, duration, spec: cartoonSpec(scene, duration, words) }); + // Volume do áudio quadro a quadro: a boca de quem fala fecha nas pausas e abre nas sílabas fortes. + const env = await audioEnvelope(path.join(REPO_ROOT, shot.audio.file)); + jobs.push({ shot, scene, duration, spec: cartoonSpec(scene, duration, words, env) }); } const files = await renderCartoonShots({ repoRoot: REPO_ROOT, specDir: path.join(storyDir(ep.story_id), "cartoon"), outDir: path.join(OUTPUT_DIR, "cartoon", `${ep.story_id}-${ep.file_key}`), diff --git a/panel/src/lib/prompts.ts b/panel/src/lib/prompts.ts index b2f4a40..475d1e3 100644 --- a/panel/src/lib/prompts.ts +++ b/panel/src/lib/prompts.ts @@ -52,7 +52,7 @@ export function buildPrompt(input: { kind: AgentKind; provider: Provider; reques branches: "Leia SÓ: `doc/roteiro/comum.md`, `doc/roteiro/ficcao.md` e a pasta da história; para a cena, use o script `new_scene.py` indicado abaixo. Não carregue a skill inteira.", godot: "Leia SÓ: `doc/godot/cenas.md` e `doc/godot/api.md` (assinaturas das peças e cenas; NÃO leia os .gd inteiros de outras cenas). Não carregue a skill `cenaforge`.", scene: "Siga a skill `cenaforge` (.claude/skills/cenaforge/SKILL.md): leia só as seções que a tarefa pedir.", - character: "Leia SÓ: `doc/cartoon/personagens.md`. Não carregue a skill `cenaforge`.", + character: "Leia SÓ: `doc/cartoon/personagens.md` (e `doc/cartoon/animacao.md` se o pedido falar de expressão ou movimento). Não carregue a skill `cenaforge`.", free: "Siga o CLAUDE.md; consulte a skill `cenaforge` (.claude/skills/cenaforge/SKILL.md) só no que a tarefa pedir.", }; const lines: (string | null)[] = [ diff --git a/stories/naufragos-na-ilha-das-cobras/ep01.montage.json b/stories/naufragos-na-ilha-das-cobras/ep01.montage.json index 208e7be..b0fd892 100644 --- a/stories/naufragos-na-ilha-das-cobras/ep01.montage.json +++ b/stories/naufragos-na-ilha-das-cobras/ep01.montage.json @@ -11,23 +11,41 @@ "key": "1nav1j0" }, "visual": { - "kind": "godot3d", - "file": "output/runs/20261117-153148-naufragos-na-ilha-das-cobras-ep01-t01-final/naufragos-na-ilha-das-cobras-ep01-t01-final.mp4", + "kind": "cartoon", + "file": null, "credit": "", "license": "", "sourceUrl": "", - "scene": { - "kind": "doc3d", - "template": "castaways", - "params": { - "moment": "waiting", - "camera": "close", - "variant": 0 - } - }, "auto": false, "inset": null, - "sceneKey": "99c75s" + "cartoon": { + "seed": 1, + "scene": { + "kind": "street", + "time": "dawn", + "litHouse": false + }, + "camera": { + "push": 1.05, + "panX": -0.05 + }, + "hud": { + "badge": "Três dias", + "label": "Ep. 1" + }, + "actors": [], + "props": [], + "texts": [ + { + "kind": "tag", + "text": "3 dias na Ilha das Cobras", + "x": 0.5, + "y": 0.17, + "atS": 0.1, + "tone": "info" + } + ] + } } }, "1": {