Gerador de vídeos narrativos (Godot + FFmpeg), painel Next.js, serviço de voz, Clipador de lives e Publicador para YouTube, TikTok e Instagram. Inclui a leitura das visualizações dos posts para o Dashboard e o botão "Publicar no <rede>" nos cartões das publicações. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
236 lines
16 KiB
Markdown
236 lines
16 KiB
Markdown
# Resultado do teste — prova de conceito de vídeo em Godot
|
||
|
||
Data: 16/11/2026. Máquina: Windows 11 Pro 10.0.26200, Intel i9-13900K, 64 GB de RAM,
|
||
**NVIDIA GeForce RTX 2060 SUPER** (Vulkan 1.4.341), tela de 1920×1080.
|
||
|
||
O que se distingue abaixo: **código criado**, **validação estática**, **projeto aberto na Godot**,
|
||
**MP4 gerado** e **inspeção visual**. Tudo o que está marcado como feito foi executado nesta
|
||
máquina, e os números vêm de `report.json`, `godot-manifest.json` e `render.log` de cada execução.
|
||
|
||
## Ambiente encontrado
|
||
|
||
| Item | Resultado |
|
||
|---|---|
|
||
| Godot | Não estava no `PATH`. Havia o zip oficial `Godot_v4.7.2-stable_win64.exe.zip` em Downloads; a pasta já extraída tinha só o wrapper `_console.exe`. O zip foi extraído em `.tools/godot-4.7.2/`, sem alterar o original. Assinatura Authenticode **válida** (Prehensile Tales B.V.). `--version` → `4.7.2.stable.official.ed1daf0bf`. |
|
||
| FFmpeg/FFprobe | 7.1.1 *essentials* (gyan.dev) no `PATH`; encoders `libx264`, `h264_nvenc` e `aac` disponíveis |
|
||
| Node / pnpm | 24.19.0 / 11.22.0 |
|
||
| Sessão gráfica / GPU | sim / RTX 2060 SUPER (a Godot usou o dispositivo #0, Vulkan) |
|
||
| Espaço livre | ~210 GB em F: |
|
||
|
||
## Entregas (MP4)
|
||
|
||
Todas em `output/runs/` (pasta ignorada pelo Git; regenere com os comandos do README).
|
||
|
||
| Execução | Configuração | Perfil | MP4 | Tamanho |
|
||
|---|---|---|---|---|
|
||
| `20261116-174231-demo-street-preview` | `config/demo-street.json` | 540×960 | `demo-street-preview.mp4` | 4,35 MB |
|
||
| `20261116-173734-demo-street-final` | `config/demo-street.json` | 1080×1920 | `demo-street-final.mp4` | 11,6 MB |
|
||
| `20261116-173649-demo-street-variant-preview` | `config/demo-street-variant.json` | 540×960 | `demo-street-variant-preview.mp4` | 3,65 MB |
|
||
| `20261116-173528-demo-street-audio-preview` | cópia da cena padrão + tom de teste (ver "Áudio") | 540×960 | `demo-street-audio-preview.mp4` | 4,41 MB |
|
||
|
||
Comandos exatos:
|
||
|
||
```sh
|
||
pnpm render -- --config config/demo-street.json --profile preview
|
||
pnpm render -- --config config/demo-street.json --profile final
|
||
pnpm render -- --config config/demo-street-variant.json --profile preview
|
||
```
|
||
|
||
> O render final (`173734`) foi gerado antes de uma última mudança no `main.gd`: a checagem
|
||
> de que a pasta do Movie Maker existe. Ela roda só na inicialização e não altera a cena. O
|
||
> `stateDigest` do render final é igual ao da prévia gerada depois (`18b41815…`).
|
||
|
||
## Verificação automática (FFprobe + lançador)
|
||
|
||
Todas as quatro execuções passaram em todas as verificações:
|
||
|
||
| Verificação | Prévia | Final | Variante |
|
||
|---|---|---|---|
|
||
| Movie Maker anunciou resolução/FPS do perfil | 540×960 @ 30 | 1080×1920 @ 30 | 540×960 @ 30 |
|
||
| PNGs gravados (contínuos, índice inicial 0) | 363 (0..362) | 363 | 363 |
|
||
| Quadros de cena (+ aquecimento descartado) | 360 + 3 | 360 + 3 | 360 + 3 |
|
||
| Codec / pix_fmt | h264 / yuv420p | h264 / yuv420p | h264 / yuv420p |
|
||
| `r_frame_rate` | 30/1 | 30/1 | 30/1 |
|
||
| Quadros decodificados (`-count_frames`) | 360 | 360 | 360 |
|
||
| Duração (tolerância ±1 quadro) | 12,000 s | 12,000 s | 12,000 s |
|
||
| Distância final da moto | 32 m de 32 m | 32 m de 32 m | 44 m de 44 m |
|
||
| Luminância média em 0,5/4/8/11 s (não preto ≥ 20) | 147 / 148 / 146 / 116 | 147 / 148 / 146 / 116 | 135 / 133 / 134 / 111 |
|
||
|
||
`pnpm verify -- --file …/demo-street-final.mp4` confirmou o arquivo de forma independente
|
||
(saída 0). Com `--fps 25`, a mesma verificação falha como esperado (saída 1).
|
||
|
||
### Determinismo
|
||
|
||
`stateDigest` (MD5 dos estados dos 360 quadros: posição, rodas, câmera, overlay):
|
||
|
||
- cena padrão: **`18b41815028decf7ef557b1573072af1`** na prévia (540×960), no final (1080×1920) e na
|
||
execução com áudio. São três processos diferentes, em duas resoluções. O áudio não entra no estado;
|
||
- `demo-street-variant`: `9cd400166a1c87e73d2165004d44c88d` (diferente, como esperado).
|
||
|
||
## Tempo medido (não é promessa de desempenho)
|
||
|
||
| Etapa | Prévia 540×960 | Final 1080×1920 |
|
||
|---|---|---|
|
||
| Validação (Godot headless) | 0,27 s | 0,26 s |
|
||
| Render Godot (363 quadros) | 39–42 s | 153 s |
|
||
| └ GPU por quadro | 1,9 ms | 4,5 ms |
|
||
| └ CPU por quadro | 0,5 ms | 0,5 ms |
|
||
| └ **codificação PNG por quadro** | **105 ms** | **404 ms** |
|
||
| FFmpeg libx264 (preset medium, CRF 18) | 0,8–0,9 s | 2,8 s |
|
||
| FFprobe + inspeção | ~1,3 s | ~3,4 s |
|
||
| **Total** | **~42–45 s** | **~160 s** |
|
||
|
||
A etapa de render da Godot ocupa 94–96% do tempo total, e quase tudo é a codificação PNG: cerca de 91% do total no final (404 ms × 363 quadros ≈ 147 s de 160 s) e cerca de 90% na prévia (38 s de 42 s). A GPU é irrelevante neste plano.
|
||
Fica como ponto de otimização futura, por exemplo comparar com a saída AVI/MJPEG do Movie
|
||
Maker. Não foi medido aqui.
|
||
|
||
## Testes executados
|
||
|
||
- **`pnpm test:godot`**: 38/38 passaram (headless). Rejeitam JSON malformado, versão
|
||
desconhecida, intervalo impossível (`start ≥ brake`, `stop > duração`), FPS zero, largura
|
||
negativa ou ímpar, número como texto, duração sem número inteiro de quadros, cor inválida,
|
||
percurso além do fim da rua, câmera abaixo do chão, texto com caractere de controle, campo
|
||
desconhecido (`world.script`), áudio habilitado sem arquivo e arquivo inexistente. Na
|
||
lógica temporal: posição inicial, parada até `startSeconds`, distância exata na parada,
|
||
permanência parada, monotonicidade, ausência de saltos (passo máximo 0,00206 m com dt =
|
||
0,5 ms), velocidade contínua, continuidade em cada fronteira de fase, ângulo da roda =
|
||
distância/raio, visibilidade do overlay, mesmo estado em duas instâncias e independência
|
||
da ordem de avaliação.
|
||
- **`pnpm test:launcher`**: 17/17 passaram. Saída ≠ 0 não é sucesso; executável inexistente;
|
||
argumentos com espaço e `;` chegam intactos (sem shell); timeout; cancelamento encerra o
|
||
subprocesso; FFmpeg com entrada inexistente falha; `--` do pnpm ignorado; perfil não muta a
|
||
config; trava de render único e recuperação de trava abandonada; conferência de PNG
|
||
(lacuna, quantidade, dimensões, pasta vazia); critérios do FFprobe (tolerância de 1 quadro,
|
||
FPS/dimensões/contagem errados); áudio inexistente; aviso de corte; filtro sem `-shortest`.
|
||
- **`pnpm typecheck`**: sem erros (TypeScript 7.0.2).
|
||
- **Projeto aberto na Godot**: `godot --headless --path godot --import` (editor) terminou sem erros e
|
||
gerou os `.uid`/`.import`. O `--check-only` de todos os scripts também passou sem erros.
|
||
- **Prévia interativa**: `godot --path godot --quit-after 90 -- --config config/demo-street-variant.json`
|
||
abriu em modo preview (`SCENE_READY … mode=preview`). Os controles de teclado não foram
|
||
acionados manualmente.
|
||
- **Falha pelo lançador**: render com `godot/tests/fixtures/impossible-times.json` parou na etapa
|
||
`validate` (saída 1, `status: failed`) com a mensagem
|
||
`motion: exige startSeconds < brakeStartSeconds < stopSeconds <= durationSeconds (recebido 5.0 < 4.0 < 13.0 <= 12.0)`.
|
||
O `output/last-success.json` continuou apontando para o render válido anterior.
|
||
- **Áudio (pipeline)**: um tom senoidal de 5 s, gerado só para o teste (não é narração), foi
|
||
colocado num caminho com espaço, com `offsetSeconds: 9`. O lançador avisou o corte de 2,00 s.
|
||
O MP4 saiu com vídeo h264 de 12,000 s e áudio AAC 48 kHz de 12,000 s. Pico do áudio: −91 dB
|
||
antes de 9 s (silêncio) e −18 dB depois de 9,1 s (tom). O arquivo de entrada não foi alterado.
|
||
|
||
## Inspeção visual
|
||
|
||
Foram examinados os quadros extraídos **do MP4** em 0,5 s, 4 s, 8 s e 11 s (`inspect/` de cada
|
||
execução), uma tira com 1 quadro por segundo do MP4 final, recortes ampliados do entregador e
|
||
das rodas, e o quadro de 11 s em 1080×1920. **O vídeo não foi assistido em um player**: a
|
||
avaliação de fluidez vem dos quadros em sequência e dos testes numéricos.
|
||
|
||
| Critério | Resultado |
|
||
|---|---|
|
||
| Sem vídeo preto, câmera dentro de geometria ou textura ausente | ok |
|
||
| Personagem reconhecível e apoiado na moto | ok: capacete com viseira, jaqueta, mãos no guidão, pés nas pedaleiras, caixa de entrega no bagageiro |
|
||
| Mudança de perspectiva dos objetos próximos | ok: muros, casas, árvores e postes passam e mudam de perspectiva quadro a quadro |
|
||
| Rodas girando | ok: raios e cravos mudam de posição entre quadros consecutivos (~26°/quadro a 4,13 m/s, abaixo do limiar de efeito estroboscópico da simetria de 60°) |
|
||
| Fundo sem rotação artificial nem bordas de planos | ok após correção (ver abaixo); as fachadas são planos fixos voltados para +Z |
|
||
| Sem z-fighting importante ou texto cortado | ok; acentos e travessão (—) renderizam com a fonte padrão |
|
||
| Overlay legível em tamanho reduzido | ok na tira de 180 px de largura |
|
||
| Luz e cores consistentes | ok; do quadro 1 em diante (o quadro 0 é descartado, ver abaixo) |
|
||
|
||
## Problemas encontrados e corrigidos durante o teste
|
||
|
||
1. **Primeiro quadro inválido.** O quadro 0 gravado pela Godot 4.7.2 saía azulado, com uma sombra
|
||
diagonal errada, porque sombras e radiância do céu ainda não estavam prontas. A partir do
|
||
quadro 1 tudo ficava estável. Correção: 3 quadros de aquecimento em `t = 0`, descartados com
|
||
`-start_number 3`.
|
||
2. **`delta` não é 1/30 com `--fixed-fps`.** Os valores observados foram 0,025, 0,0333, 0,0417…
|
||
Por isso o tempo da cena vem do contador de quadros.
|
||
3. **Resolução do filme fixada na inicialização.** `--resolution` e mudanças em runtime não
|
||
alteram o arquivo gravado, e uma janela de 1080×1920 não cabe numa tela de 1080 px. Correção:
|
||
`override.cfg` temporário por render. A cena confere se o viewport corresponde à configuração.
|
||
4. **`--write-movie` relativo e falha silenciosa.** O caminho relativo é resolvido a partir de
|
||
`godot/`. Com a pasta inexistente, nenhum PNG foi gravado e mesmo assim a Godot saiu com
|
||
código 0, imprimindo "Done recording". Correção: o lançador usa caminho absoluto e confere os
|
||
PNGs, e a cena aborta (código 3) se a pasta não existir.
|
||
5. **Composição.** O título quebrava em duas linhas sobre a opção A, e no fim o texto cobria o
|
||
entregador. O título passou a crescer para cima, e a câmera final desce para um ângulo baixo
|
||
(entregador na metade superior, opções embaixo, ~18% inferior livre).
|
||
6. **Borda reta do morro** visível contra o céu. Correção: cumeeira irregular com volumes
|
||
(determinística pela seed).
|
||
7. **`pnpm doctor`** é comando nativo do pnpm 11; o diagnóstico do projeto é `pnpm run doctor`.
|
||
|
||
## Painel (16/11/2026, depois da prova de conceito)
|
||
|
||
Executado com o painel em `pnpm panel` (127.0.0.1:4310):
|
||
- `next build`: sem erros de tipo nem avisos. Páginas `/`, `/assets` e `/agent` respondem 200;
|
||
história inexistente responde 404.
|
||
- `/api/files`: serve PNG e MP4 (com `Range` → 206) e bloqueia `../package.json` e
|
||
`godot/project.godot` (404).
|
||
- Lógica por script: 25/25 casos ok. Cobre a regra de voto ("A ou B?" e "Amei" não contam),
|
||
apuração com último voto por conta, comentário repetido ignorado, linha sem autor rejeitada,
|
||
fotografia imutável, episódio seguinte herdando a escolha, decisão manual obrigatória sem
|
||
votos, asset da história com `asset.json`, extensão errada recusada e promoção para a biblioteca.
|
||
- Agente pela API: Claude Haiku leu `package.json` com cwd na raiz, com streaming SSE de
|
||
sessão, ferramenta, resultado e custo (US$ 0,0072). "Continuar conversa" retomou a sessão.
|
||
O segundo pedido simultâneo foi recusado e o Codex aparece como não instalado.
|
||
- Render pelo painel: episódio de teste em prévia em 44 s, `success`, MP4 registrado e player na
|
||
página do episódio.
|
||
- **Não testado:** interface clicada no navegador (o navegador automatizado estava ocupado por
|
||
outra sessão); formulários foram validados pela mesma lógica que eles chamam. Codex não testado.
|
||
- Dados de teste removidos depois.
|
||
|
||
## Serviço de voz e página Vozes (16/11/2026)
|
||
|
||
Máquina: Windows 11, RTX 2060 SUPER 8 GB (driver 610.88), com um jogo (Rust) aberto durante parte dos testes.
|
||
- `setup.bat` completo rodou duas vezes com saída 0. A 1ª rodada deixou a GPU passar por "sem GPU" (bug no
|
||
`nvidia-smi | Select-Object -First 1`, corrigido); a 2ª trocou `torch 2.11.0+cpu` por `+cu128`
|
||
(`cuda True`). O `VoiceConverter` do Applio 3.7.0 importa em `cuda:0`; rmvpe, fcpe e contentvec baixados.
|
||
- `pnpm test:voice`: 122 testes passando (motores falsos + decodificador real + detecção de GPU ocupada).
|
||
- Fumaça (`voice/scripts/smoke.py`): Antonio (Edge) 6,5 s de áudio em 3,0 s; Francisca (Edge) 5,8 s em 2,6 s;
|
||
Faber (Piper) 4,9 s em 2,5 s na 1ª vez e 0,02 s carregado. Whisper small na CPU: 6,5 s de fala em 2,7 s
|
||
com 14 palavras e tempos.
|
||
- GPU sem cuBLAS: falha só na 1ª inferência → o aquecimento na subida pega e cai para a CPU. GPU ocupada pelo
|
||
jogo (99%, 1,6 GB livres): legenda de 6,5 s ficou mais de 8 min na GPU; depois da mudança, o `auto` escolheu
|
||
CPU e a mesma legenda pelo painel levou 2,5 s.
|
||
- Painel (`/voices` e `/api/voice/*`, 127.0.0.1:4500): status, ouvir (Francisca em 2,1 s), validação de
|
||
texto vazio, legenda com `.srt`, salvar configurações com reinício automático do serviço, adicionar voz
|
||
(recusa sem origem/licença e arquivo que não é `.pth` do torch), remover (recusa voz base), e `.pth` sem
|
||
estrutura RVC → `422 rvc_failed` com mensagem clara. Páginas `/`, `/voices`, `/assets`, `/agent` → 200.
|
||
- **Não testado:** conversão RVC com modelo real (nenhum modelo neutro com licença clara), Whisper
|
||
`large-v3-turbo`, download de modelo pelo painel, estado offline visto no navegador.
|
||
|
||
## Clipador — cortes de live (16/11/2026)
|
||
|
||
Teste ponta a ponta numa live real (twitch.tv/alanzoka, Parasite Eve), serviço `clipper/` em 127.0.0.1:4520:
|
||
|
||
- Captura: Streamlink 8.6.3 → FFmpeg em blocos de 30 s; 10 min 18 s gravados (21 blocos), parada pelo painel/API
|
||
fechou o último bloco sem deixar `streamlink`/`ffmpeg` órfãos.
|
||
- Chat: IRC anônimo da Twitch conectado, 490 mensagens mapeadas para o tempo da gravação.
|
||
- Transcrição: 21/21 blocos pelo serviço de voz (`X-Detail: words`), 0 erros; texto em pt-BR bate com a legenda do jogo.
|
||
- Momentos: 4 cortes automáticos pelo chat; juiz `codex:gpt-6-luna` manteve os 4 (notas 7,4–8,5), ~7 s por candidato.
|
||
"Cortar agora" (40 s): juiz deu nota 3 (sem gancho), renderizado por ser manual.
|
||
- Render: H.264 1080×1920 + AAC, 40–52 s; quadros inspecionados mostram crédito `twitch.tv/alanzoka` no topo e
|
||
legenda palavra a palavra sincronizada. Vídeos não assistidos inteiros em player.
|
||
- Testes: `pnpm test:clipper` → 33 passed; `pnpm typecheck` e `npx tsc --noEmit -p panel` limpos.
|
||
|
||
Corrigido no teste: legenda deslocada (`-ss` depois do `-i`), tag `\c` virando `\C` com `.upper()`, e 2 falsos
|
||
positivos com chat calmo (emote `clip5k1hmm`, começo da gravação) — ver `clipper/README.md`, "Armadilhas".
|
||
Não testado: chat da Kick, live do YouTube, VOD, juiz `claude`, publicação nas redes (ainda não existe).
|
||
|
||
## O que continua provisório ou pendente
|
||
|
||
- Moto, entregador e casas feitos de primitivas, sem rig nem animação facial. Fachadas
|
||
distantes geradas proceduralmente.
|
||
- O vídeo não foi assistido em player (só quadros extraídos).
|
||
- O cancelamento por Ctrl+C real no terminal não foi exercitado; há teste unitário da lógica.
|
||
- Não foi testado em Linux, nem com os renderizadores Compatibility ou Forward+.
|
||
- A codificação PNG domina o tempo de render; não houve otimização.
|
||
- Um único preset de câmera (`third_person_follow`) e um único asset (`placeholder-rider`).
|
||
|
||
## Próximos passos sugeridos
|
||
|
||
1. Assistir aos MP4 e ajustar o ritmo: velocidade de 4,1 m/s (~15 km/h) e duração da transição da câmera.
|
||
2. Medir a saída AVI/MJPEG do Movie Maker contra PNG para reduzir o tempo de render.
|
||
3. Nó adaptador para GLB (escala/orientação) e primeiro teste com um modelo real.
|
||
4. Ligar o render ao serviço de voz: narração gerada por fala (`/v1/synthesize`, `wav`) e legenda
|
||
automática a partir dos tempos (`/v1/transcribe`, `X-Detail: words`).
|
||
5. Só então: contrato de cena compartilhado com o futuro painel/API.
|