A fala de colegas no Discord e de outros jogadores saía na legenda como se fosse do streamer. Agora cada palavra tem falante: - voz: cada trecho de fala vira uma impressão de voz (WeSpeaker ResNet34-LM, ONNX, pesos CC-BY-4.0) na análise do bloco (~0,2 s de CPU por bloco); as vozes da sessão são agrupadas sob demanda (0,05 s) e a do streamer é a que mexe a boca na webcam (YuNet, nova série `mouth` no rastreio) ou a mais alta no áudio. Sem prova, tudo continua como do streamer. - dados: `scoring.Word.speaker`; `words_json` aceita o 4º elemento; tabela `voice_chunks` (CREATE TABLE IF NOT EXISTS, fora da lista de migrações). - legenda: streamer na posição normal e outra pessoa logo abaixo, em outra cor (`caption.otherColor`/`otherSize`); blocos nunca misturam falantes; os dois juntos = duas linhas; gancho desvia as duas; vertical e horizontal. - tradução com `speaker` por linha; juízes recebem a transcrição marcada. - painel: cor da outra pessoa na configuração, falante na transcrição do editor (com correção manual), prévia em duas linhas e "O que falam" no modal. - doc/clipador/FALANTES.md com abordagem, licenças e qualidade medida na sessão 15. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
57 lines
3.1 KiB
JSON
57 lines
3.1 KiB
JSON
{
|
||
"_comment": "Pesos do rastreio de reação e da atribuição de falante do Clipador. Baixados para data/clipper/models/ pelo scripts/setup.ps1 (passo 6b) e conferidos pelo sha256. URLs imutáveis (commit fixo ou caminho versionado). Bancada: doc/FACE_BAKEOFF.md. Falantes: doc/clipador/FALANTES.md.",
|
||
"dir": "data/clipper/models",
|
||
"models": [
|
||
{
|
||
"id": "yunet",
|
||
"file": "face_detection_yunet_2026may.onnx",
|
||
"role": "achar a câmera (rosto no quadro inteiro), cv2.FaceDetectorYN; entrada dinâmica (OpenCV 5)",
|
||
"url": "https://media.githubusercontent.com/media/opencv/opencv_zoo/eb9f4f2d4b79b58e5513b5d25d5f0243a8357bf4/models/face_detection_yunet/face_detection_yunet_2026may.onnx",
|
||
"sha256": "ebafce4e3c118d6554634be5c27ab333b4c047a9a8c3faf1d7cf93101c22f0f0",
|
||
"size": 229738,
|
||
"license": "MIT",
|
||
"source": "github.com/opencv/opencv_zoo@eb9f4f2d4b79b58e5513b5d25d5f0243a8357bf4 (Git LFS)"
|
||
},
|
||
{
|
||
"id": "face_landmarker",
|
||
"file": "face_landmarker.task",
|
||
"role": "478 pontos + 52 blendshapes (MediaPipe Face Landmarker, float16 v1)",
|
||
"url": "https://storage.googleapis.com/mediapipe-models/face_landmarker/face_landmarker/float16/1/face_landmarker.task",
|
||
"sha256": "64184e229b263107bc2b804c6625db1341ff2bb731874b0bcc2fe6544e0bc9ff",
|
||
"size": 3758596,
|
||
"license": "Apache-2.0",
|
||
"source": "Google MediaPipe (caminho versionado float16/1)"
|
||
},
|
||
{
|
||
"id": "osf_landmarks",
|
||
"file": "osf_lm_model3_opt.onnx",
|
||
"role": "plano B: 66 pontos (OpenSeeFace modelo 3), sem blendshapes",
|
||
"url": "https://raw.githubusercontent.com/emilianavt/OpenSeeFace/50c09741897010faad721a218b2bbe14ecad6251/models/lm_model3_opt.onnx",
|
||
"sha256": "5aa0ab2594acaf2e1d3916a8de592cffeb1f1a7a7f778cad2f37948bff6549d1",
|
||
"size": 13500226,
|
||
"license": "BSD-2-Clause",
|
||
"source": "github.com/emilianavt/OpenSeeFace@50c09741897010faad721a218b2bbe14ecad6251"
|
||
},
|
||
{
|
||
"id": "osf_detector",
|
||
"file": "osf_mnv3_detection_opt.onnx",
|
||
"role": "plano B: detector de rosto do OpenSeeFace (224×224)",
|
||
"url": "https://raw.githubusercontent.com/emilianavt/OpenSeeFace/50c09741897010faad721a218b2bbe14ecad6251/models/mnv3_detection_opt.onnx",
|
||
"sha256": "0e8e4806766d85ab067a52c7af0dcb59eb7f9dfe580b44f20a8e6ab712d89809",
|
||
"size": 568302,
|
||
"license": "BSD-2-Clause",
|
||
"source": "github.com/emilianavt/OpenSeeFace@50c09741897010faad721a218b2bbe14ecad6251"
|
||
},
|
||
{
|
||
"id": "wespeaker_r34",
|
||
"file": "wespeaker_voxceleb_resnet34_LM.onnx",
|
||
"role": "impressão de voz (falante): fbank 80 → vetor de 256 (WeSpeaker ResNet34-LM, VoxCeleb); quem fala cada palavra",
|
||
"url": "https://huggingface.co/Wespeaker/wespeaker-voxceleb-resnet34-LM/resolve/f0c48c298fd835726c27956a5d617bad7115627e/voxceleb_resnet34_LM.onnx",
|
||
"sha256": "7bb2f06e9df17cdf1ef14ee8a15ab08ed28e8d0ef5054ee135741560df2ec068",
|
||
"size": 26530309,
|
||
"license": "CC-BY-4.0",
|
||
"source": "huggingface.co/Wespeaker/wespeaker-voxceleb-resnet34-LM@f0c48c298fd835726c27956a5d617bad7115627e (atribuição: WeSpeaker, wenet-e2e)"
|
||
}
|
||
]
|
||
}
|