Ir para o conteúdo

Black Forest aposta em IA multimodal para vídeos, imagens e automação industrial

A Black Forest Labs anunciou o início do acesso antecipado ao FLUX 3, seu novo modelo multimodal voltado à geração e compreensão de conteúdo visual. A novidade reúne imagem, vídeo, áudio e linguagem em uma única arquitetura, permitindo criar vídeos com som sincronizado, editar imagens e servir como base para aplicações em robótica.

O lançamento marca uma mudança importante na estratégia da empresa ao apostar em um único modelo para diferentes tarefas. Além da criação de conteúdo, a tecnologia também deu origem ao FLUX-mimic, uma versão desenvolvida em parceria com a mimic robotics para controlar robôs industriais que já está sendo testada em linhas de produção da Audi.

Como funciona

O FLUX 3 foi treinado simultaneamente com imagens, vídeos e áudio, permitindo que diferentes modalidades compartilhem uma mesma representação do mundo. A proposta é que o modelo compreenda relações entre objetos, movimento, sons e linguagem em vez de tratar cada tipo de dado de forma isolada.

Segundo a Black Forest Labs, essa abordagem melhora tanto a geração quanto a compreensão multimodal e serve como base para aplicações que vão desde criação de conteúdo até inteligência física para robôs.

Principais novidades

Entre os recursos apresentados está a geração de vídeos de até 20 segundos com áudio nativo sincronizado. O modelo também suporta geração de vídeo a partir de texto, imagens ou outros vídeos, além de continuar sequências existentes utilizando referências visuais e sonoras.

O FLUX 3 oferece suporte a diálogos em múltiplos idiomas, geração de tipografia, diferentes estilos visuais, múltiplas proporções de tela e manutenção da consistência de personagens entre diferentes cenas. Também é capaz de encadear vários clipes para formar sequências mais longas.

Na parte de imagens, o modelo realiza síntese e edição em diferentes estilos e resoluções, com melhorias na interpretação de prompts complexos e na geração precisa de textos em vários idiomas.

Resultados iniciais

Nos testes preliminares divulgados pela empresa, o FLUX 3 foi preferido em avaliações comparativas contra diversos modelos concorrentes de geração de vídeo.

Os resultados apresentados mostram preferência de até 77% sobre o Runway Gen-4.5 e 93% sobre o Luma Ray 3.2. O modelo também superou Grok Imagine Video, Kling v3 Pro, Happy Horse, Seedance 2.0 e Gemini Omni Flash em diferentes níveis de comparação.

A empresa ressalta que esses resultados ainda são preliminares e que novas melhorias devem ser implementadas durante o período de acesso antecipado.

FLUX-mimic leva a tecnologia para robôs

Além da criação de conteúdo, a Black Forest Labs apresentou o FLUX-mimic, desenvolvido em parceria com a startup suíça mimic robotics.

A tecnologia utiliza o backbone do FLUX 3 para aprendizado de ações físicas. De acordo com os testes apresentados, um robô consegue aprender uma nova tarefa industrial a partir de aproximadamente 30 minutos de demonstrações, reduzindo significativamente o volume de dados normalmente necessário, que costuma ultrapassar 30 horas.

A solução está sendo avaliada em tarefas de produção da Audi.

Próximos passos

Nos próximos meses, a Black Forest Labs pretende ampliar gradualmente o acesso às diferentes capacidades do FLUX 3.

O cronograma inclui APIs para geração e edição de vídeos e imagens, modelos de previsão de ações para parceiros comerciais e de pesquisa e o lançamento do FLUX 3 Dev, uma versão com pesos abertos do backbone multimodal, dimensionada para funcionar também em hardware utilizado em ambientes industriais.

A empresa também promete divulgar mais detalhes técnicos sobre a arquitetura utilizada no treinamento do modelo.

O FLUX 3 representa um avanço na tendência de unificar diferentes modalidades de inteligência artificial em um único modelo. Em vez de desenvolver sistemas separados para imagem, vídeo, áudio e robótica, a Black Forest Labs aposta em uma arquitetura compartilhada capaz de atender tanto aplicações criativas quanto sistemas de automação industrial.

Se os resultados apresentados se confirmarem durante o lançamento completo, a tecnologia pode ampliar a competição no mercado de geração multimodal e acelerar a adoção de modelos de IA também em ambientes físicos, aproximando ainda mais a criação de conteúdo e a robótica sob uma mesma base tecnológica.