A NVIDIA lançou o NVIDIA Cosmos™ 3 , um modelo de base de mundo aberto para IA física construído sobre uma arquitetura inovadora de mistura de transformadores que combina raciocínio visual, geração de mundo e previsão de ações em um único sistema.
O Cosmos 3 é o primeiro omnimodelo totalmente aberto do mundo capaz de compreender e gerar nativamente texto, imagens, vídeo, som ambiente e ações com precisão física de ponta, reduzindo os ciclos de treinamento e avaliação de IA física de meses para dias.
A NVIDIA também lançou a NVIDIA Cosmos Coalition, uma colaboração global entre criadores de modelos mundiais e desenvolvedores de IA – incluindo Agile Robots, Black Forest Labs, Generalist, LTX, Runway e Skild AI – que trabalham juntos para desenvolver modelos mundiais de próxima geração.
“O grande salto da IA física está prestes a acontecer graças aos avanços na linguagem de raciocínio multimodal, visão e modelos do mundo”, disse Jensen Huang, fundador e CEO da NVIDIA. “A família Cosmos 3 de omnimodelos abertos e inovadores oferece aos desenvolvedores um salto geracional na capacidade de construir robôs, veículos autônomos e IA de visão que percebem, raciocinam, planejam e agem no mundo físico.”
Uma nova arquitetura para IA física
Cosmos 3 aborda um desafio fundamental na IA física: permitir que robôs, veículos autônomos (VAs) ou agentes de visão generalizem no mundo real com dados de treinamento limitados e conjuntos de simulação fragmentados.
A arquitetura de mistura de transformadores do modelo combina um transformador de raciocínio com um transformador de geração especializado, permitindo que o Cosmos 3 compreenda as interações entre objetos, o movimento e as relações espaço-temporais antes de gerar vídeos e trajetórias de ação.
Treinado em um dos maiores conjuntos de dados multimodais de IA física -incluindo bilhões de amostras em texto, imagem, vídeo, som e trajetórias de ação – o modelo oferece aos desenvolvedores uma base pré-treinada poderosa para construir sistemas de IA física com menos dados e custos de treinamento mais baixos.
Os desenvolvedores de IA física estão construindo soluções na plataforma Cosmos em diversos setores – Agile Robots, Doosan Robotics, LG Electronics, Samsung Electronics e Skild AI para robótica, Li Auto para veículos autônomos e Centific, Fogsphere, Linker Vision, Milestone Systems e Yuan para agentes de IA de visão, visando impulsionar aplicações de IA industrial e espaços inteligentes.
A Cosmos Coalition é uma colaboração global entre criadores de modelos de mundo aberto, desenvolvedores de IA e líderes em IA física para promover modelos de mundo aberto em diversos setores, permitindo que os membros contribuam com modelos, pesquisas e técnicas de avaliação, utilizando as tecnologias do Cosmos 3, ferramentas de treinamento e a infraestrutura NVIDIA DGX™ Cloud para treinamento em larga escala.
Os membros fundadores da coalizão incluem Agile Robots, Black Forest Labs, Generalist, LTX, Runway e Skild AI. Ao construir de forma aberta e contribuir em um ecossistema compartilhado, a coalizão visa possibilitar uma inovação mais rápida, uma interoperabilidade mais ampla e avanços mais céleres em IA física.
