NVIDIA ha anunciado sus nuevas bibliotecas NVIDIA Omniverse y modelos de fundación del mundo (WFM) de NVIDIA Cosmos que aceleran el desarrollo y la implementación de soluciones de la robótica.
Nuevos portales al mundo de la robótica
Impulsados por los nuevos servidores NVIDIA RTX PRO y NVIDIA DGX Cloud, bibliotecas y modelos que permitirán a los desarrolladores crear gemelos digitales físicamente precisos, capturar y reconstruir el mundo real en la simulación, generando datos sintéticos para así: entrenar modelos de IAfísicos para crear agentes de IA que entienden el mundo físico.
Los gráficos por computadora y la IA están convergiendo para transformar fundamentalmente la robótica. Al combinar el razonamiento de IA con una simulación escalable y físicamente precisa, permitimos a los desarrolladores crear los robots y vehículos autónomos del mañana, que transformarán billones de dólares en industrias
– Rev Lebaredian, vicepresidente de Omniverse y Tecnologías de Simulación en NVIDIANVIDIA ha estado trabajando para abrir puertas para que desarrolladores y empresas creen robots más inteligentes, capaces de comprender e interactuar con el mundo físico de forma más realista y precisa. Estas innovaciones no son solo avances tecnológicos, sino la próxima generación de automatización, desde fábricas hasta ciudades inteligentes, que permite la simulación, el entrenamiento y la implementación de sistemas robóticos con una velocidad y precisión sin precedentes.
– Marcio Aguiar, director de la división Enterprise de NVIDIA en América Latina
Nuevas bibliotecas de NVIDIA Omniverse
Los nuevos kits de desarrollo de software (SDK) y bibliotecas NVIDIA Omniverse ya se encuentran disponibles para crear e implementar aplicaciones de simulación para la robótica y la inteligencia artificial industrial.
- Los nuevos SDK de Omniverse genera una interoperabilidad de datos entre MuJoCo(MJCF) y Universal Scene Description (OpenUSD), permitiendo el aprendizaje de robots MJCF y se simulen en todas las plataformas.
- Las nuevas bibliotecas Omniverse NuRec y los modelos de IAintroducen el Splatting Gaussiano 3Dtrazado por rayos de Omniverse RTX, una técnica de renderizado que permite capturar, reconstruir y simular el mundo real en 3D con los datos de sensores.
- Los frameworks de simulación y aprendizaje de los robots de código abierto NVIDIA Isaac Sim 5.0 y NVIDIA Isaac Lab 2.2 ya se encuentran disponibles en GitHub. Isaac Sim incluye la renderización neural de NuRec, nuevos esquemas de robots y sensores basados en OpenUSD lo que ayuda a cerrar la brecha entre la simulación y la realidad.
Omniverse NuRec
La renderización de Omniverse NuRec ya está integrada en CARLA: un simulador de código abierto. Foretellix, líder de herramientas para vehículos autónomos (VA) , integra NuRec, NVIDIA Omniverse Sensor RTX y Cosmos Transfer para optimizar la generación escalable. FiftyOne, motor de datos de Voxel51 para IA visual y multimodal, compatible con NuRec para mejorar la preparación de datos en reconstrucciones.
Los nuevos modelos en SIGGRAPH
- Cosmos Transfer-2 simplifica en las entradas y acelera la generación de datos sintéticos fotorrealistas desde escenas de simulación 3D como referencia o entradas de control espacial, profundidad, segmentación, bordes y mapas en alta definición.
- Una versión destilada de Cosmos Transfer que, reduce el proceso de destilación de hasta 70 pasos a
1, facilitando el ejecutar modelos en servidores NVIDIA RTX PRO a una mayor velocidad.
Cosmos Reason avanza en la comprensión del mundo
NVIDIA Cosmos Reason, un nuevo VLM de razonamiento abierto y personalizable para usarse con IA física y robótica, lo que permite tanto a robots como agentes de IA razonar como los humanos. Utilizando conocimiento previo, comprensión de la física y el sentido común para comprender y actuar en el mundo real.
Cosmos Reason puede utilizarse para aplicaciones de robótica y física de IA, incluyendo:
- Curación y anotación de datos, para automatizar la curación y anotación de alta calidad de datos de entrenamiento masivos y diversos. También, asiste en la planificación y razonamiento robótico, como el cerebro en la toma de decisiones y metódica en un modelo robótico de visión, lenguaje y acción (VLA) .
- Cosmos Reason permite a los robots el interpretar entornos y, con órdenes complejas, descomponerlas en tareas y ejecutarlas con sentido común, incluso estando en entornos desconocidos.
- Agentes de IA de análisis de video desarrollados en NVIDIA Blueprint para la búsqueda y resumen de videos para extraer información y realizar análisis de causa raíz hasta en volúmenes masivos de datos.
La nueva infraestructura de IA de NVIDIA
Esta novedad impulsa las cargas de trabajo de robótica en cualquier lugar, para permitir a los desarrolladores aprovechar al máximo estas tecnologías y bibliotecas de software, NVIDIA anunció una infraestructura de IA diseñada para trabajos más exigentes.
- Los servidores NVIDIA RTX PRO Blackwell ofrecen una arquitectura única hecha para cada carga de trabajo, destacando en rubros como entrenamiento, generación de datos sintéticos, aprendizaje de robots y simulación.
- NVIDIA DGX Cloud, se encuentra disponible en Microsoft Azure Marketplace, que ofrece una plataforma administrada para simplificar la transmisión de aplicaciones basadas en OpenUSD y RTX a escala desde la nube, para minimizar la orquestación y administración de la infraestructura.
Aceleración del ecosistema de desarrolladores
Para ayudar a los desarrolladores de robótica e IA física a avanzar en la adopción de tecnología 3D y la simulación, NVIDIA ha anunció lo siguiente:
- Plan de estudios y certificación OpenUSD, que aborda la demanda de experiencia en
USD, con el apoyo de los miembros de AOUSD: Adobe, Amazon Robotics, Ansys (parte de
Synopsys), Autodesk, Pixar, PTC, Rockwell Automation, SideFX, Siemens, TCS y Trimble, Hexagon. - Colaboración de código abierto con Lightwheelpara integrar marcos de evaluación y entrenamiento de políticas de robots en NVIDIA Isaac Lab, con capacidades de entrenamiento, aprendizaje, refuerzo paralelo, puntos de referencia y recursos listos para la simulación y así manejar la manipulación y locomoción de robots.
