Nvidia y OpenAI han colaborado para lanzar la familia GPT-Oss de modelos de IA de código abierto, optimizado para las GPU NVIDIA RTX. Estos modelos, GPT-OSS-20B y GPT-OSS-120B, aportan capacidades de IA avanzadas a las PC y estaciones de trabajo de los consumidores, lo que permite un rendimiento de IA de AI en el dispositivo más rápido y eficiente.
OpenAi, ha presentado su GPT-OSS Familia de modelos AI de peso abiertoespecíficamente optimizado para GPU NVIDIA RTX. Estos modelos, GPT-OSS-20B y GPT-OSS-20B, están diseñados para ofrecer capacidades de IA avanzadas tanto a las PC de grado de consumo como a las estaciones de trabajo profesionales. Al utilizar la innovadora tecnología de GPU de NVIDIA, los modelos proporcionan un rendimiento más rápido en el dispositivo, una mayor eficiencia y una mayor accesibilidad para los desarrolladores y los entusiastas de la IA. Los últimos modelos Operai cuentan con arquitectura de vanguardia, longitudes de contexto extendidas y soporte para varias aplicaciones de IA, haciéndolos accesibles para los desarrolladores y entusiastas a través de herramientas como Ollama, Llama.cpp y Microsoft AI Foundry Local.
Lo más destacado de los modelos GPT-OSS
TL; DR Key Takeaways:
- Openai y Nvidia introdujeron los modelos GPT-OSS, optimizados para las GPU NVIDIA RTX, que ofrecen un rendimiento y accesibilidad más rápido para los desarrolladores.
- El GPT-OSS-20B se dirige a las GPU de grado de consumo, mientras que el GPT-OSS-20B está diseñado para GPU de grado profesional, que respaldan longitudes de contexto extendidas de hasta 131,072 tokens.
- Los avances tecnológicos incluyen precisión MXFP4, arquitectura de la mezcla de expertos y el razonamiento de la cadena de pensamiento para una mayor eficiencia y resolución de problemas.
- Los modelos admiten aplicaciones versátiles como codificación, análisis de documentos y procesamiento de entrada multimodal, con longitudes de contexto personalizables para casos de uso a medida.
- Las herramientas de desarrollador, como el marco Ollama App y Llama.CPP, simplifican la integración, mientras que la colaboración de código abierto fomenta la innovación y la accesibilidad.
Dos modelos, personalizados para el rendimiento
La forma más fácil de probar estos modelos en PCS RTX AI, en GPU con al menos 24 GB de VRAM, es usar la nueva aplicación Ollama. Ollama está completamente optimizado para RTX, lo que lo hace ideal para los consumidores que buscan experimentar el poder de la IA personal en su PC o la estación de trabajo. La familia GPT-OSS consta de dos modelos distintos, cada uno adaptado para satisfacer los requisitos de hardware específicos y las necesidades de rendimiento:
- GPT-OSS-20B: Diseñados para las GPU RTX de NVIDIA de grado consumidor con al menos 16 GB de VRAM, como el RTX 5090. Este modelo logra velocidades de procesamiento de hasta 250 tokens por segundo, lo que lo hace adecuado para desarrolladores individuales y proyectos a pequeña escala.
- GPT-OSS-120B: Optimizado para GPU RTX Pro de grado profesional, este modelo atiende a entornos empresariales y de investigación que requieren una mayor potencia computacional y escalabilidad.
Ambos modelos admiten longitudes de contexto extendidas de hasta 131,072 fichaspermitiéndoles manejar tareas de razonamiento complejas y procesar documentos a gran escala. Esta capacidad es particularmente ventajosa para aplicaciones como el análisis de documentos legales, la investigación académica y otras tareas que requieren comprensión de forma larga y análisis detallado.
Innovaciones tecnológicas que impulsan la eficiencia
Los modelos GPT-oss incorporan varios avances tecnológicos que mejoran su rendimiento y funcionalidad. Estas innovaciones incluyen:
- Precisión MXFP4: Los modelos GPT-ASS son los primeros en admitir este formato de precisión en las GPU NVIDIA RTX. MXFP4 mejora la eficiencia computacional al tiempo que mantiene la precisión del resultado, reduciendo el consumo de recursos sin comprometer el rendimiento.
- Arquitectura de mezcla de expertos (MOE): Esta arquitectura activa solo los componentes necesarios del modelo para tareas específicas, minimizando la sobrecarga computacional mientras mantiene un alto rendimiento. Este diseño garantiza una utilización eficiente de recursos, particularmente para tareas complejas o especializadas.
- Razonamiento de la cadena de pensamiento: Esta característica permite que los modelos realicen un análisis lógico paso a paso, mejorando su capacidad para seguir instrucciones y resolver problemas intrincados. Mejora su efectividad en aplicaciones del mundo real, como la resolución de problemas, la toma de decisiones y la resolución de problemas.
Estas innovaciones contribuyen colectivamente a la capacidad de los modelos para ofrecer resultados precisos y de alta velocidad en una variedad de casos de uso, lo que los convierte en herramientas versátiles para desarrolladores y organizaciones por igual.
Aplicaciones y casos de uso versátiles
Los modelos GPT-ASS están diseñados para admitir una amplia gama de Aplicaciones e industriashaciéndolos herramientas altamente adaptables para diversas necesidades. Los casos de uso clave incluyen:
- Búsqueda web y recuperación de información: Los modelos pueden procesar y resumir grandes cantidades de información, lo que los hace ideales para motores de búsqueda y sistemas de gestión de conocimientos.
- Asistencia de codificación: Los desarrolladores pueden usar los modelos para la generación de códigos, la depuración y la optimización, agilizando los flujos de trabajo de desarrollo de software.
- Comprensión del documento: Con sus extensas longitudes de contexto, los modelos se destacan en el análisis de documentos largos, como contratos legales, trabajos de investigación y manuales técnicos.
- Procesamiento de entrada multimodal: La capacidad de manejar las entradas de texto e imágenes amplía su aplicabilidad, lo que permite tareas como subtítulos de imágenes, análisis de datos y generación de contenido.
Las longitudes de contexto personalizables permiten a los usuarios adaptar a los modelos a requisitos específicos, ya sea resumiendo documentos extensos o generando respuestas detalladas a consultas complejas. Esta adaptabilidad hace que los modelos GPT-ASS sean adecuados tanto para el uso de uso general como para aplicaciones especializadas, desde flujos de trabajo empresariales hasta proyectos individuales.
Herramientas para desarrolladores para una integración perfecta
Para ayudar a la adopción e integración, OpenAi y Nvidia han proporcionado un conjunto integral de Herramientas para desarrolladores. Estos recursos simplifican la implementación y las pruebas de los modelos GPT-OSS, asegurándose de la accesibilidad para desarrolladores de diferentes niveles de experiencia. Las herramientas clave incluyen:
- Aplicación Ollama: Una interfaz intuitiva para ejecutar y probar los modelos en las GPU NVIDIA RTX, permitiendo una experimentación y una implementación rápidas.
- marco llama.cpp: Un marco de código abierto que admite colaboración y optimización, lo que permite a los desarrolladores ajustar los modelos para configuraciones de hardware específicas.
- Microsoft Ai Foundry Local: Un conjunto de herramientas de línea de comandos y kits de desarrollo de software (SDK) diseñados para desarrolladores de Windows, lo que permite una integración perfecta en los flujos de trabajo existentes.
Estas herramientas permiten a los desarrolladores a experimentar con soluciones avanzadas de IA sin requerir una amplia experiencia en infraestructura de IA, fomentar la innovación y la accesibilidad.
El papel de Nvidia en el avance de la IA
Los modelos GPT-ASS fueron entrenados en las GPU NVIDIA H100, utilizando la infraestructura de entrenamiento de IA de AI de última generación de NVIDIA. Una vez entrenados, los modelos están optimizados para la inferencia en las GPU de NVIDIA RTX, que muestra el liderazgo de Nvidia en Tecnología de IA de extremo a extremo. Este enfoque garantiza capacidades de IA de alto rendimiento en dispositivos locales y basados en la nube, lo que hace que la IA avanzada sea más accesible para una audiencia más amplia.
Además, los modelos usan Gráficos CUDAuna característica que minimiza los gastos generales computacionales y mejora el rendimiento. Esta optimización es particularmente valiosa para las aplicaciones en tiempo real, donde la velocidad y la eficiencia son críticas.
Colaboración de código abierto e impacto comunitario
Los modelos GPT-oss son peso abiertopermitiendo a los desarrolladores personalizar y extender sus capacidades. Esta apertura fomenta la innovación y la colaboración dentro de la comunidad de IA, lo que permite el desarrollo de soluciones personalizadas para casos de uso específicos.
Nvidia también ha contribuido a marcos de código abierto como Ggml y llama.cppmejorando aún más la accesibilidad y el rendimiento de los modelos GPT-OSS. Estos marcos proporcionan a los desarrolladores las herramientas necesarias para optimizar los modelos de IA para una variedad de configuraciones de hardware, desde PC de grado de consumo hasta sistemas de nivel empresarial.
Empoderando el futuro del desarrollo de la IA
El lanzamiento de los modelos GPT-OSS destaca un momento fundamental en la evolución de la tecnología AI. Al aprovechar el poder de las GPU NVIDIA RTX, estos modelos ofrecen un rendimiento, flexibilidad y accesibilidad excepcionales. Su naturaleza de código abierto, combinada con herramientas de desarrollador robustas, las posiciona como activos valiosos para impulsar la innovación en una amplia gama de aplicaciones. Ya sea para desarrolladores individuales o organizaciones grandes, los modelos GPT-OSS ofrecen una solución práctica y eficiente para avanzar en proyectos impulsados por la IA.
Explore más recursos a continuación de nuestro contenido en profundidad que cubre más áreas en Modelos de IA.
Últimas ofertas de gadgets geek
Divulgación: Algunos de nuestros artículos incluyen enlaces de afiliados. Si compra algo a través de uno de estos enlaces, los gadgets geek pueden ganar una comisión de afiliación. Aprenda sobre nuestra política de divulgación.
