Esta semana, Openai lanzó su tan esperado modelo de peso abierto llamado GPT-OSS. Parte del atractivo de GPT-OSS es que puede ejecutarlo localmente en su propio hardware, incluidas Macs con Apple Silicon. Aquí le mostramos cómo comenzar y qué esperar.
Modelos y Macs
Primero, GPT-OSS viene en dos sabores: GPT-OSS-20B y GPT-OSS-120B. El primero se describe como un modelo de peso abierto medio, mientras que el segundo se considera un modelo de peso abierto pesado.
El modelo medio es lo que Apple Silicon Macs con suficientes recursos puede esperar ejecutar localmente. La diferencia? Espere que el modelo más pequeño alucine más en comparación con el modelo mucho más grande debido a la diferencia de tamaño del conjunto de datos. Esa es la compensación de un modelo más rápido que en realidad es capaz de ejecutarse en MAC de alta gama.
Aún así, el modelo más pequeño es una herramienta ordenada que está disponible gratuitamente si tiene una Mac con suficientes recursos y una curiosidad sobre ejecutar modelos de lenguaje grandes localmente.
También debe ser consciente de las diferencias con la ejecución de un modelo local en comparación con, por ejemplo, ChatGPT. Por defecto, el modelo local de peso abierto carece de muchas de las características de chatbot modernas que hacen que ChatGPT sea útil. Por ejemplo, las respuestas no contienen consideración para los resultados web que a menudo pueden limitar las alucinaciones.
Operai recomienda al menos 16 GB de RAM para ejecutar GPT-OSS-20B, pero Macs con más RAM obviamente funcionará mejor. Según la retroalimentación temprana del usuario, 16 GB de RAM es realmente el piso de lo que se necesita para experimentar. (La IA es una gran razón por la que Apple dejó de vender Mac con 8 GB de RAM no hace mucho tiempo, con una excepción de valor).
Configurar y usar
Aparte del preámbulo, en realidad comenzar es súper simple.
Primero, instale Ollama en su Mac. Esta es básicamente la ventana para interactuar con GPT-OSS-20B. Puede encontrar la aplicación en Ollama.com/download o descargar la versión Mac desde este enlace de descarga.
A continuación, abra el terminal en su Mac e ingrese este comando:
ollama pull gpt-oss:20b
ollama run gpt-oss:20b
Esto le pedirá a su Mac que descargue GPT-OSS-20B, que utiliza alrededor de 15 GB de almacenamiento en disco.
Finalmente, puede iniciar Ollama y seleccionar GPT-OSS-20B como su modelo. Incluso puede colocar Ollama en el modo de avión en el panel de configuración de la aplicación para garantizar que todo esté sucediendo localmente. No se requiere inicio de sesión.
Para probar GPT-OSS-20B, simplemente ingrese un mensaje en el campo de texto y vea que el modelo funcione. Nuevamente, los recursos de hardware dictan el rendimiento del modelo aquí. Ollama usará todos los recursos que pueda al ejecutar el modelo, por lo que su Mac puede ralentizarse mientras el modelo está pensando.
Mi mejor Mac es un Air MacBook M4 de 15 pulgadas con 16 GB de RAM. Mientras que el modelo funciona, es una tarea difícil incluso para la experimentación en mi máquina. Responder a ‘Hola’ tomó un poco más de cinco minutos. Responder a ‘quién era el 13º presidente’ tardó un poco más en alrededor de 43 minutos. Realmente quieres más RAM si planeas pasar más de unos minutos experimentando.
¿Decide que desea eliminar el modelo local y reclamar ese espacio en disco? Ingrese este comando terminal:
ollama rm gpt-oss:20b
Para obtener más información sobre el uso de Ollama con GPT-OSS-20B en su Mac, consulte este recurso oficial. Alternativamente, puede usar LM Studio, otra aplicación Mac para trabajar con modelos AI.
