La nueva era de los teléfonos móviles con ChatGPT y Los buques insignias de todas las marcas con IA

 

Uno de los requerimientos para utilizar el increíble ChatGPT  es que esté conectado a la nube. A través de costosos y numerosos GPUs ,Open AI presta servicio a millones de usuarios por lo que el precio para acceder a su IA es elevado. Algo que perecería sustancial para el ChatGPT  es la nube, sin embargo a la hora de adaptarlo a un Smartphone, IA generativa se propondría como desafio prescindir de éste ya que querría que los usuarios accedan a datos locales o incluso sin estar conectados a internet.

Parecería descabellado que un dispositivo móvil pueda correr un chatbot de forma nativa. Un miniChatGPT en tu móvil, con toda la cantidad de recursos del que requiere ChatGPT para funcionar. Sin embargo, la idea sí es viable y el desarrollo del móvil con IA va en viento en pompa. Uno de estos sistemas es Gecko incorporado en el modelo LLM PaLm 2  de la empresa Mountain View. Gecko desarrollado por Google compite con el GPT-4 DE OpenIA.

Para Google el éxito de Gecko, y el que pueda correr en un sparphone sin problema reside en su ingeniería compacta. Para prueba un boto: se consiguió funcionar esta aplicación en un Samsung Galaxy. Aunque esta afirmación fue contundente, no se dio demostración de dicha capacidad.

Existen desarrolladoras que apuestan por las inteligencia artificial híbrida, es decir plataformas que usen modelos de ChatGPT en la nube y modelos Gecko en el móvil. Qualcomm, es una de ellas , que en palabras de su CEO cristiano Amon: depender solo de los modelos de la nube podría resultar costoso.

Acoplar ese sistema al de los modelos LLM que cuentan con la suficiente potencia, permitiría que no salga tan caro. Qualcomm ya ha puesto en escena ese uso dando como resultado que Stable Diffusion corriese de manera nativa y local en uno de sus SoC.

LLaMa , el modelo LLM de meta, fue el pionero en dar la idea de miniaturizar ChaGPT. Entre todos los modelos, hay uno en particular que cuenta con un tamaña de 7000 millones de parámetros, ("7B"),que es aplicable a un smartphone para que corra de manera local. Un equipo de la Universidad de Stanford puso en practica este uso, desarrolló una versión para un Pixel 6 de Google, no fue optima su respuesta sin embargo si se cumplió el acometido que era que corriera ChatGPT en un smartphone. También esta misma universidad presentaría Alpaca, un modelo más delgado e inspirado en LLaMA 7B, con capacidad de ejecución en hardware mucho menos potente que el modelo de Meta.

La idea de modelos IA generativa funcionando para móviles apenas acaba de despegar y pretende revolucionar el mercado. Como el objetivo de Open Source MLC LLM  que se plantearon como proyecto: lanzar modelos LLM e incoporarlos en distintas plataformas hardware entre las que estaban, estos son los móviles. Macbooks, Ipad y Iphone 14 pro son compatibles con este proyecto, sin embargo la capacidad de respuesta es muy limitada: 7,2 tokens/segundo en el Iphone 14 pro, equiparable al ChatGPT con respuestas a 4-6 palabras por segundo.

Se podría decir que Android esta viviendo su ¨momento¨, por su incursión en el mundo de las IA y ese nacimiento de proyectos Open Source. Madrona publicó algunos proyectos prometedores como Dolly (Databricks), OpenChainKit (Together.xyz), Cerebras-GPT (Cerebras) o HuggingFace. Por su lado Apple no se queda atrás: anunciaba como Iphone podría leer frases con tu voz a través de entrenamientos, todo esto ejecutándolo desde el mismo móvil.  Visto el panorama, no parece descabellado pensar que pronto tendremos un modelo smartphone con ChatGPT corriendo directamente en local, omitiendo completamente la necesidad de recurrir ala nube, así que solo es cuestión de tiempo a que alguna desarrolladora conquiste este triunfo.