Es común que la mayoría de los productos que utilizan inteligencia artificial (IA) lo hagan a través del consumo de un API, que a su vez se conecta a un servidor para retornar los resultados a la web. Esto tiene mucho sentido cuando las tareas son intensas y requieren un gran poder de procesamiento.
Pero, ¿existe alguna opción más eficiente para tareas sencillas?
El equipo de Chrome ha lanzado de manera experimental un API que permite interactuar con el modelo Gemini Nano de manera local. Así, se elimina la necesidad de utilizar modelos más grandes, como Gemini Pro 1.5, para tareas complejas.
Principales Diferencias
Integración Local: No es necesario hacer deploy del modelo. Al estar integrado directamente en el navegador, este se encarga de gestionar la descarga, actualización y mejoras. El desarrollador solo debe preocuparse por integrarlo en su aplicación.
Eficiencia en la Descarga: Al no requerir que la aplicación descargue el modelo, se mejora la eficiencia. Incluso los modelos pequeños, en el contexto web, pueden ser de gran tamaño. Por ejemplo, el modelo de transformer.js pesa alrededor de 60MB.
Mejora en el Rendimiento: Esta integración local permite acceder a recursos del dispositivo, como el GPU, lo que mejora significativamente el rendimiento.
Beneficios de Correr un Modelo de Manera Local
Ahorro de Llamados al Servidor: Al evitar consultas constantes al servidor, la aplicación web se vuelve más eficiente, reduciendo tiempos de espera.
Privacidad: Los datos permanecen en el dispositivo, lo que añade una capa extra de seguridad al no tener que enviarlos a servidores externos.
Uso Offline: Una vez descargado, el modelo está disponible en el dispositivo, lo que permite su uso sin conexión a internet.
Arquitecturas Híbridas
Aunque el modelo local es eficiente, no podemos descartar completamente el servidor. Este seguirá siendo necesario para procesar tareas más complejas. La clave está en encontrar el "sweet spot", es decir, el punto óptimo en el que se determine cuándo utilizar un modelo local y cuándo recurrir al servidor.
Además, los modelos integrados pueden servir como respaldo en caso de fallos del servidor o falta de conexión a internet.
Limitaciones
Al ser un modelo pequeño y optimizado para correr en el navegador, tiene una capacidad más limitada. Por ahora, se recomienda su uso para tareas puntuales como traducciones, resúmenes o mejoras de texto. Este tipo de modelos son conocidos como "Expert Models", ya que son más eficientes para tareas específicas.
Únete al Programa Experimental
Si quieres probar este API, puedes unirte al programa experimental llenando el formulario en el en este enlace. Recibirás acceso a la documentación y a un Google Group donde podrás mantenerte informado sobre las actualizaciones y cambios en el API.
Aprende en el siguiente post cómo empezar a utilizar este API y las funciones disponibles.
Top comments (0)