VaultGemma es el nuevo modelo de lenguaje de Google AI y DeepMind, entrenado totalmente desde cero con privacidad diferencial y 1.000 millones de parámetros, marcando un avance importante en inteligencia artificial segura para el usuario final.
Está diseñado para evitar que datos sensibles sean memorizados o filtrados, ofreciendo acceso abierto a sus pesos y metodología para impulsar la investigación y las aplicaciones prácticas en áreas críticas como salud y finanzas.
¿Por qué es relevante VaultGemma?
VaultGemma representa el modelo de mayor tamaño entrenado con privacidad diferencial y código abierto.
Esto significa que incorpora garantías matemáticas que minimizan el riesgo de filtración de datos privados, una preocupación creciente en el despliegue de sistemas de IA de gran escala, su enfoque redefine los estándares de protección en el sector.
Para poner esto en contexto solo hace falta ver unas semanas atrás cuando chats de ChatGPT y de Grok se filtraron y fueron indexados por Google y eran visibles para cualquier persona.
Privacidad diferencial en acción
La técnica central de VaultGemma es el uso de DP-SGD, que aplica recorte de gradientes y ruido gaussiano durante el entrenamiento.
Esta metodología limita de manera formal la influencia de cualquier dato individual sobre el modelo, brindando garantías de privacidad y evitando los ataques de memorización que pueden poner en riesgo la información sensible.
El modelo fue entrenado con el mismo conjunto de datos de Gemma 2: 13 billones de tokens, mayoritariamente en inglés y provenientes de documentos web, código y artículos científicos.
Según los expertos, durante su desarrollo se diseñaron nuevas leyes de escalado para modelos privados, lo que permitió distribuir recursos y predecir el rendimiento de manera eficiente en clusters de 2048 chips TPUv6e.
Rendimiento y límites actuales
Aunque VaultGemma no tiene memorización detectable de sus datos de entrenamiento, en benchmarks académicos su rendimiento se sitúa por detrás de los modelos no privados más recientes.
Por ejemplo, en la prueba ARC-C obtiene 26.45 puntos, versus 38.31 para Gemma-3 1B.
Sin embargo, la utilidad es equivalente a la de modelos no privados desarrollados hace cinco años, validando que la privacidad diferencial es una opción viable para aplicaciones reales.
Los pesos y el informe técnico de VaultGemma están disponibles en Hugging Face y Kaggle, junto con la documentación completa que facilita su uso en investigaciones independientes.
El objetivo de Google es estimular una comunidad enfocada en IA privada y responsable, manteniendo al mismo tiempo capacidades competitivas y avanzadas en el sector.
Fuente: Google
