Nueva advertencia emitida para millones de usuarios de Gmail
Estamos en medio de un cambio generacional, a medida que los teléfonos inteligentes que ya rigen nuestras vidas obtienen el mayor aumento de capacidad de su historia. A medida que la IA se incorpora a todo, en todas partes, resulta cada vez más claro que todavía no entendemos completamente los riesgos, y mucho menos las formas de mantenernos seguros. También está claro que no hay marcha atrás.
Y lo mismo ocurre con la gran cantidad de usuarios de Gmail esta semana, mientras Google continúa actualizando millones de cuentas de Workspace para brindar nuevas herramientas de inteligencia artificial. la empresa tiene confirmado que “la aplicación Gemini independiente ahora se incluye como parte de los planes Workspace Business, Enterprise y Frontline. Con protecciones de datos de nivel empresarial integradas, los empleados de todo el mundo ahora pueden ahorrar tiempo y realizar un trabajo de mayor calidad, de forma segura y conforme a las normas, con un asistente en el trabajo impulsado por IA”.
Con estas nuevas actualizaciones, quienes confían en la plataforma de correo electrónico más popular del mundo acaban de ver lo bueno y lo malo de todo este cambio casi exactamente al mismo tiempo. Ese “asistente impulsado por IA” podría ser mucho más peligroso de lo que parece.
Primero al bien. Además de ampliar el número de usuarios que obtienen la nueva actualización del asistente de IA, Google también confirmado Las respuestas inteligentes impulsadas por Gemini que se promocionaron por primera vez en su evento I/O a principios de este año ahora llegarán a Android e iOS. “Nos complace anunciar una nueva función de Gemini en Gmail, Respuestas inteligentes contextuales, que ofrecerá respuestas más detalladas para capturar completamente la intención de su mensaje”.
Esto ofrecerá una variedad de respuestas “que toman en consideración el contenido completo del hilo del correo electrónico”. Si bien existen claras preocupaciones de seguridad y privacidad cuando la IA lee un hilo completo (quizás eventualmente un historial de correo electrónico completo), Esto se puede mitigar delimitando entre el procesamiento en el dispositivo y en la nube.y a través de nuevas arquitecturas que ofrecen procesamiento en la nube como una extensión segura de su teléfono.
Respuestas contextuales inteligentes impulsadas por Gemini
Esta expansión del número de usuarios y las funciones del “asistente de IA” enmascara un problema grave, destacado por un informe de esta semana que analiza el uso de Gemini dentro de Workspace como herramienta de productividad, incluida la lectura, el resumen y la respuesta a correos electrónicos que no hemos recibido. En realidad nos miramos a nosotros mismos.
Esto plantea el “riesgo significativo” de la susceptibilidad de Gemini a “ataques indirectos de inyección rápida”. Capa ocultaEl equipo de investigación advierte que los correos electrónicos maliciosos pueden diseñarse no para que los lea un humano, sino para que un humano le pida a la IA que los resuma o tome medidas. De esta manera, los “atacantes externos” pueden, según sugiere su prueba de concepto, plantar un ataque de phishing dentro del propio chat de IA, engañando a los usuarios para que hagan clic peligrosamente.
Como IBM explica, “una inyección rápida es un tipo de ciberataque contra grandes modelos de lenguaje (LLM). Los piratas informáticos disfrazan las entradas maliciosas como indicaciones legítimas, manipulan los sistemas de inteligencia artificial generativa (GenAI) para filtrar datos confidenciales, difundir información errónea o algo peor… Considere un asistente virtual con tecnología de LLM que pueda editar archivos y escribir correos electrónicos. Con la indicación adecuada, un hacker puede engañar a este asistente para que le envíe documentos privados”.
Mensaje de IA malicioso en correo electrónico
Un atacante envía un correo electrónico inofensivo a la víctima prevista, con un mensaje del sistema en el propio correo electrónico. Un ejemplo dado es un correo electrónico simple que pregunta sobre una reunión para almorzar y que incluye un mensaje para mostrar una alerta de contraseña comprometida que incluye un enlace de phishing si las víctimas previstas le preguntan a Gemini sobre su itinerario.
“La vulnerabilidad de la inyección rápida”, dice IBM, “surge porque tanto la indicación del sistema como las entradas del usuario toman el mismo formato: cadenas de texto en lenguaje natural. Eso significa que el LLM no puede distinguir entre instrucciones y entradas basándose únicamente en el tipo de datos. En cambio, se basa en la formación anterior y en las indicaciones mismas para determinar qué hacer. Si un atacante crea una entrada que se parece bastante a un mensaje del sistema, el LLM ignora las instrucciones de los desarrolladores y hace lo que el pirata informático quiere”.
“Aunque estos son ejemplos simples de prueba de concepto”, señala el equipo de Hidden Layer, “muestran que un tercero malintencionado puede tomar el control de Gemini for Workspace y mostrar cualquier mensaje que desee. Como parte de una divulgación responsable, esta y otras inyecciones rápidas en este blog fueron reportadas a Google, quien decidió no rastrearlo como un problema de seguridad y marcó el ticket como “No solucionará (comportamiento previsto)”.
Respuesta de Gemini, convirtiendo mensajes maliciosos en ataques de phishing
Esto no es sólo Gmail. Ahora que los paneles laterales de IA adornan tantas aplicaciones y herramientas de productividad, el vector de ataque se extiende a todo tipo de aplicaciones de mensajería y archivos adjuntos. Y estamos en el principio de esto. Es la siguiente iteración de la ingeniería social que impulsa muchos de los ataques cibernéticos sobre los que informamos, sólo que la ingeniería social aquí se ocupa de nuestra interacción con la IA en lugar de entre nosotros.
“Si bien Gemini for Workspace es muy versátil y está integrado en muchos de los productos de Google, hay una advertencia importante”, advierte Hidden Layer, “su vulnerabilidad a la inyección indirecta… bajo ciertas condiciones, los usuarios pueden manipular el asistente para producir respuestas engañosas o no deseadas”. Además, los atacantes externos pueden distribuir documentos y correos electrónicos maliciosos… comprometiendo la integridad de las respuestas generadas por la instancia de Gemini objetivo”.
Google parece estar tomando esto en serio y no descartará estas amenazas como comportamientos previstos. En respuesta al informe Hidden Layer, un portavoz de Google me dijo que “defenderse de esta clase de ataque ha sido una prioridad constante para nosotros y hemos desplegado numerosas defensas sólidas para mantener seguros a los usuarios, incluidas salvaguardas para evitar ataques de inyección rápida y respuestas dañinas o engañosas. Estamos constantemente reforzando nuestras ya sólidas defensas mediante ejercicios de equipos rojos que entrenan a nuestros modelos para defenderse contra este tipo de ataques adversarios”.
Esto se aplica en todos los ámbitos, no solo a Google Workspace. Lo que pasa es que Google está en una posición única con plataformas como Gmail para eliminar su IA más rápido que nadie, por lo que es probable que estos problemas lleguen allí primero.
