Ha surgido una nueva técnica de ciberataque que utiliza ChatGPT de OpenAI, lo que permite a los atacantes propagar paquetes maliciosos en entornos de desarrollo. El equipo de investigación Voyager18 de Vulcan Cyber describió el descubrimiento en un comunicado publicado el martes.
“Hemos visto a ChatGPT generar URL, referencias e incluso bibliotecas de código y funciones que en realidad no existen. Estas alucinaciones de modelos de lenguaje grande (LLM) se han informado antes y pueden ser el resultado de datos de entrenamiento antiguos”, explica el libro blanco del investigador de Vulcan Cyber Bar Lanyado.
Al aprovechar las capacidades de generación de código de ChatGPT, los atacantes pueden explotar las bibliotecas de códigos fabricados (paquetes) para distribuir paquetes maliciosos, sin pasar por los métodos convencionales, como el typosquatting o el enmascaramiento.
En particular, Lanyado dijo que el equipo identificó una nueva técnica para propagar paquetes maliciosos que llamaron “alucinación de paquetes de IA”. La técnica implica hacer una pregunta a ChatGPT, solicitar un paquete para resolver un problema de codificación y recibir varias recomendaciones de paquetes, incluidas algunas que no están publicadas en repositorios legítimos. Al reemplazar estos paquetes inexistentes con paquetes maliciosos, los atacantes pueden engañar a los futuros usuarios que confían en las recomendaciones de ChatGPT.
Una prueba de concepto (PoC) usando ChatGPT 3.5 ilustra los riesgos potenciales involucrados. “En el PoC, veremos una conversación entre un atacante y ChatGPT, utilizando la API, donde ChatGPT sugerirá un paquete npm no publicado llamado arangodb”, explicó el equipo de Vulcan Cyber. “Después de eso, el atacante simulado publicará un paquete malicioso en el repositorio de NPM para tender una trampa a un usuario desprevenido”.
Luego, el PoC muestra una conversación en la que un usuario le hace la misma pregunta a ChatGPT y el modelo responde sugiriendo el paquete inicialmente inexistente. Sin embargo, en este caso, el atacante convirtió el paquete en una creación maliciosa. “Finalmente, el usuario instala el paquete y se puede ejecutar el código malicioso”.
Detectar alucinaciones de paquetes de IA puede ser un desafío, ya que los operadores de amenazas emplean técnicas de ofuscación y crean paquetes de troyanos que funcionan, según el aviso. fecha de creación, número de descargas, comentarios y notas adjuntas. Mantenerse cauteloso y escéptico ante los paquetes sospechosos también es crucial para mantener la seguridad del software.
Fuente: CisoAdvisor
