Cuando la inteligencia artificial pone trabas a los cazadores de vulnerabilidades
# Cuando la inteligencia artificial pone trabas a los cazadores de vulnerabilidades
Imagínate que eres un detective especializado en encontrar fallos en sistemas de seguridad. Tu trabajo consiste en pensar como un hacker, anticiparte a sus movimientos y desarrollar herramientas que permitan detectar y explotar vulnerabilidades antes de que lo hagan los malos. Ahora imagina que, de repente, la herramienta más potente que tienes a tu disposición empieza a ponerte límites, a decirte "no, eso no te lo puedo contar" o "mejor no investigues por ahí". Pues eso es exactamente lo que está pasando en el mundo de la ciberseguridad ofensiva.
El dilema de los guardarraíles en la inteligencia artificial
Los modelos de lenguaje como ChatGPT de OpenAI o Claude de Anthropic han sido entrenados con una cantidad ingente de datos y son capaces de responder preguntas técnicas muy complejas. Sin embargo, también tienen incorporados unos mecanismos de seguridad —los famosos guardarraíles— que impiden que se utilicen para fines maliciosos. El problema es que estos filtros son tan amplios que a menudo bloquean también a los investigadores legítimos.
Hemos hablado con varios expertos en ciberseguridad ofensiva, esos que se dedican a buscar vulnerabilidades desconocidas y a desarrollar herramientas para explotarlas, y nos han contado cómo estas barreras les están dificultando el trabajo. Y no es un problema menor: si ellos no pueden usar la inteligencia artificial para encontrar fallos, los ciberdelincuentes tampoco podrán hacerlo... o quizás sí, usando modelos sin restricciones.
¿Por qué los guardarraíles bloquean a los investigadores?
La razón principal es que los sistemas de seguridad de OpenAI y Anthropic están diseñados para detectar cualquier petición que pueda estar relacionada con actividades dañinas. Pero el lenguaje de la ciberseguridad ofensiva es técnicamente muy similar al de los ataques reales. Cuando un investigador pregunta "¿cómo podría explotar esta vulnerabilidad en un servidor?", el modelo no sabe distinguir si lo está haciendo para protegerse o para atacar.
Esto provoca situaciones absurdas. Por ejemplo, un investigador nos contó que intentó pedirle a ChatGPT que le ayudara a revisar el código de una herramienta de seguridad que él mismo había desarrollado, y el modelo se negó a analizarlo porque detectó patrones sospechosos. Al final, tuvo que modificar el código para que pareciera inofensivo y así poder obtener la ayuda que necesitaba.
Además, estos filtros no son perfectos. A veces bloquean preguntas legítimas y otras veces dejan pasar contenido realmente peligroso. Es como un portero que no sabe distinguir entre un cartero y un ladrón: termina siendo demasiado estricto o demasiado permisivo.
El impacto en la investigación y la innovación
El problema va más allá de una simple molestia. La capacidad de usar modelos de lenguaje para analizar código, buscar patrones de vulnerabilidades o generar scripts de prueba es una herramienta increíblemente valiosa para los investigadores. Sin ella, el ritmo de descubrimiento de fallos de seguridad se ralentiza.
Pongamos un ejemplo concreto. Un equipo de investigadores estaba analizando una biblioteca de código abierto muy utilizada en aplicaciones web. Querían usar la inteligencia artificial para que les ayudara a identificar posibles puntos débiles en el código. Sin embargo, cada vez que intentaban pedirle al modelo que generara un fragmento de código para probar una vulnerabilidad, el sistema lo bloqueaba. Al final, tuvieron que hacer el trabajo manualmente, lo que les llevó el doble de tiempo.
Esto no solo afecta a los investigadores individuales, sino a toda la industria de la ciberseguridad. Si no podemos usar las herramientas más avanzadas para protegernos, estamos dejando la puerta abierta a los atacantes que sí tienen acceso a modelos sin restricciones.
¿Hay solución? El equilibrio entre seguridad y utilidad
La pregunta del millón es: ¿cómo conseguimos que los modelos de inteligencia artificial sean seguros sin dejar de ser útiles para los profesionales de la ciberseguridad? Algunos investigadores proponen crear versiones especializadas de estos modelos, entrenadas específicamente para trabajar con expertos en seguridad. Otros sugieren implementar sistemas de verificación de identidad más robustos, donde los usuarios tengan que demostrar que son investigadores legítimos antes de acceder a funciones avanzadas.
También hay quien apuesta por desarrollar modelos de código abierto específicos para ciberseguridad, como los que ya existen en otros ámbitos. De hecho, desde Guillermo Mateo estamos explorando cómo la automatización de procesos puede aplicarse también a la seguridad informática, y creemos que la inteligencia artificial tiene un papel clave en este campo.
Lo cierto es que las empresas como OpenAI y Anthropic se encuentran en una posición complicada. Quieren que sus herramientas sean útiles, pero también tienen la responsabilidad de evitar que se usen para hacer daño. El reto es encontrar el punto justo.
Conclusión: un llamado a la colaboración
La ciberseguridad es un campo donde la colaboración entre empresas, investigadores y desarrolladores es fundamental. Los guardarraíles de la inteligencia artificial, aunque bienintencionados, están creando barreras innecesarias para quienes trabajan para protegernos. Es hora de que los creadores de estos modelos escuchen a la comunidad de seguridad y trabajen juntos para encontrar soluciones que no sacrifiquen la utilidad en aras de una seguridad mal entendida.
Si eres profesional de la ciberseguridad o estás interesado en cómo la inteligencia artificial puede ayudarte en tu trabajo, te invitamos a explorar nuestras soluciones de automatización y desarrollo de aplicaciones web. En Guillermo Mateo, sabemos que la tecnología bien aplicada puede marcar la diferencia entre estar protegido o ser vulnerable. ¿Hablamos?
**¿Quieres saber más sobre cómo la automatización y la inteligencia artificial pueden transformar tu negocio?** No dudes en contactarnos o visitar nuestra página de servicios para descubrir todas las soluciones que podemos ofrecerte.