Una nota de la DGSI advierte sobre los peligros que supone la IA para las empresas

¿Cómo amenaza la IA la seguridad de las empresas francesas?

En un informe publicado el pasado mes de diciembre, la DGSI da la voz de alarma sobre los riesgos que plantea la implantación de la inteligencia artificial en las empresas francesas.

Tomando como ejemplo tres empresas francesas, el servicio de inteligencia identifica tres fuentes de riesgo importantes:

1️⃣ La traducción de datos confidenciales

Las IA como ChatGPT se alimentan de los datos que se les proporcionan, para posiblemente difundirlos posteriormente. La DGSI recuerda que «la divulgación de información interna de las empresas en una herramienta de IA generativa, especialmente si se trata de datos sensibles, supone un riesgo importante de reutilización de dicha información».

La DGSI también destaca la cuestión de la soberanía, ya que algunos sistemas de IA almacenan estos datos en el extranjero, en particular en Estados Unidos, cuyas leyes pueden tener alcance extraterritorial.

2️⃣ La pérdidad de control

Una empresa puede depositar una confianza desmesurada en sus sistemas de IA. Sin embargo, estos sistemas distan mucho de ser infalibles, ya que formulan respuestas basándose en medias estadísticas de información que, a su vez, suelen estar sesgadas.

Además, «las IA pueden reproducir o amplificar los sesgos presentes en los datos de entrenamiento, lo que puede dar lugar a decisiones injustas o discriminatorias».

¿Cuál es el riesgo? Una pérdida de la vigilancia humana, una dependencia excesiva de herramientas imperfectas y una incapacidad para comprender las decisiones que toman estos sistemas.

3️⃣ Los deepfakes

La DGSI menciona el caso de una empresa francesa del sector industrial que cayó en una trampa de deepfake. Un responsable recibió una llamada por videoconferencia del director del grupo, quien le pidió que transfiriera fondos a una cuenta bancaria. Sorprendido por la petición, el responsable puso fin a la conversación y se detectó el intento de estafa.

Pero otros ejemplos no tienen un final tan feliz, como en Hong Kong, donde una multinacional fue estafada por valor de 26 millones de dólares mediante un procedimiento similar: invitación a una videoconferencia, deepfake de compañeros de trabajo, solicitud de transferencia y desaparición.

Recomendaciones de la DGSI para reducir los riesgos:

• Definir las condiciones de uso de la herramienta mediante un reglamento

• Fomentar el uso de IA generativas nacionales

• Dar prioridad al uso de IA en el ámbito local

• Formar periódicamente a los equipos en el uso de la IA

• Mantenerse alerta ante la manipulación de la información y las respuestas sesgadas.

  
  

En OFF, añadiríamos algunos puntos a esta lista, ya que no se trata solo de una cuestión de seguridad.

La generalización de la IA en una empresa suele parecer atractiva a corto plazo en términos de productividad… pero esta delegación en la IA suele suponer una pérdida de competencias para sus equipos y una mayor dependencia de herramientas que escapan a su control.

Por Victor Fersing