top of page

“En esta tercera década del siglo XXI se decidirá, sin duda, nuestro destino. ¿Conseguiremos encaminarnos hacia un futuro digital mejor o nos arrastrará a lo peor? ¿Seguirá siendo un lugar que podamos considerar nuestro hogar?”

Shoshana Zuboff

Profesora de la Universidad de Harvard

Preámbulo

La tecnología puede ser una herramienta maravillosa para la humanidad, que le ha permitido sobrepasar muchos obstáculos y sufrimientos a lo largo de los siglos. Sin embargo, consideramos que el paradigma que predomina hoy en el desarrollo tecnológico no está plenamente alineado con los intereses de la humanidad y es urgente una toma de consciencia profunda de la población que lleve a tomar medidas políticas rotundas para retomar el control. Queremos seguir aprovechando las ventajas que la tecnología nos puede brindar, sin vernos obligados a padecer de algunas de las implicaciones más perjudiciales que puede conllevar, por diseño o falta de regulación.

 

Una parte sustancial de la tecnología digital y de la IA promovida actualmente fomenta un entorno en el que el ser humano es vulnerable y su libertad e integridad podrían estar amenazadas. Este corre el riesgo de ver su voluntad condicionada, de no poder tomar decisiones de forma autónoma y sin interferencias externas, de vivir bajo un estado de vigilancia en el que se ejerza un control intenso sobre su vida o de sufrir una dificultad cada vez mayor para conocer la verdad. Si dejamos que este modelo se consolide y termine de imponerse, el mundo moldeado por una parte de la tecnología actual puede convertirse, de forma irreversible, en uno en el que la propia humanidad no tenga su sitio porque las lógicas en juego no reconozcan su carácter único y sus intereses. Incluso podría conducir a la propia extinción de nuestra especie.

 

Frente a este riesgo existencial para la humanidad, exponemos en este MANIFIESTO una serie de medidas urgentes para retomar el control sobre la tecnología digital y garantizar que esta se mantenga al servicio de los seres humanos, conteniéndose al máximo los escenarios adversos que se perfilan.

Web_4.png

Manifiesto OFF

Retomemos el control sobre la tecnología digital

Nos encontramos en un momento histórico bisagra, en el que el poder de la tecnología crece exponencialmente y presenta un reto sin precedentes en la historia de nuestra especie.

El despliegue tecnológico acelerado al que asistimos se está llevando a cabo sin apenas control democrático. Como los beneficios a corto plazo de muchas innovaciones tecnológicas suelen ser más fácilmente perceptibles que los riesgos que conllevan, la adopción precipitada de aplicaciones tecnológicas –ya sea por parte de particulares, profesionales, empresas o administraciones, instituciones educativas, etc.– constituye una tentación difícilmente superable en ausencia de barreras y protocolos claros que evalúen sus implicaciones y aseguren que respetan los derechos fundamentales y no se oponen al interés general.

 

Ante este contexto, rechazamos la visión según la cual nos encontraríamos frente a un determinismo tecnológico inexorable del que únicamente podríamos ser los espectadores. Al contrario, estamos convencidos de que debemos actuar para consensuar un modelo y un marco aplicables con el fin de reducir el control tecnológico sobre los humanos y en los que el desarrollo tecnológico esté al servicio de la humanidad y no al revés.

Web_4.png

LO QUE CONSTATAMOS

Una evolución preocupante

Con independencia de las ventajas en términos de rapidez y eficacia que el desarrollo tecnológico actual brinda a la humanidad, observamos con preocupación tres dinámicas mediante las cuales la tecnología es susceptible de afectar al ser humano de manera fundamental:

 

1. Mientras que aumenta la asimetría entre el ser humano y la tecnología, ésta puede ser utilizada por individuos y organizaciones, públicas o privadas, para ejercer control sobre el mismo, con fines comerciales, de seguridad u otros, reduciendo o aniquilando la propia voluntad del individuo, su capacidad de discernimiento y su libertad.

2. Nuestra dependencia individual y colectiva de las infraestructuras digitales constituye una vulnerabilidad que, además, puede ser explotada con fines malintencionados –criminales, terroristas o ideológicos– paralizando, destruyendo o dañando elementos críticos para nuestra existencia.

3. A mayor autonomía de la tecnología, menor control humano. Mientras que hasta hace poco tiempo las máquinas eran dirigidas en gran medida por humanos, su creciente complejidad y autonomía implican que la comprensión de su funcionamiento tienda a escapar hasta a sus propios creadores y sean cada vez más ellas las que emitan órdenes a los humanos.

 

Estos rasgos en la evolución tecnológica ya están afectando profundamente a los individuos y la sociedad. Observamos, entre otros:

 

  • Un profundo deterioro tanto de la capacidad de atención como de la salud mental de la población en general –y más especialmente de los jóvenes–, que se acompaña de un incremento del sentimiento de soledad y aislamiento. [1]

  • Un desaprendizaje alarmante de ciertas funciones consustanciales al ser humano (tales como la memoria, la orientación, el razonamiento o la capacidad crítica), modificando cualitativamente su naturaleza e incrementando la dependencia a la tecnología. [2]

  • Distorsiones demostradas en procesos electorales clave a través de campañas de desinformación alimentadas por grandes plataformas digitales, alentando una fuerte polarización social y política. [3]

  • Un aumento significativo del control ejercido por los Estados autoritarios sobre sus súbditos gracias a un sofisticado entramado de vigilancia basado en una recolección cada vez más exhaustiva de información personal procesada con la ayuda de la inteligencia artificial. [4]

  • Una tendencia también por parte de los Estados democráticos a acumular y explotar excesivamente datos personales de los ciudadanos y vulnerar su privacidad mediante, por ejemplo, el abuso del reconocimiento facial. [5]

  • Una gran concentración en el sector tecnológico que ha favorecido que un número muy reducido de compañías disponga de un poder desproporcionado que les permite intensificar la influencia que ejercen sobre la vida de los ciudadanos, condicionando sus comportamientos, creencias y decisiones. Dichas empresas mantienen una posición dominante también en relación con otras empresas y, a veces, los propios Estados. [6]

  • Ciberataques perpetuados contra infraestructuras críticas –como hospitales o redes de distribución eléctrica– que han puesto en evidencia la vulnerabilidad de una sociedad en la que todos los sistemas esenciales están conectados, así como el hecho que los criterios de seguridad no tienen suficiente prioridad en el diseño y despliegue tecnológicos. [7]

  • Un impacto medioambiental cada vez más importante que resulta del despliegue indiscriminado y de la intensificación de uso de la tecnología: extracción contaminante de tierras raras destinadas a la producción de dispositivos, crecimiento exponencial del número de satélites, aumento de las emisiones de gases a efecto invernadero de origen digital, minería intensiva de criptomonedas, etc. [8]

 

Estos fenómenos aparentemente dispares están, en realidad, íntimamente relacionados. Son el reverso de la relación descontrolada que mantenemos con la tecnología, y de la que desconocemos el alcance de su verdadero potencial.

 

Web_4.png

LO QUE QUEREMOS EVITAR

Los principios de una acción

En un entorno en el que la existencia humana en todas sus facetas resulta cada vez más condicionada por la tecnología, nos resistimos a aceptar:

 

  • Un mundo gobernado por las máquinas, en el que la tecnología alcance un nivel de autonomía tan elevado que escape por completo a la comprensión humana y pueda conducirnos en direcciones que no hayamos elegido nosotros.

  • Que criterios fundados exclusivamente en la optimización reduzcan el perímetro de las actividades humanas de tal manera que nuestra especie se vea no solo marginada sino también desposeída de lo que es susceptible de contribuir a su realización.

  • Que esté autorizado comercializar con la voluntad y la consciencia humanas, haciendo uso de datos personales y de modelos predictivos que limiten o inhabiliten la capacidad de cada uno de discernir lo que desea y, por lo tanto, debilite o aniquile su libertad.

  • Que organismos privados posean en exclusiva tecnologías que les otorguen una posición dominante difícilmente reversible y concentren un poder que les permita controlar o condicionar una parte muy sustancial de la vida de las personas.

  • Que esté permitido discriminar o clasificar individuos o grupos humanos y darles o denegarles acceso a determinados recursos en base a criterios establecidos por máquinas, basados en la explotación de datos que no estén directamente relacionados con la finalidad para la que se establece esta categorización, conduciendo a situaciones arbitrarias u opacas y sin recurso.

  • Que no se pueda identificar el carácter artificial de una máquina, generando confusión entre lo humano y lo no humano. Que se usen tecnologías que, por diseño, presenten como veraces representaciones humanas artificiales.

  • Que los Estados utilicen la tecnología para ejercer un control excesivo y generalizado sobre sus ciudadanos y en especial, hagan abuso del reconocimiento facial o de tecnologías que no garanticen el anonimato en el espacio público; o se adjudiquen el derecho de trazar movimientos, transacciones o cualquier aspecto de la actividad humana.

  • Que se desplieguen tecnologías con una relevancia sistémica sin las precauciones de seguridad suficientes y puedan por lo tanto presentar una vulnerabilidad a gran escala.

  • Una humanidad cada vez más dual, en la que la apuesta de una parte de la población de fusionarse con la máquina obligase de facto al conjunto a hacer lo mismo o bien, condenase una porción de ésta a someterse a la primera.

 

Consideramos, en definitiva, que debemos garantizar un entorno que respete el carácter singular del ser humano y minimice las posibilidades de que la tecnología sea empleada para alienar al mismo y mermar su libertad.

Web_4.png

LO QUE PROPONEMOS

Un llamamiento a las autoridades y a la ciudadanía

Este manifiesto no pretende oponerse de ningún modo al desarrollo tecnológico como tal, del que reconocemos todas las ventajas, sino interpelar a las autoridades políticas y a la sociedad civil sobre el precio que la humanidad está pagando y los riesgos que asume si sigue aceptando un paradigma de despliegue tecnológico sin discernimiento ni control democrático, e incitar a actuar urgentemente para minimizar este coste.

 

Para preservar la libertad y la dignidad de las personas como valores cardinales en un contexto de creciente asimetría entre la tecnología y el ser humano, las democracias deben reinventar profundamente su repertorio de actuaciones y defender con mayor fuerza estos derechos. Los esfuerzos de algunos Estados o Regiones, tanto en materia de protección de datos, como en la elaboración de cartas o declaraciones de protección de los derechos digitales (Carta Española 2021, Declaración Europea 2023 o Carta Iberoamericana de marzo del 2023), son dignos de elogio, pero deben intensificarse y cambiar de escala.

           

Somos conscientes de que ello supone un verdadero desafío para sistemas políticos que tienden a confiar en el individuo para regular cuestiones consideradas privadas. Estamos, sin embargo, frente a tecnologías que tienen como efecto colateral anular la libertad individual y afectar lo que nos hace humanos. También entendemos que gran parte de los equilibrios económicos y geoestratégicos se apoyan en la competitividad tecnológica, lo cual disuade cualquier medida que pueda ser percibida como una limitación al desarrollo tecnológico. Por tanto, este reto existencial exige soluciones inéditas, más allá de recomendaciones blandas.

 

Sea cual sea el nivel de acción política, un cambio de paradigma sólo se producirá si se desarrolla una verdadera movilización ciudadana que ejerza la presión necesaria para situar esta cuestión en lo más alto de la agenda política. Por el momento, la opinión pública es más sensible a las ventajas a corto plazo del desarrollo tecnológico que a sus riesgos, que a menudo se desconocen. Son necesarios espacios de debate e intercambio parlamentario y de la sociedad civil que sopesen los riesgos-beneficios del paradigma tecnológico imperante y definan de manera conjunta los valores que deben orientar y enmarcar el desarrollo tecnológico.

 

Proponemos explorar un amplio espectro de medidas para responder a los retos que enfrentamos, entre las que planteamos considerar:

 

1.  Medidas regulatorias jurídicamente vinculantes, entre las cuales:

  • La prohibición de la publicidad microfocalizada.

  • La protección constitucional y transnacional de los neuroderechos (prohibición de acceder a nuestra actividad neuronal y recaudar sus datos con la posibilidad de interferir en nuestra actividad mental).

  • La promoción de legislación internacional para la prohibición de las armas letales autónomas.

  • La persecución de una “desescalada tecnológica” en los campos donde la tecnología tenga un impacto colectivo negativo probado y su despliegue implique un riesgo sustancial para el conjunto de la población.

  • Un derecho a la desconexión que garantice el acceso a servicios –en especial públicos– de manera no digital.

  • La obligación de las compañías tecnológicas de brindar acceso a aquellos datos que permitan a terceras partes, en el marco de la ley, analizar el funcionamiento de sus plataformas y algoritmos de forma autónoma.

  • La ampliación de protocolos encaminados a validar la adecuación ética de los algoritmos usados por las empresas y los gobiernos.

 

2.  Medidas ligadas a la producción industrial y la comercialización, como:

  • La reintroducción y revalorización de la funcionalidad OFF en la concepción de aplicaciones y dispositivos tecnológicos.

  • Estrictos procedimientos regulatorios antes de poner determinadas tecnologías con efectos disruptivos en el mercado, como ya es el caso en sectores como el farmacéutico o el alimentario.

  • Medidas de formación, información y empoderamiento de los consumidores, inversores y profesionales para incrementar sus exigencias de adecuación de la tecnología con sus derechos e intereses.

 

3.  Medidas en el ámbito de la investigación y la educación, tales como:

  • Una moratoria a la introducción indiscriminada de la tecnología en las escuelas por debajo de una determinada edad.

  • Una mayor formación a distintas edades sobre programación y funcionamiento general de los algoritmos para reducir la asimetría entre la tecnología y las personas.

  • Acciones sistemáticas dirigidas al colectivo de padres, madres y/o tutores/as para concienciarles de los riesgos a los que los jóvenes están expuestos.

  • La promoción de estudios profundizados sobre el efecto de tecnologías específicas sobre el individuo y la sociedad, en particular en materia cognitiva, sobre el comportamiento, el bienestar y la libertad.

  • Adecuación del uso de dispositivos a las edades de los usuarios, en particular de los smartphones y otros objetos conectados.

Regular la innovación tecnológica es complejo y constituye, junto la crisis medioambiental, el reto fundamental que afronta la humanidad. La cuestión es demasiado importante como para permitir que el debate se estanque con posiciones sectarias. La movilización no puede demorarse tanto como en el caso del medioambiente si queremos evitar llegar a un punto de difícil retorno. Por esto, urge un consenso para que se tomen medidas prontas y lo suficientemente eficaces como para responder a la magnitud del reto y aprovechar todas sus ventajas sin tener que asumir un coste desmesurado como si se tratara de algo inevitable.

 

 

Hagamos urgentemente lo necesario para que la humanidad tome las riendas de su propio destino y asegure su permanencia como especie libre.

Web_3.png

Apéndice

[1] Entre otros, la psicóloga Jean M. Twenge de la Universidad de San Diego ha realizado muchos estudios que han revelado la magnitud del deterioro de la salud mental de los jóvenes durante la década 2010. Junto a Jonathan Haidt de la Universidad de Nueva York, han establecido correlaciones entre uso de los smartphones y este deterioro.

 

Ver por ejemplo:

FT- Depression, Anxiety, and other mental health problems are soaring amon teenagers, esp

[2] Ver por ejemplo:

 

  • Kaspersky Lab, La “amnesia digital” hace que no recordemos información que pensamos tenemos a mano, en especial en nuestros dispositivos móviles. Hace 8 años, la mitad de la gente ya no recordaba el número de su pareja cuando a principios de los 2000 recordaban decenas de números de memoria. Este fenómeno de externalización de la memoria se ha desde entonces expandido a otras facultades cognitivas, de forma cada vez más transversal, afectando ahora la capacidad para argumentar, cuando se recurre constantemente a servicios como ChatGPT.

[3] Las investigaciones de The Observer y The New York Times revelaron hace unos años cómo Cambridge Analytica facilitó a la campaña de Donald Trump datos psicométricos muy precisos de decenas de millones de usuarios de Facebook, facilitando el envío de publicidad personalizada.

[4] Ver por ejemplo:

  • Katie Canales & Aaron Mok, “El sistema de "crédito social" de China clasifica a los ciudadanos y los castiga con la reducción de la velocidad de Internet y la prohibición de volar si el Partido Comunista los considera poco fiables”, Business Insider, 28/11/2022.

[5] Desde Occidente, observamos horrorizados el despliegue de tecnologías de vigilancia en China. Nos parece distóptica la omnipresencia de cámaras inteligentes y de controles biométricos que fomentan una sociedad del hipercontrol. Pero, al mismo tiempo, a base de “experimentos temporales”, también en nuestras democracias estamos cediendo a esta tentación. La videovigilancia con tecnología de reconocimiento facial abre una caja de pandora que amenaza nuestra privacidad y anonimato en el espacio público. Supone un salto diferencial hacia el rastreo sistemático de nuestros movimientos y el control de nuestras vidas. Nuestro rostro tiene esta particularidad de ser a la vez algo público (entendido como visible, al descubierto) y privado (porque recoge mucha información sobre nosotros, en especial nuestra identidad y nuestras emociones). Si la IA cruzada con la videovigilancia analiza en la vía pública lo que se esconde detrás de nuestra cara, perdemos el principal escudo que protege nuestra interioridad.

Más información:

  • Amnistía Internacional hizo un llamamiento para prohibir el uso de los sistemas de reconocimiento facial por considerarla una forma de vigilancia masiva que amplifica la actuación policial racista y amenaza el derecho de manifestación. Campaña: Your face is being tracked.

[6] Ver por ejemplo:

  • Capitalización de mercado de las mayores empresas de Internet del mundo en abril de 2023 (en miles de millones de dólares estadounidenses).

  • Casi todos los datos del mundo (99%) viajan a través de cables submarinos. El 70% de los proyectos globales de cable están liderados por Google, Facebook y otros, que ya gestionan más del 50% del ancho de banda del mundo. Con 21 cables submarinos, 6 de los cuales es el propietario exclusivo, Google es el campeón en este campo.

[8] Ver por ejemplo:

El consumo anual de electricidad generado por el bitcoin es equivalente al de países enteros.

bottom of page