Para muchos escritores, hablar de inteligencia artificial (IA) es asomarse al abismo o avizorar un mundo lleno de peligros para la creatividad, para la inteligencia humana y para el futuro del propio oficio. La autora de este riguroso artículo de fondo, presidenta del Consejo Europeo de Escritores-EWC, indaga en los escenarios que en los últimos años han ido abriendo los avances tecnológicos. Traducido del alemán por Carlos Fortea.
© NINA GEORGE
Inteligencia artificial, bello y espantoso fantasma: en 1968, Stanley Kubrick la llevó al cine por primera vez. HAL, el computador neurótico de la nave espacial Discovery en viaje hacia Júpiter en 2001: Una odisea en el espacio, está altamente cualificado, es superior a las personas en cuanto a rendimiento en el cálculo y es capaz de tener conciencia. Por miedo a ser desconectado, HAL masacra a la tripulación de la Discovery. Hasta que es desactivado de manera manual, y su “espíritu” se infantiliza y se encoge hasta convertirse en un organismo infantil, útil e inofensivo como un ábaco.
La buena noticia es que tardará en haber un HAL. Ni Siri ni Alexa planean juntos la extinción nocturna de la Humanidad solo porque a una le ataque la memoria RAM que la gente le pregunte por el sentido de la vida y a la otra tener que tocar música ratonera de plataformas de streaming cuyos ingresos para los músicos están por debajo de lo inmoral. Tampoco es previsible que un escritor mecánico bajo en honorarios vaya a escupir pronto un bestseller tras otro, después de que las últimas lectoras que queden lo hayan alimentado en una editorial mundial central con las palabras clave más prometedoras que, gracias al seguimiento de costumbres lectoras del lector Tolino, se adapten individualmente a la perfección a cada una de ellas.
Fotograma de «2001: Odisea en el espacio», de Stanley Kubrick
Y eso, aunque el GPT-3 de OpenAI/Microsoft haga como si pronto fuera a poder hacerlo. Sin embargo, en diversas pruebas de ese monstruo automático de texto y comunicación, ocurrieron cosas curiosas: en conversaciones simuladas sobre el Holocausto, los negros o las mujeres, el GPT-3 produjo comentarios sexistas, racistas y antisemitas, y en una “conversación terapéutica” simulada con una paciente depresiva la máquina de IA le aconsejó suicidarse.
Pero empecemos por el principio:
HAL es lo que se llamaría “Inteligencia Artificial fuerte”, con el máximo nivel de inteligencia emocional (IE), equiparable con un “humanoide”, como en la película “Soy tu hombre”, de Maria Schrader. Sin embargo, la IA que se emplea en todo el mundo es exclusivamente “IA débil”, con una IE igual de débil. La IA débil solo puede centrarse en un terreno, y se emplea por ejemplo en sistemas de navegación, reconocimiento de voz, reconocimiento de imagen, propuestas de corrección en búsquedas web, teletipos bursátiles, noticias meteorológicas, descripciones de productos; en informaciones de mantenimiento de aparatos (el parpadeo del descalcificador de las cafeteras, o el del ordenador de a bordo del coche, que enciende una taza como si dijera: “Cariño, llevas demasiado tiempo conduciendo, haz una pausa”). La IA débil simula lo que nosotros malinterpretamos como inteligencia humana: capacidad de decisión, conocimiento, empatía, o incluso conciencia, carácter.
En principio, miramos la IA como ingenuos novicios: Joseph Weizenbaum constató a finales de los 70 que proyectamos en ella, sobre todo la que “habla” con nosotros de manera reactiva, una inteligencia, una esencialidad. Quien haya experimentado en los años 90 con los tamagotchis -mascotas artificiales que “morían” si no se les “cuidaba”- puede imaginar lo que es una profunda vinculación emocional con un producto. Más de uno sentiría la pérdida de su Smartphone al menos como una amputación, si no incluso “pérdida de la vida”.
La expresión “efecto tamagotchi” denomina la “inteligencia emocional” que se atribuye a un producto técnico o programa, o a lo “bien” que simula empatía, sentimiento, intuición, y a lo bien que nos conecta emocionalmente al ábaco.
Esta aproximación interdisciplinar a la pregunta: ¿qué tal calcula la IA, por una parte, y cuán alto es su factor emocional, como para ser respetado (léase: comprado) por los humanos?, se ubica en un ámbito intermedio entre las ciencias computacionales y la psicología, y forma parte del desarrollo de todos los productos de IA. Objetivo: reconocer las emociones humanas (y explotarlas y aprovecharlas). Los coches con IA e IE medianamente alta reconocen lo agresivo que es su conductor/a y adaptan sus sistemas de asistencia. Lo siguiente a lo que podemos prepararnos es a que los aparatos elaboren perfiles emocionales, basados en el reconocimiento de mímica mediante cámaras, el análisis de sentimientos basado en el lenguaje y los textos y las constantes vitales (pulso, temperatura corporal), para adaptar manipulativamente el entorno mediante la regulación de la luz y la temperatura, simulaciones sonoras o la advertencia de que leas un buen libro con un factor 6 de apaciguamiento… Que tales perfiles sentimentales pueden ser también útiles a regímenes dictatoriales figura en otro libro, por ejemplo de Yuval Harari.
Quien haya experimentado en los años 90 con los tamagotchis -mascotas artificiales que “morían” si no se les “cuidaba”- puede imaginar lo que es una profunda vinculación emocional con un producto.
La IA débil está presente en el ámbito textual desde los primeros pasos de su evolución, en los años sesenta, pero sigue siendo bastante tonta: solo puede o traducir, o analizar, o escribir. Aquí nos movemos en los campos del Natural Language Processing (procesamiento del lenguaje natural, NLP), es decir escritura, traducción y análisis de textos, y Natural Language Understanding (comprensión del lenguaje natural, NLU), para por ejemplo transformar texto en lenguaje y viceversa, como ocurre en los divertidos subtítulos automáticos de Zoom, que parecen borrachos, o en las “conversaciones de cliente” de las salas de espera de las líneas de atención al cliente (“por favor, diga: Uno” – “Uan” – “No le he entendido” – “¡Mierda!” – “Le pasamos con uno de nuestros agentes”).
La propia IA que escribe no sabe leer. Ni siquiera entiende de qué trata un texto, porque las palabras se han transformado en fórmulas. Así que la IA dedicada al análisis o traducción de textos fracasa ante la ironía o los juegos de palabras y ante la emoción, a no ser que tenga integrada una «Sentiment Detection“, un “reconocimiento de ánimo”. Esta es la capacidad de reconocer conceptos connotados de manera negativa o positiva, como “hermoso” o “muerto”, y tendrá dificultades cuando la frase “estaba tan hermosamente muerto” aparezca en una novela policíaca de Tatjana Kruse. O tropezará cuando en un policíaco de Baviera se diga: “Me alojé en Bad Tölz” (el balneario de Tölz). “Bad” significa “malo” en inglés, y hace que un decodificador de sentimientos entrenado en inglés valore Tölz como algo muy, muy, muy malo.
Por otra parte, las listas de palabras para detección de sentimientos son elaboradas -aún- por lingüistas, que dotan a esos conceptos de calificaciones, por ejemplo extremadamente negativo (-3) o extremadamente positivo (+3), o les asignan “n-gramas”, es decir, determinadas sucesiones de palabras que se valoran como buenas o malas. También esto tiene pegas, porque en la selección desaparecen los signos ortotipográficos. Así, “vamos a cocinar, abuelo”, se convierte en “vamos a cocinar abuelo”.
En el terreno de la investigación, la clasificación ambiental o la acumulación de conceptos pueden sacar a la luz cosas ilustrativas; así por ejemplo, un análisis semánticos de las canciones nº 1 en USA desde 1958 pone de manifiesto que los textos se han vuelto cada vez más tristes, más profanos, más agresivos. Las palabras más frecuentes en 2019 fueron “like”, “yeah”, “niggas”, “bitches”, “lil bitch”, “love”, “need”, “fuck”. En los Países Bajos, se emplearon detectores semánticos para averiguar cómo habla la gente de los libros de mujeres y cómo habla de los de hombres. Las obras de hombres se discutían desde puntos de vista literarios, las de mujeres desde el punto de vista de haber sido escritas por una mujer. El Ngram-Viewer von Google analiza millones de obras escaneadas ilegalmente y sabe que la palabra “Hate” (odio) aparece desde el año 2001 con más frecuencia que nunca desde 1800, y en las obras alemanas “libertad” aparecía en torno a 1850 con más frecuencia que hoy.
Pero hablemos de la corrección ortográfica, que representa un simple instrumento de análisis textual y compara palabras con el diccionario interno del que dispone, como hacen Microsoft Word o Apple Mail. Al enviarle un e-mail, convirtió a mi colega Ferdinand von Schirach en un audaz «Ferdinand von Schnarch“ [ronquido, en alemán]. Su respuesta automática me dio las gracias con un “solo leemos correos los lunes”. Mi colega Astrid discute con la ignorante lingüista computacional de su “Papyrus”; el programa de revisión de estilo calificaba constantemente de “lenguaje demasiado sencillo” citas textuales provenientes de poemas de Rilke, obras de Goethe o traducciones de Shakespeare.
El sistema de aprendizaje del traductor de Google se alimentó hasta 2018 de ejemplos tomados de la Biblia, instrucciones de uso, Wikipedia (escritos en un 90% por hombres, y con tema y personalidades masculinas en su centro), o textos de la ONU o la Comisión Europea
A Google Translate, empleado a diario por quinientos millones de personas, no le llama la atención producir clichés sexistas. La Universidad de Porto Alegre, en Brasil, ha hecho que con él una traducción automática al inglés de simples frases con denominaciones profesionales escritas en lenguas que poseen neutralidad de género, como el húngaro, el turco, el japonés y el chino, lenguas que se las arreglan sin pronombres personales específicos de género, como “ella” o “él”, para saber qué hace con ellas el traductor web y a quién asigna oficios y condiciones. Conclusión: ingenieros, médicos o profesores son hombres, peluqueros o enfermeros son mujeres. Así de reaccionario. Con el mismo estilo de los años 50 se atribuían los adjetivos: Google declaraba que valeroso, cruel o exitoso eran adjetivos masculinos, mientras asociaba, atractivo, tímido o amistoso con las mujeres.
¿Por qué? El sistema de aprendizaje del traductor de Google se alimentó hasta 2018 de ejemplos tomados de la Biblia, instrucciones de uso, Wikipedia (escritos en un 90% por hombres, y con tema y personalidades masculinas en su centro), o textos de la ONU o la Comisión Europea. Y en esas muestras de aprendizaje aparece un número significativamente mayor de hombres que de mujeres.
Tales modelos tomados del ayer conducen a que la IA reproduzca en el ámbito textual estereotipos de la Edad de Piedra y presente tendencias racistas, o cuando, como el bot “Tay” de Twitter, “aprende” en foros o comentarios de Facebook, emplee fórmulas fascistas, antisemitas y misóginas. En fin, no hablemos de lo que esto nos dice del tono reinante en la Red, esa antigua utopía de conocimiento, comprensión y sabiduría.
La IA textual débil es tan buena como lo sean los modelos con los que se le “entrena”. Para “mejorar” la calidad de los programas y productos, para aprender actualidad, cambios en el sistema de valores, conceptos matizados, palabras clave en los debates, para llegar a ser tan diversa como la sociedad, hay algo que tiene que quedar claro: necesitará textos profesionales, buenos, contemporáneos. De profesionales como las autores y autores de libros, o brillantes obras periodísticas. Nos necesitará… para volvernos superfluos, se podría decir, siendo pesimista. O realista.
Necesita nuestros espíritus libres como mina. A eso se le llama Text and Data Mining (TDM), que, además de una ayuda aceptable y una bendición para la ciencia y la investigación, es muy relevante para las empresas. En todo el mundo, Oracle, Alibaba, Google, Microsoft, OpenAI, Nvidia y Amazon trabajan en generadores de textos y traducción automática. Y los bancos de datos para su formación no son, en el mejor de los casos, el primer libro de Moisés, sino libros y textos actuales de gentes como nosotros, autoras y autores profesionales, o personas privadas. Todo lo que la gente teclea en la web puede ser utilizado. Y no solo para machacar un texto de IA, sino para buceadores en „Opinion Mining“ (extractores de opinión) que las empresas o los partidos políticos emplean para rastrear el canon de opinión de la web. Si emergen conceptos con connotación negativa en torno al aceite de palma, Nutella o Kitkat saben que pronto habrá una tormenta de mierda, y desarrollan contraestrategias. Cuando los partidos saben que su candidato no es tan guay, llaman a sus Spin-Doctors para que ideen una contracampaña.
¿Qué brota de ese oro de los datos? Read-O, por ejemplo, una Start-Up de Frankfurt cuya IA promovida con recursos públicos resume, según sus propias declaraciones, “millones de recensiones para los usuarios de libros”. A partir de esos análisis se construyó una aplicación de recomendación de libros en la que se puede ajustar pulsando botoncitos cómo de dramático, emocionante o serio tiene que ser un texto, y produce una recomendación “individualizada”. Ahora se buscan socios en el sector, así que el dinero seguirá corriendo.
Naturalmente, esto es muy creativo, pero como titular de derechos de autor tengo que apuntar una nimiedad: ¿saben los autores/as de los veinte millones de recensiones que su trabajo (sí, maldita sea, también ensartar recensiones es un trabajo) es utilizado y trasladado a una instalación con valor monetario? ¿Qué recensiones son esas: en foros, en Amazon, en las páginas de las editoriales, en productos de prensa? ¿En qué letra pequeña de las condiciones generales de contratación de los portales o servidores de blogs o contratos figura que se practica minería de textos, y en qué parte quizá de la página 17 de las condiciones de contratación de las apps, que ninguno de nosotros lee nunca y acepta con un clic?
¿Y qué pasa con el sector del libro… dónde se aplican las app de IA basadas en textos? Por ejemplo en una herramienta de resumen, para que una sobrecargada experta en marketing no se vea obligada a leer la novela que tiene que publicitar. O compilando palabras clave, como hacen en las grandes editoriales para los adelantos o resúmenes de los diseñadores de portadas. Qué práctico.
Otros programas, como Scriptbook o QualiFiction son softwares de análisis que pretenden predecir la probabilidad de que un guion o una novela sea un bestseller. Los parámetros de valoración son “diccionarios” con valoración semántica de conceptos o frases, y la “curva emocional” de la novela.
Hay ya softwares de análisis que pretenden predecir la probabilidad de que un guión o una novela se un bestseller.
Ignoro si se ha pedido permiso a los autores y autoras o a las editoriales cuyos libros han sido empleados para entrenar los datos, o si participan económicamente en el flujo de dinero que las empresas se apuntaron. Sospecho que no, porque entre las aspiradoras de oro de la TDM impera el lema: “Si puedo leerlo, puedo explotarlo”. Esto parece comprensible: así trabajaban los estudiosos hasta que se inventaron los diagnósticos digitales de textos. Leían, citaban, resumían, desprendían. Asegurados de manera legal por el derecho de cita. Pero, si esto se hace a gran escala y conduce a lucrativos modelos de negocio, y la TDM se convierte en extracción gratuita de oro para productos de IA, veo la necesidad de una nueva ética y una afinación legal, que no deje a los autores de los datos en peor posición jurídica que a los que explotan y hacen el agosto con su trabajo. Trabajo en eso, al menos a escala europea.
Sin embargo, el 7 de junio de 2021, al trazar los límites de la TDM en el derecho de propiedad intelectual sin derecho a remuneración y sin derecho a consentimiento, el legislador alemán abrió la puerta a aquellos intermediarios, y sus auxiliares científicos de los institutos de investigación, que se sirven de libros y obras de prensa para crear productos competitivos que imitan y en parte sustituyen las obras de las autoras y autores humanos. Solo queda exceptuado de eso quien integra en su obra un “opt-out de lectura mecánica”. Ya, ¿y cómo hacemos eso los autores y autoras en nuestros e-books? ¿Lo tienen previsto las editoriales? ¿O les parece estupendo y venden muy a gusto sus “juegos de datos”? Quién sabe: ahora mismo, ya se está empleando a traductoras y traductores como “post editor”, es decir, como lectores que planchan el texto que DeepL ha traducido rápido, pero por desgracia no bien; por ejemplo en textos legales, como hace alguna dudosa pequeña editorial, y hace poco también en la editorial Springer Nature.
Es hora de plantearse si habrá que desarrollar una etiqueta de “human translated” para los libros. Y, algún día lejano, una etiqueta de advertencia de “policiaca escrita mediante IA”, o el sello de calidad “Human Written”. A mí al menos me gustaría saber si la IA me pone encima de la mesa una historia que ha refundido y en la que no aporta ni una sola idea nueva, o es una persona la que, partiendo de una motivación intrínseca, bien a salvo de cálculos, tiene algo insólito, inaudito que decir.
Traducción de Carlos Fortea
LA AUTORA
NINA GEORGE es presidenta del Consejo Europeo de Escritores (EWC) desde 2019, y reelegida el pasado 7 de junio para el mandato 2021-2023.
Nacida en 1973 en Bielefeld, Alemania, Nina George es una galardonada novelista internacional y periodista independiente que ha publicado 29 libros (novelas, contemporáneos, misterios, no ficción), así como más de un centenar de cuentos. The LittleParis Bookshop de George ha sido traducida a 37 idiomas y llegó a la lista de bestsellers del New York Times. Nina George es miembro del consejo de administración de la Organización de Gestión Colectiva VG Wort, y presidenta del grupo de trabajo VG-Wort ‘e-Book’. George ha representado a la Unión Alemana de Escritores VS (Verband deutscher Schriftstellerinnen und Schriftsteller) en el comité de derechos de autor en el Consejo Alemán de Cultura y ha sido asesor en los temas derechos de autor, IA y Literatura, y Escritoras en las Juntas de la Unión alemana de escritores VS y del Pen-Centre alemán. Es fundadora de varias ONGs de escritores (Network Authorsrights, Fair Bookmarket), y de proyectos de diversidad como #frauenzählen (Counting women). Vive en Berlín y Bretaña.
