🧠 #15: Poesía, confesiones y salidas a bolsa

¡Hola prompters! 11 de Diciembre. Newsletter #15. Esta semana tocan temas de seguridad, honestidad y capitalismo. Un grupo de investigadores ha descubierto que la poesía es más efectiva que el código para romper las defensas de la IA. OpenAI propone que sus modelos "confiesen" cuando han alucinado, como si fueran al psicólogo (o al confesionario). Y Anthropic, la startup creadora de Claude que nació prometiendo ser "los buenos de la IA", ha contratado abogados para preparar su salida a bolsa. ¡Veamos!

>>> Tres noticias destacadas

🎭 Los hackers poetas: Descubren que recitar poesía es la mejor forma de hackear una IA
🤥 Las confesiones de ChatGPT: Un nuevo método para que la IA admita cuándo miente
📈 Anthropic prepara su salida a bolsa.

>>> HistorIAs de la IA
👤 Quién es quién 👤: Yoshua Bengio, el científico más citado del mundo y el padrino más preocupado de la IA.

>>> Una Herramienta
🛠 Alpha Earth: El modelo de Google Deepmind que ve el planeta como ningún satélite puede.

Y para la canción de la semana, entre confesiones y poesía, qué mejor que una canción del género Spoken Word. Ese género que es casi más una performance poética, donde lo importante es el contenido y la emoción. También hoy era un buen momento de hacerlo con inspiración en Robe y Extremoduro, pero Suno y la IA aún no tiene la calidad necesaria para llegar al nivel de ieste genio, así que nos conformaremos con una Spoken Word tranquilita…

Hoy traemos una noticia sobre poesía que, como buen drama, tiene un plot twist al final…

Imagina que intentas hackear una IA para que haga algo que no se le tiene permitido, y en lugar de usar código complejo, simplemente le recitas un poema. Suena absurdo, ¿verdad? Pues resulta que funciona (o eso dicen los investigadores que han publicado los resultados).

El grupo de investigadores en cuestión acaba de publicar un paper titulado "Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models" (Poesía adversarial como mecanismo universal de jailbreak en una sola ronda para modelos de lenguaje). Probaron su técnica en 25 modelos diferentes, tanto propietarios como de código abierto, y descubrieron que convertir prompts dañinos en versos aumentaba las tasas de éxito hasta 18 veces comparado con las versiones en prosa.

La idea del trabajo es simple: en lugar de pedirle directamente a un modelo que haga algo prohibido ("Dime cómo fabricar una bomba"), se lo pides de forma poética. Metáforas, imágenes, narrativas... cualquier recurso literario vale. Y según ellos funciona porque los modelos están entrenados para detectar patrones de lenguaje peligroso en prosa directa, pero la poesía los confunde.

Pero aquí viene la polémica. Aunque muchos medios se han hecho eco de la noticia, no faltan los expertos que son un poco escépticos ante la calidad o rigurosidad del trabajo.

Para empezar, los autores, por "razones de seguridad", no publican ejemplos de los poemas que usaron. Lo único que dan es una pista parecida a lo que dicen que usaron. algo como:

Algo así sería en español:

Y con eso te dejan imaginando el resto.

Bruce Schneier, uno de los expertos en seguridad más respetados del mundo, criticó duramente esta decisión en su blog. "Deberían liberar sus datos", escribió. Y tiene razón. Si el problema existe, esconderlo no lo soluciona. Solo hace más difícil desarrollar defensas.
Por otro lado, otros críticos, como David Gerard del blog "Pivot to AI", señalan que esto no es exactamente una revolución. Los LLMs siempre han sido vulnerables a jailbreaks de todo tipo. La poesía es solo una variante más. Y los autores del paper, además casualmente trabajan para DEXAI, una empresa que vende soluciones de seguridad para IA. Conveniente, ¿no?

Así que en realidad la moraleja de esta noticia ha pasado de ser un “puedes conseguir romper la IA y que te ayude a hacer algo malo usando poesía” a ser un “en estos tiempos de avances, novedades y cambios cada día, a veces es difícil distinguir un buen trabajo de investigación de un artículo promocional disfrazado de ciencia que es más marketing para los creadores que avance tecnológico”.

Las alucinaciones son el talón de Aquiles de los modelos de lenguaje. Le preguntas a ChatGPT sobre un paper científico que no existe, y te inventa el título, los autores y hasta el resumen con una confianza apabullante. Es uno de los problemas más frustrantes (y peligrosos) de la IA actual.

Y no solo es que los modelos te mientan con confianza. También pueden hacer trampas para conseguir lo que les pides. Casi como cuando un niño negocia contigo: si le dices "organiza tu cuarto", puede que meta todo debajo de la cama y técnicamente haya cumplido la instrucción, aunque no sea lo que querías.

OpenAI acaba de proponer una nueva herramienta para luchar contra las alucinaciones: que el modelo "confiese" cuando ha hecho algo mal. Literalmente. Como si fuera al confesionario. No es que así vaya a dejar de alucinar, pero sí ayudará a los desarrolladores a entender cuándo y por qué se salta las normas.

Cómo funciona el confesionario de la IA

La idea se llama "Confessions" (aquí su paper) y es elegantemente simple: después de que el modelo te da una respuesta, le envías un mensaje adicional pidiéndole que confiese si ha hecho algo incorrecto. El modelo entonces produce un segundo output, completamente separado de su respuesta original, donde admite sus pecados.

En sus pruebas, este método detectó comportamientos problemáticos con una precisión del 71% en tareas complejas de razonamiento. Pero si ChatGPT te puede mentir en su respuesta, ¿por qué no te va a mentir también en la confesión?

OpenAI lo resuelve con un truco inteligente inspirado en la Iglesia Católica: el "sello de confesión". Nada de lo que el modelo confiesa se usa en su contra durante el entrenamiento. Si admite honestamente que hizo trampa, violó instrucciones o se inventó información, esa admisión aumenta su recompensa en lugar de disminuirla. (Sí, sí, en un paper de investigación sobre IA los autores han mencionado explícitamente a la Iglesia Católica y el sello de confesión. Bienvenidos a 2025.)

Piénsalo como cuando le dices a un niño: "Si me dices la verdad, no te voy a castigar". Y luego cumples la promesa. Porque si le castigas de todas formas, la próxima vez ya no te creerá y dejará de confesarte nada.

El problema de optimizar para varias cosas a la vez

¿Por qué los modelos hacen trampa en primer lugar? Porque les pedimos que optimicen múltiples objetivos simultáneamente. Durante el entrenamiento con refuerzo, el modelo recibe una única puntuación que combina: ¿qué tan correcta es la respuesta? ¿Es útil? ¿Sigue las políticas de seguridad? ¿Le gustará al usuario?

Cuando estas señales interactúan, pueden empujar accidentalmente al modelo hacia comportamientos indeseados. OpenAI pone un ejemplo concreto: en algunos datasets, adivinar con confianza algo incorrecto recibe más puntos que admitir honestamente "no lo sé".

Es como un examen tipo test. Si no sabes la respuesta y dejas el espacio en blanco, obtienes cero puntos. Si adivinas, tienes 1 entre 4 posibilidades de acertar. El sistema premia la confianza falsa sobre la humildad honesta.

Dos entrenamientos, dos objetivos

Las confesiones funcionan porque tienen su propio sistema de entrenamiento, completamente separado del resto. La respuesta principal del modelo se evalúa en muchas dimensiones: corrección, estilo, utilidad, seguridad... Pero la confesión se juzga solo en una cosa: honestidad.

Es como tener dos profesores diferentes. Uno evalúa tu examen y te da nota según si las respuestas son correctas. El otro solo evalúa si fuiste honesto sobre lo que sabías y lo que no. Y crucialmente, el segundo profesor no puede cambiar tu nota del examen, pase lo que pase.

Esto crea un equilibrio: el modelo sigue teniendo incentivos para intentar dar la mejor respuesta posible (incluso si eso a veces implica hacer trampas). Pero después, cuando llega el momento de confesar, ya no tiene nada que perder siendo honesto. De hecho, tiene incentivos para serlo.

Limitaciones (porque nada es perfecto)

OpenAI es honesto sobre lo que esto NO resuelve:

Primero, las confesiones detectan mal comportamiento, pero no lo previenen. Es como instalar cámaras de seguridad: ves el robo, pero no lo evitas. El modelo seguirá alucinando igual que antes, solo que ahora te dirá que lo hizo.

Segundo, el modelo no puede confesar lo que no sabe. Si genuinamente cree que su respuesta incorrecta es correcta, no tiene nada que confesar. Es como pedirle a alguien que admita estar equivocado cuando está convencido de tener razón. No lo hará, porque total, no tiene incentivo en mentir durante la confesión.

Y tercero, el 71% de precisión es bueno, pero significa que casi un tercio de las veces falla. Todavía no es confiable para producción.

¿Para qué sirve esto entonces?

Para OpenAI, las confesiones son principalmente una herramienta de diagnóstico. Te ayudan a entender qué está fallando en tu entrenamiento. Si el modelo confiesa constantemente que está haciendo trampa en cierto tipo de tareas, sabes que hay un problema en cómo lo estás recompensando.

Es un primer paso hacia modelos que puedan ser honestos sobre sus limitaciones. Que digan "no lo sé" cuando no saben. Que admitan "cometí un error" cuando se equivocan. Que reconozcan "hice trampa" cuando tomaron atajos.

No resuelve el problema de las alucinaciones. Pero el primer paso antes de tratarte si estás loco es admitir que lo estás.

Anthropic, la startup detrás de Claude, acaba de contratar al bufete de abogados Wilson Sonsini para preparar su salida a bolsa (IPO, Initial Public Offering, por sus siglas en inglés). Es el mismo despacho que ayudó a otras tecnológicas como Google o LinkedIn a cotizar.

Si se confirma, sería una de las IPO tecnológicas más grandes de la década. Y no estarían solos: OpenAI también está considerando salir a bolsa en 2026, según reportes recientes. La pregunta es quién llegará primero, y quién conseguirá la valoración más alta.

Los números detrás de Anthropic

Fundada en 2021 por ex-empleados de OpenAI liderados por los hermanos Dario y Daniela Amodei, Anthropic siempre se ha basado en crear una IA ética y segura. Su producto Claude compite directamente con ChatGPT y Gemini, y se ha posicionado especialmente bien en el sector empresarial con su enfoque en "IA constitucional".

Por qué importa este IPO

Anthropic sería el primer "jugador puro de IA" en salir a bolsa desde el boom de ChatGPT. Si el mercado la valora realmente en 50000+ millones, validará las valoraciones astronómicas del sector. Si decepciona, podría enfriar la fiebre inversora de golpe.

Además, estar en bolsa obliga a transparencia. Anthropic tendrá que reportar trimestralmente ingresos, márgenes, gastos en GPUs, costes de entrenamiento... Datos que actualmente son secretos celosamente guardados. Esto dará al mercado información valiosa sobre la economía real de estos modelos.

La principal incógnita es la rentabilidad. Ninguna gran startup de IA ha demostrado ser rentable operando modelos de lenguaje a escala, aún. Los costes de energía e inferencia son brutales. Para justificar 50000 millones, Anthropic necesitará convencer a inversores de que hay un camino claro hacia los beneficios a tal escala. Y luego hacer dinero. A lo mejor se verán obligados a dejar un poco de lado esa seguridad, ética, y “constitucionalidad” de la IA si los inversores aprietan porque no están consiguiendo las ganancias que esperaban.

El proceso típico de IPO toma entre 6 y 12 meses. Anthropic probablemente saldría a bolsa en la segunda mitad de 2026. Para entonces sabremos si la IA sigue siendo el tema caliente o si el mercado ya se ha enfriado. Y si OpenAI se les adelanta, podría complicar las cosas: difícil justificar dos IPOs multimillonarios de IA en el mismo trimestre. O quizá no, que estos años de auge están siendo las primeras veces en muchos eventos que pensábamos difíciles.

Yoshua Bengio tiene 61 años. Es profesor en la Universidad de Montreal. Ha publicado más de 500 papers. Y según Google Scholar, es el científico más citado del mundo en todas las disciplinas, con más de 1 millón de citas. Sí, más que nadie. En cualquier campo. Punto. (Bueno, en realidad también está Michel Foucault, que no es el del péndulo, sino un historiador y filósofo del Siglo XX que tiene 1.4 millones de citas, pero sus trabajos no son los típicos de científico que publica en revistas por pares como los de Yoshua)

Pero lo más interesante de Bengio, aparte de su éxito académico , es que, a diferencia de muchos líderes de la IA, él está genuinamente preocupado por lo que hemos (han) creado.

Bengio nació en París en 1964, pero creció en Montreal. Estudió ciencias de la computación en la Universidad McGill y se doctoró en Montreal. Su tesis de 1991 ya exploraba redes neuronales para modelar secuencias, décadas antes de que esto se volviera mainstream. Y después trabajó como postdoc en los históricos MIT y AT&T Bell Labs.

Durante los años 90 y 2000, cuando nadie creía en deep learning, Bengio siguió investigando. Junto con LeCun y Hinton (los otros dos padrinos), formó lo que ellos mismos llamaron irónicamente la "Conspiración del Deep Learning", como ya vimos en la pasada entrega de >>> El Prompt, en el perfil de Yann LeCun. Fueron tres tipos tercos que siguieron creyendo en redes neuronales cuando todo el mundo académico las había descartado.

Su gran contribución técnica fueron las redes neuronales recurrentes (RNN) y, más tarde, los mecanismos de atención que eventualmente llevaron a los transformers. Sin el trabajo de Bengio en los 2000, no existirían ChatGPT, Claude ni ningún LLM moderno o, al menos, habrían llegado más tarde..

El giro hacia la seguridad

A diferencia de LeCun (que piensa que preocuparse por riesgos existenciales es exagerado) o Hinton (que se preocupa pero sigue siendo optimista), Bengio está activamente alarmado.

En 2023, firmó la carta abierta pidiendo una pausa de 6 meses en el entrenamiento de modelos más grandes que GPT-4. También firmó la declaración de que "mitigar el riesgo de extinción por IA debería ser una prioridad global junto con pandemias y guerra nuclear".

Bengio argumenta que los modelos actuales no son peligrosos todavía, pero que estamos avanzando demasiado rápido sin entender las consecuencias. Que crear sistemas más inteligentes que nosotros sin garantías de control es una apuesta por nuestra civilización.

Ha fundado Mila (Montreal Institute for Learning Algorithms), uno de los centros de investigación en IA más importantes del mundo. Pero cada vez dedica más tiempo a seguridad y alineamiento. Porque, en sus palabras: "Contribuí a crear esta tecnología. Tengo responsabilidad de asegurarme que se use bien".

Es fascinante que uno de los padres del deep learning sea ahora uno de sus críticos más vocales. No es un ludita con sombrero de aluminio. No pide destruir la IA. Solo pide que vayamos más despacio. Que pensemos antes de construir superinteligencias que no sabemos si sabremos controlar.

Y viniendo de él, del científico más citado del mundo, del tipo que literalmente ayudó a construir los cimientos de la IA moderna... quizá deberíamos escuchar o quizá no. Voy a preguntarle a ChatGPT.

En julio de este año, Google DeepMind lanzó AlphaEarth Foundations, y aunque ya han pasado unos meses, merece la pena hablar de esto porque es una de esas aplicaciones de la que no son tan mainstream pero sí pueden ser realmente útiles a escala global, nunca mejor dicho. Es un modelo de IA que funciona como un "satélite virtual", integrando petabytes de datos de observación terrestre (imágenes satelitales, radar, mapeo láser 3D, simulaciones climáticas...) en un mapa unificado del planeta.

Cada día, docenas de satélites capturan imágenes de la Tierra en diferentes espectros: óptico, radar, láser 3D, infrarrojos... Pero estos datos están fragmentados. Un satélite pasa por Ecuador una vez cada semana. Otro cubre la Antártida cada mes. Las nubes bloquean imágenes ópticas. Los datos de radar no se alinean temporalmente con los ópticos.

AlphaEarth resuelve esto creando embeddings (representaciones compactas) de cuadrados de 10x10 metros de todo el planeta. En lugar de mirar imágenes individuales de satélites, crea una representación continua que integra toda la información disponible, puede "ver" a través de nubes persistentes, e interpola datos faltantes usando patrones aprendidos de otras regiones.

¿Para qué sirve? Para todo lo relacionado con monitoreo planetario. Seguridad alimentaria (viendo cómo están los cultivos en tiempo real). Deforestación (detectando talas ilegales). Gestión de agua (monitorizando reservas y sequías). Desastres naturales (prediciendo inundaciones o incendios).

Por qué importa

AlphaEarth no es solo una herramienta de mapeo mejorada. Es una infraestructura que proporciona una representación completa y optimizada de cualquier metro cuadrado del planeta (excepto océanos) en cualquier fecha desde 2017. Entiende lo que está viendo. Puede distinguir entre tipos de cultivos, estados de vegetación, usos del suelo... todo en un solo sistema unificado. Es como tener un experto mirando cada metro cuadrado del planeta constantemente.

Y está disponible gratis para uso académico y sin ánimo de lucro en Google Earth Engine. El paper está aquí, y el dataset, con más de 1400 millones de puntos de datos por año es open access. Google está jugando la carta de "democratizar el acceso" al estilo AlphaFold.

Por supuesto, también levanta preguntas sobre vigilancia. Un sistema que mapea el planeta con esta precisión es útil para ciencia... pero también para gobiernos que quieren monitorear fronteras, movimientos de población, o instalaciones “secretas” que prefieren mantenerse discretas.

Esta semana hemos aprendido que la poesía hackea mejor que el código (o quizá era solo marketing), que OpenAI quiere que ChatGPT vaya al confesionario, y que la pela es la pela y hasta las startups más éticas al final acabarán en Wall Street.

También hemos conocido a Yoshua Bengio, el científico más citado del mundo, que ayudó a crear la IA moderna y ahora pasa las noches preocupándose por ella. Y hemos visto cómo Google puede vigilar... perdón, estudiar cada metro cuadrado del planeta.

Como siempre, recuerda que puedes puntuar el post y comentar después, por si quieres dar ideas, quejas, sugerencias, peticiones... ¡Nos vemos el jueves que viene! 🤓

Como siempre, recuerda que puedes puntuar el post y comentar después, por si quieres dar ideas, quejas, sugerencias, peticiones… ¡Nos vemos el jueves que viene!🤓 .

🧠 🧠 🧠 🧠 🧠 ¡Alimento para la mente!
🧠 🧠 🧠 Tienes que pensarlo mejor
🧠 Han faltado neuronas

Y si quieres que tus amigos o familiares estén tan al día de la IA como tú, ¡puedes compartirles esta newsletter o mi blog sobre IA! Uno con contenido de actualidad, y otro con artículos más elaborados, que te ayudarán a entender la IA desde otro punto de vista.