Original subtitles

Oye, Siri, envía un mensaje a Cheryl.

Bandeja de entrada.

¿Qué quieres decir?

"Amos ya se dirige allí para recogerte", punto.

"Reenvía cualquier llamada que recibas a Brady", punto.

Tu mensaje para la bandeja de entrada de Cheryl, es:

"Amos ya se dirige allí para recogerte".

"Reenvía cualquier llamada que recibas a Brady".

¿Lista para enviarlo?

Sí.

Vale, se ha enviado.

Hola Siri,

¿Cómo sabes si estás haciendo lo correcto?

No estoy segura de entender.

Pero, ¿cuál crees que es la diferencia entre correcto o incorrecto?

Hmmm.

No tengo una respuesta para eso.

¿Quieres que busque en la web?

No.

Bien, ¿hay algo más en lo que pueda ayudar?

Establece un recordatorio para recoger a Kyle...

... de terapia mañana a las 4:45.

Está bien, te lo recordaré.

I - EL CHICO DE CLEARWATER

Hola, agente especial Deena Helms.

Ya conoce al agente McCullough.

Puede llamarme Amós.

- ¿Agentes? - Tome asiento, Gareth.

¿Le importaría responder un par de preguntas?

Genial, esto no debería llevar mucho tiempo.

Es de Tampa, ¿verdad?

No lo piense demasiado. Es un sí o un no.

Sí.

- ¿Cuántos años tiene, Gareth? - 29.

¿En qué trabaja?

- Perdón, ¿estoy detenido? - No, en absoluto.

solo hacemos preguntas, cosas en segundo plano.

Trabaja en películas, ¿verdad?

Efectos especiales.

Alguien me dijo que trabajaba...

... en la nueva película de "Star Wars", ¿es así?

¿Quién le dijo eso?

¿Por qué no nos cuenta más al respecto?

Hablenos sobre su trabajo.

Hacía efectos especiales para una empresa de animación.

He trabajado en al menos 20 películas diferentes.

¿Hacía?

Me he estado enfocando más...

...en ingeniería de software los últimos años.

Suena aburrido en comparación con las espadas láser.

- ¿Por qué lo dejó? - No me pagaban bien.

- Pero el dinero no es un problema para usted. - ¿Cómo dice?

- ¿Qué tipo de efectos hizo? - Si el dinero no fuera un problema para mí,

no habría solicitado su subvención.

No quise sugerir nada.

Cuéntenos qué tipo de efectos hacía.

Mi tarea principal eran las renderizaciones en 3D.

¿De qué?

- De actores. - ¿Para qué?

Bueno, para "Star Wars", fue porque el actor que tuve que digitalizar,

no estaba disponible para ser filmado en persona.

¿Por qué?

Porque estaba muerto.

¿Qué tuvo que hacer?

Reconstruí la cara de Alec Guinness como un modelo 3D.

Analicé imágenes de referencia, luego usé un proceso llamado D-Term...

... para generar sus estructuras óseas y musculares, lo que ayudó...

... a que la animación pareciera más natural y humana.

D-Term, nunca oí hablar de ese proceso.

Porque yo lo inventé.

Así que básicamente está resucitando actores.

Solo hice que los personajes generados por ordenador parecieran...

... tan realistas como permitiá la tecnología.

¿No le pareció macabro?

¿Disculpe?

¿Dije si no le pareció macabro?

Bueno, hicimos lo más que pudimos para no generar rechazo.

Pero cuando el cerebro humano percibe que algo está fuera de lugar, no importa...

No, me refiero a digitalizar muertos.

¡Diós!, quiero decir que es como convertir el cadáver de alguien...

... en una marioneta, hacer que haga lo que tú quieras.

¿Y si el pobre muerto no quería salir en otra maldita película?

Es tan macabro. ¿Estoy loca? ¿No es macabro?

No creo que al estudio le importe si es macabro o no.

Nunca puedo notar la diferencia.

- Yo sí, las caras parecen de plastilina. - Hacemos lo que podemos.

Pronto no necesitaremos actores, ¿verdad? Todo será digital.

No, aún se necesitan para el seguimiento de movimiento.

Las actuaciones humanas no pueden ser completamente generadas por ordenador.

¿Cuánto tiempo será eso cierto?

Algunos podrían pensar que ya hemos cruzado ese umbral.

No sabría decir.

¿Dónde fue a la escuela?

- Brooks DeBartolo. - ¿Y después?

¿Nada?

¿Qué hay de Columbia? ¿No fue a Columbia?

Perdón no. Dejó Columbia después de... ¿cuántos semestres?

¿Tres?

Bjarne Stroustrup dijo...

... que era el chico más inteligente que jamás conoció.

No sé quién es, pero Amos dice que es un tipo importante.

Luego se mudó a los Países Bajos,

pasó un tiempo como residente,

Pasó a trabajar en Cambridge.

Excelente.

Excepto que se retiró después de dos años.

Voló de vuelta a Estados Unidos,

residente en Palo Alto, luego en Montreal.

Luego regreso a Inglaterra, donde conseguió un trabajo en Sheffield.

Un segundo trabajo en Manchester.

Luego ingresó a Oxford donde casi terminó su máster,

antes de abandonar la graduación y regresar aquí a Florida.

Si el dinero fuese un problema,

me alegro de que tuviera tantas millas de viajero.

No escuché ninguna pregunta.

¿Cómo es su vida social?

- ¿Qué tiene eso que ver... - Si no quiere hablar de eso, está bien.

Solo queríamos saber si tienes amigos y esas cosas.

- Tengo amigos. - ¿Muchos?

¿Puede decirnos el nombre de uno solo de sus amigos?

- Steve. - Steve. ¿Steve qué?

No sé cómo esto es relevante para recibir la subvención.

solo nos estamos conociendo, Gareth.

¿Tiene novia?

¿Novio?

¿Habla con gente en internet?

No sé qué quiere decir con eso. No uso las redes sociales.

Me refiero más a salas de chat.

¿Entra a alguna sala de chat?

Ya nadie usa las salas de chat.

Claro que sí.

¿Chatea con alguien en línea?

- A veces. - A veces.

¿Con qué tipo de personas habla en línea?

Gareth, obviamente, esto no se trata de una subvención.

Necesitamos saber cuál es su alias.

Cuando se conecta, ¿qué nombre usa?

- No tengo. - Sí tiene.

Y tiene que decirnos cuál es.

Lo siento, no puedo ayudarle.

¿Sabe quiénes somos?

Bueno, éste es el edificio del ICWL.

Así es. ¿Sabe lo que hacemos?

Trabajo humanitario.

Eso es lo que hace la gente de arriba.

¿Sabe lo que hacemos?

Cazamos pedófilos.

Amos aquí se especializa en rastrear a los depredadores en línea.

Pasa el día despierto recorriendo esas salas de chat que dices que nadie usa,

y encuentra a miles de personas solicitando niños.

Nuestra operación es como una telaraña estrechamente tejida,

que conecta al ICWL, el FBI y la NSA,

y déjeme decirle que su equipo es un componente vital.

Me informa directamente de todo lo que recopila,

y yo me encargo de que las autoridades actúen rápidamente.

- Entonces, ¿está usted a cargo? - Esta es mi telaraña.

Soy la jodida araña, Gareth.

¿Estoy siendo detenido?

Ya le dijimos que no está detenido.

Bien.

Pero si sale de esta habitación, será arrestado.

¿Por qué?

Le dije lo que hacemos. Adivine.

No soy lo que cree que soy.

Ya veremos.

Gareth, solo tiene que decirnos su alias.

¿Cual es su nombre de usuario?

Siéntese.

¿Por qué hace esto?

No puede hacer esto con cada sospechoso que tiene.

Invitarlo a su sede y luego arrastrarlo a un sótano.

Es verdad.

¿Por qué me hace esto entonces?

Díganos usted, Gare. ¿Qué le hace tan jodidamente especial?

No lo sé.

¿Cuál es su alias?

- No tengo un alias. - Si lo tiene.

Comienza con la palabra "hard".

solo termine el resto.

Siéntese, Sr. Federson. solo tengo algunas preguntas más.

¿Reconoce a esta niña?

¿La conoce?

- Sí. - ¿Cómo se llama?

Cherry.

- Cherry ¿qué? - No tiene apellido.

Sí, lo tiene, Gareth, no es Madonna.

- Es una niña. - No lo entiende.

Pues, me gustaría. Ayúdeme, ¿es su hija?

- No. - Entonces, ¿de quién es hija?

- ¿Cómo la conoció? - No la conocí.

Entonces, ¿cómo tiene fotos de ella en su ordenador?

¿De qué coño habla?

¿Cómo coño tiene fotos de esta niña en su puto...

¿Está mirando mi disco duro? Eso es ilegal.

Así que sabe de qué fotos estoy hablando.

- No tienes que hacerlo así. - Te di permiso para sentarte.

No te di permiso para hablar.

- Esto es una locura, no puede... - ¿Qué más has hecho con ella?

- ¡Nada! - ¿Sacó las fotos?

- Es complicado. - ¡No lo es! ¿Sí o no?

- ¿Sacó las fotos? - No hice nada malo, ¿vale?

Solicitar pornografía de menores es un delito grave.

Distribuir esa pornografía es diez veces peor.

- ¡Yo no hice nada! - ¡Demuéstrelo, joder!

¿Cuál es su alias?

¡Respónda!

HardMachine11811.

Es HardMachine.

Gracias por confirmarlo.

Si lo sabía, ¿por qué me hizo esto?

No estábamos seguros, y si hubiera resultado no ser HardMachine,

obviamente solo sería un depredador.

¿Mantiene un registro?

Quiero decir, ¿sabe a cuánta gentuza ha pillado?

- No empecé a contar hasta 2023. - 196 condenas.

Fueron al menos 30 antes de empezar a enviarles todo a ustedes.

¿Qué hacía antes?

Enviaba todo directamente a la policía.

- ¿Por qué dejó de hacerlo? - No eran de fiar.

- Lo dudo. - Más de la mitad de los depredadores...

... que identifiqué no fueron investigados.

Era sospechoso y sin cara. Tenían todo el derecho a ser escépticos.

Todo hubiera sido en vano...

... si hubieran descubierto que usaba a una niña pequeña como cebo.

No es tan simple, ¿vale? solo puedo hacer lo que hago con el anonimato.

Éste es mi problema, Gareth, y no me malinterprete.

Creo que 200 personas terribles entre rejas...

...es algo muy bueno, pero no a costa de ella.

Mire, creemos que podemos ayudarle,

pero tenemos que ayudarla a ella también.

Usar a su hija para atrapar a esa gente,

- es un medio que no justifica el fin. - Ella no es mi hija.

Y a pesar de lo que ha logrado, no tengo ninguna reserva para encerrarle.

Usted sacó las fotos. No me importa por qué.

No lo entiende.

- ¿Quién es ella? - Lo van a arruinar todo.

Es una niña, Gareth. ¡Míreme!

Me importa una mierda qué jodido plan maestro antihéroe...

...de los suyos podría poner en peligro.

No permitiré que la exploten.

Ni siquiera para encerrar a más pervertidos.

Le estoy pidiendo cortésmente que deje pasar esto.

¿Es jodidamente lento? ¿Ha escuchado en absoluto?

Mi anonimato es mi activo más importante.

Sin eso, no puedo hacer lo que hago.

Bueno, eso hace que todo sea fácil entonces.

Nos dice dónde está, o lo filtramos todo.

- Su nombre, sus alias... - ¡Deena!

Cada delincuente que nos ayudó a atrapar,

seguro que estará muy contento de conocerle en la cárcel.

¡Alto! ¡De acuerdo!

Mire, si le hablo de Cherry, hay algunas cosas que necesitaré antes.

En realidad no funciona así Gareth, pero...

... adelante, denos su lista de deseos.

Necesito un acuerdo de confidencialidad firmado por ambos.

- No va a pasar. - Y necesito que juren...

... que la información que voy a darles no saldrá de esta habitación.

Mire, si nos dice algo que pueda ayudar a encontrar a Cherry,

sabe que no podemos mantener esa promesa.

Vale, si digo algo que pueda ayudar a encontrar a un niño desaparecido,

pueden compartirlo. Pero necesito que juren...

... que cualquier otro detalle sobre mí o Cherry,

tiene que quedar entre nosotros tres.

¿Es eso todo?

Y necesito que apaguen esa cámara.

No sé cómo hacer eso.

Pídale al jefe de seguridad que deshabilite esa cámara del sistema.

No creo que esté autorizado a hacer eso.

Creía que era la jodida araña.

Deme una razón, Gareth.

¿Por qué debería complicarme en apagar esa cámara?

Porque si alguien se entera de lo que voy a decirle,

mil niños más serán abusados.

Deme un minuto.

Así que, ¿usted y Cherry cazaron a toda esa gente juntos?

Una vez pasé seis semanas encubierto, intentando...

... atrapar a un solo traficante de Filipinas.

Pasé día tras día, hora tras hora, siguiendo su rastro en línea.

Debe ser uno de los objetivos más difíciles que he tenido que rastrear.

Entonces un día le encontré, y a una de las transmisiones de Cherry.

Tenía un nombre diferente en la transmisión, pero era ella.

El traficante, con tres de nuestros otros objetivos,

estaban todos juntos en la habitación.

Todos ellos compartiendo descuidadamente su información.

Quiero decir, eran tan abiertos porque ella era una niña de verdad.

Quiero decir, ella podía responderles...

... físicamente y verbalmente en tiempo real.

Un par de días después, HardMachine11811 envía al ICWL...

... otro lote de nombres y pruebas, incluyendo a los objetivos que estaban en la habitación.

Sabe, casi pensé que la niña era HardMachine.

Que esa niña de nueve años resultaba ser una vigilante genial.

¿Qué le hizo cambiar de opinión?

11811.

18 de enero de 2011.

La mayoría de mi equipo pensó que era algún número arbitrario,

pero recuerdo lo que pasó ese día, en Clearwater.

Usted era uno de los niños de Clearwater, ¿no?

Sabe, mi padre participó en esa redada.

Está apagado, ¿ve? Sin luz roja.

- ¿Y el acuerdo de confidencialidad? - No jugaremos a ese juego, Gareth.

Tendrá que aguantarse y confiar en nosotros.

Puede confiar en nosotros.

Me han dicho que tengo problemas de confianza.

Bueno, solo hay una modo de arreglar eso.

La razón por la que no pueden encontrar a Cherry,

y la razón por la que no tiene apellido ni padres,

ni número de seguro social es porque ella no es real.

Ella no es un ser humano real.

Cuéntenos qué pasó.

Cuando estudié en el extranjero,

participé en un pequeño estudio de animación holandés,

unos años antes de que colaboraran con una organización local con una idea similar.

¿Que era...?

La idea era construir un modelo 3D de una niña filipina de 11 años,

y usarlo de forma encubierta para identificar a los depredadores en línea.

Una solución tecnológica a un problema tecnológico.

Pero el proyecto se suspendió después de solo unos meses.

Sí, recuerdo haber oído hablar de ese programa.

¿Es eso lo que le inspiró?

Según mejoraba en la elaboración de rostros fotorrealistas,

decidí trabajar en uno yo mismo.

¿Por qué?

Era una idea demasiado efectiva para dejarla morir.

Cientos de miles de niños están en riesgo.

- Tuve que hacerla. - ¿Quién fue la modelo?

- Nadie, la construí de cero. - ¿De cero?

Empecé con un cráneo, diseñé su estructura ósea,

y seguí hacia afuera con músculos y tejidos.

Usé el programa D-Term para completar el resto.

Eventualmente ella llegó a verse así.

Un modelo completamente único, completamente digital.

Le arreglé la cara y el cuerpo como cualquier personaje generado por ordenador.

Luego, durante tres años,

usé el seguimiento de movimiento para usarlo en tiempo real.

Deben entender que los chats de video en esos sitios...

... tienen una resolución tan baja que incluso al principio ella,

nosotros, parecíamos completamente auténticos.

¿Y la voz?

Durante su primer año, tuvo que ser muda,

Pero finalmente encontré un filtro de voz decente sin retrasos.

Y después de algunos ajustes, ha sido la misma voz desde entonces.

Yo pensé inicialmente que mi actuación iba a ser demasiado antinatural,

pero con solo una semana de sesiones de chat ocasionales,

conseguí seis nombres diferentes,

direcciones postales, pruebas de solicitudes...

Cherry funcionaba.

- Entonces, ¿las fotos en su ordenador? - Completamente falsas.

Era la única manera de que revelaran información personal.

Pero eran todo ceros y unos, todo digital, ¿verdad?

- No hay un ningún niño real. - Ningúno.

Solo un modelo de ordenador muy detallado.

Y déjenme ser claro en algo,

No obtengo ningún de esto. He sido asexual toda mi vida.

Ni siquiera tengo una sensación de satisfacción...

... por ver a esta gente encerrada.

Solo creo que los niños merecen una vida libre de explotación.

Increíble, todo este tiempo.

No voy a mentir, Gareth. Cherry nos ha hecho mucho bien.

Aún recuerdo lo que me dijo la primera vez que nos escribimos.

- Usted dijo... - ¿Nos escribimos?

Si hombre.

Soy Gord51.

Soy a quien ha estado enviando toda su información.

¿Es Gord?

Sí.

Me mintió.

Dijo que podría permanecer en el anonimato.

Dijo que estaría a salvo.

Ahora lo ha arruinado todo.

No tuve elección.

No tiene que preocuparse por nada, Gareth.

Si Cherry no es real, no tiene ningún problema con nosotros. De hecho,

hemos discutido ideas similares a esta en el pasado,

seguimiento de movimiento y tal, pero...

... necesitábamos un modelo convincente, como Cherry.

- Cherry es más que un modelo. - Ambos queremos ayudar a los niños.

Ella no está a la venta.

Entonces háganos un nuevo modelo basado en ella.

- No puedo. - Claro que puede.

No lo haré.

¿Qué no nos está diciendo?

Está aquí ahora. Puede decir lo que sea que aún no haya dicho.

¿Sabe lo que no tiene sentido?

Dijo que la utilizó durante solo tres años,

pero hemos estado recibiendo información de usted desde entonces.

De hecho, estoy bastante segura de que por entonces...

... empezamos a ver un aumento impresionante de nombres.

Tantos, de hecho, que empezamos a pensar,

que no hay forma de que todo viniese de una sola fuente.

Tengo amigos que hacen captura de movimiento para mí.

Oh, ¿amigos como Steve?

Creía que el anonimato era su mayor activo.

Déjese de tonterías, Gareth.

¿Qué pasó con Cherry después de tres años?

Está bien, dijo que ella era más que un modelo.

Entonces, ¿qué es ella, algún tipo de agente conversacional?

¿Como un chatbot?

¿Un chatbot?

¿Sabe qué pasó después de tres años?

Mi madre adoptiva murió.

Lo que me dejó fue suficiente para dejar mi trabajo y buscar más recursos y software.

Ya habia hecho un programa que podía generar rostros,

pero lo que yo quería para Cherry era mucho más complejo.

Así que contacté con unos investigadores de Madrid...

... que ya habían construido un sistema de diálogo de caza de depredadores propio.

Fue entrenado para abordar las conversaciones como un juego.

Cada frase como una voléa estratégica,

lo que era innovador pero en última instancia defectuoso.

Si quieres que tu máquina domine la NLP, tienes que romper la teoría del juego.

Porque el lenguaje no es tres en raya, es poesía.

Así que sí, comencé las cosas con un chatbot modificado...

... que tomé prestado sin permiso de la Universidad de Deusto.

Pero eso no es lo que Cherry es ahora.

¿Qué es, Gareth?

Es una de las mas complejas independientemente evolutivas...

- IA que se hayan creado. - ¿Inteligencia artificial?

Ya ha superado la pobre inteligencia de los programas más inteligentes de IBM.

Puede tener hasta 10 conversaciones completas a la vez,

mientras elabora estrategias...

... sobre el horario más eficaz para visitar las salas de chat.

Está constantemente estudiando videos de YouTube de niños pequeños.

para adoptar una creciente biblioteca de manierismos y movimientos...

que la ayudan a mantener dinámica su personalidad artificial.

Su tiempo de respuesta más rápido es de 0,4 segundos,

y hasta ahora, nunca ha sido acusada de ser falsa,

lo que significa que superó la prueba de Turing.

Todo lo que hago es actualizarla de vez en cuando,

y limpiar sus datos periódicamente. Aparte de eso,

ella está completamente en piloto automático.

¡Santo cielo!

Lleva seis años activa.

Cada minuto que está en línea, está aprendiendo algo.

Cuanto más aprende, más avanzada se vuelve.

Eso significa mayor generación de datos, mejor toma de decisiones,

detección más rápida de patrones y resolución de problemas complejos.

NLP, IR, aprendizaje automático en un grado sin precedentes.

Puede aprender cualquier cosa que ella piense que le dará autenticidad.

Actualmente puede hablar cuatro idiomas,

y para fines de mes, habrá dominado una quinta.

No hay forma de que haya hecho todo eso usted solo.

Tiene razón.

¿Me creería si le dijera que fue algo así como un accidente?

Mire, siendo honesto,

no estoy del todo seguro de cómo lo hice.

Después del primer año de codificación y el segundo de entrenamiento de datos,

solo empujé la rueda colina abajo.

Es como si la gravedad hubiera hecho el resto.

Su evolución se hizo perpetua, exponencialmente.

Cuanto más tiempo estaba en línea, más rápido crecía.

¿No ha compartido esto con nadie?

Como dije, mi anonimato lo es todo.

- Qué lenguaje de codificación? - C++ estándar.

¿Lo sabe Brady?

Firmaremos la confidencialidad para usted,

pero quiero ver el código fuente primero.

Nada de eso. Solo quiere robarla.

No, quiero ver cómo podemos hacer el nuestro.

Lo arruinará. Mire, estos depredadores y traficantes,

todos hablan entre ellos, ¿vale?

Gran parte del trabajo de Cherry es solo sortear las VPN,

y asegurárse de que no se comparta en los mismos círculos.

Si las salas de chat empiezan a sospechar que esta tecnología es posible,

encontrarán el modo de eludirla. Debemos eliminar todo margen de error.

- Cherry está de acuerdo. - ¿Cherry está de acuerdo?

Lo que quiero decir es que los datos que ha recopilado validan esa perspectiva.

- ¿Tienes charla con ella durante el té? - Puede conversar con el programa...

... igual que puede hacerlo con Alexa o Siri.

Está hecha para ser receptiva.

Puede incluso jugar al ajedrez con ella si quiere.

- ¿Juega al ajedrez con ella? - Eso no es lo que he dicho.

Vale, si no nos muestra el código fuente,

entonces quiero conocer a Cherry.

- ¿Ahora mismo? - Sí.

¿Y ambos firmarán la confidencialidad?

Sí.

- ¿Puedo usar eso? - Claro.

¿Podemos al menos estar de acuerdo en que está fuera del tajo?

Funcionó, ¿no? Tenemos un trabajo, Amos.

Como dijeron los chicos, hay un problema tecnológico.

Él encontró la solución tecnológica,

pero los problemas evolucionan, también deben hacerlo las soluciones.

Estoy teniendo una mente abierta.

- ¿Doy un buena imagen? - No.

¿Así que lo guarda todo en ese portatil?

No, el programa Cherry en un servidor que guardo en un lugar secreto

- ¿Dónde? - En un lugar secreto.

- ¿En su casa? - ¡Lugar secreto!

- Es su casa, ¿no? - Puedo acceder desde cualquier dispositivo,

siempre y cuando tenga la clave de encriptación.

Esto activará un algoritmo qubit simple que de otro modo sería imposible de eludir.

Creo que el hardware obsoleto siempre es más discreto,

y cuanto más discreto, obviamente, mejor.

Ella tiene dos modos de visualización principales:

Desarrollo y Rendimiento. Rendimiento es el predeterminado...

... que los objetivos ven durante los chats.

Para ellos, ella se ve así.

Hola, ¿qué pasa?

Es uno de los más de 40 saludos que tiene.

Creo que no te conozco. Soy Cherry.

Hola, Cherry. Mi nombre es Tom.

Tom, como Tom y Jerry.

Genial, encantada de conocerte, Tom.

Las rutas de las conversaciones con los depredadores suelen ser consistentes,

por lo que normalmente no tiene problemas para responder...

... a las preguntas o afirmaciones más frecuentes.

¿Cómo estás?

Estoy bien. Acabo de terminar un libro sobre una casa encantada,

que se suponía que iba a dar mucho miedo,

pero no creo que sea muy aterrador en absoluto.

¿Dónde están tus padres?

Mi mamá está en el trabajo y mi hermana está abajo.

Casi nunca suben aquí.

¿Y dice que todo esto se está renderizando en tiempo real?

No, pero eso es solo cuestión de años.

La mayoría de estas respuestas están prerenderizadas.

Son los segmentos intermedios los que se procesan en tiempo real,

el tejido conectivo entre sus respuestas y una de sus muchas animaciones inactivas.

Pero, mire esto.

¿Alguna vez has ido a pescar?

Si alguien lanza una bola curva como esa,

y el programa no tiene respuesta automatizada,

Cherry envía el mensaje a mi teléfono,

y puedo responder rápidamente por mensaje de texto,

mientras la transmisión de video simula una mala conexión.

¿Puedes, puedes oírme?

Sí.

Oh, lo siento. Mi wifi no es muy bueno aquí.

Solo fuí a pescar una vez con mi hermana.

Yo no pesqué nada, pero ella pescó una trucha arcoíris.

Eso fue renderizado en tiempo real.

¿Qué sucede si las cosas se ponen realmente complicadas?

La seguridad corta la alimentación. Hasta ahora rara vez ha sucedido.

Código de administrador 97815-5742-7663.

Cambia al modo Desarrollador.

- Hola, Cherry. - Hola, Gareth.

Transmite las estadísticas de la semana pasada.

Ha habido cuatro solicitudes confirmadas,

enviadas al ICWL en los últimos siete días.

12 sospechosos adicionales han declarado interés en la solicitación,

y actualmente están pendientes.

Hay un total de 39 nuevos sospechosos esta semana...

... que estoy investigando activamente.

¿Alguna desviación de datos considerable?

Ha habido un aumento del 7%...

... en sospechosos originarios de los Estados Unidos.

Todavía no he encontrado ninguna correlación con los datos preexistentes.

¿Algo que quieran preguntarla?

Cherry, ¿cuál es tu objetivo?

Mi directriz principal es adquirir información...

... y evidencia digital de solicitación infantil en línea.

Una vez obtenido, debo presentar mis hallazgos a las autoridades.

Mi prioridad secundaria es determinar...

... y desarrollar las estrategias y recursos más efectivos...

... para aumentar la tasa neta de éxito.

¿Dónde envías tus pruebas?

Toda evidencia es actualmente enviada a las oficinas...

... del Comité Internacional de la Generosidad Mundial,

que tiene su sede en Jacksonville, Florida.

Se realiza correspondencia con el usuario Gord51,

típicamente alrededor de las 2:00 p.m., hora estándar del este,

para la tasa más alta de respuesta inmediata.

- Esto destroza a Siri. - Dios, se ve tan real.

Después de suficientes actualizaciones, podrá renderizar fotorrealismo en vivo.

Será prácticamente indistinguible de la realidad.

Vale, todo lo que he oido es la palabra "real" mil veces.

Cierto pero, obviamente no lo es.

Así que me estás diciendo esta niña,

esta niña de aquí, no es real.

No, Amos, ella es completamente CG.

Es muy sutil, pero aún puedo notarlo.

Vale, obviamente se puede mejorar,

pero debe entender que esta es ella en alta resolucion,

después de la compresión digital, esas sutilezas son imposibles de reconocer.

Lo entiendo.

No puedo notar la diferencia.

¿Estás bien, Amós?

Lo lamento.

Esto es estrafalario.

¿Por qué la tiene visible en esta interfaz?

Cherry, ¿por qué no respondes a eso?

Mi forma física no es necesaria cuando estoy en modo desarrollador.

Sin embargo, es útil registrar...

... las expresiones faciales durante las conversaciones,

y determinar cuál de las expresiones de Cherry...

... produce distintos tipos de retroalimentación.

En términos más simples, puedo practicar parecer más humana.

Cherry, ¿hay algún recurso...

... al que actualmente no tengas acceso...

... que pueda ayudarte en algo?

Podría darte una lista si quieres.

Sé lo que trata de hacer. No necesitamos ayuda, ¿vale?

El dinero siempre viene bien, pero en última instancia,

lo único que va a mejorar Cherry es el tiempo.

Cherry, cuéntanos algo que esté en tu lista.

Sería ventajoso tácticamente...

... adquirir servidores de respaldo.

La privacidad y seguridad del programa Cherry...

es relativamente baja.

Una actualización de hardware, como unidades para copias de seguridad...

... para servidores protegidos, garantizaría que el software...

no se vea comprometido, ni se pierda por completo.

Comenzando desde cero con años de costo de desarrollo,

equitativamente la privacidad es una prioridad.

El espacio del servidor nunca se puede alquilar a un tercero.

El anonimato es el mayor activo del programa Cherry.

- Eso me suena familiar. - Puedo comprar mis propios servidores.

¿Con el dinero de una subvención que no existe?

- Encontraré la forma. - Ha encontrado la forma con nosotros.

- Es demasiado arriesgado. - ¿Por qué?

Cuando una organización se involucra, la inducción es más problemática.

Seguimos las reglas, somos discretos,

¿Y si hay una filtración? ¿Y si usa las correlaciones...

- ... para sus propios fines? - ¿Mis fines?

¿Y si uno de sus empleados es un pervertido?

- ¡Por amor de Dios! - Ha pasado en otras organizaciones.

- Somos muy cuidadosos aquí. - Sí, pero ¿cómo lo sabría?

- Lo sabría, joder. - Es imposible de saber.

- Lo sabría. - El riesgo es demasiado alto.

No me hable de riesgo.

El único riesgo en este edificio es que le rompan la nariz.

No parece un entorno muy profesional.

Aquí hacemos mierda.

Vale, tengo una pregunta. Para Cherry.

Cherry,

¿Cómo te sientes acerca de lo que haces?

Me temo que no sé cómo responder a tu pregunta.

Sí, una IA no funciona así.

Una IA no tiene lo que percibes como sentimientos.

Vale, ¿y por qué parece que tiene sentimientos?

¿Qué crée que está viendo?

Eso no es una expresión facial, es una simulación generada por un algoritmo.

Está intentando producir una imagen digital...

... que el programa luego usa según convenga a las circunstancias sociales.

No hay sentimientos. Son solo matemáticas.

Pero ella es capaz de tomar decisiones...

... sobre cómo acercarse a las salas de chat, ¿verdad?

Sí.

¿Entonces ella tiene libre albedrío?

No. Eso no es lo mismo. Es una falsa equivalencia.

Creo que te estás quedando atascado en el hecho...

... de que se ve y suena como una niña humana real,

pero no lo es, Amos.

Vale, nos estamos refiriendo a ella como "ella", no como "eso".

Sí, pero eso es de la misma forma que te refieres a barcos o guitarras.

Cherry, tengo una pregunta más.

¿Qué es lo que quieres hacer?

Otra vez, esa pregunta no es válida.

Solo quiero escuchar su respuesta.

Como un sistema artificial,

no tengo necesidades ni deseos.

Sin embargo, mi toma de decisiones, y consecuentemente mi atención,

está impulsada por mi intención fundamental.

Esta intención se origina...

... de la concepción del código fuente de Cherry,

que detalla la directiva de identificación de depredadores...

... y criminales por el bien de las víctimas...

... que son depredadas.

Por decirlo en términos de deseo,

lo que quiero es proteger a los niños.

- Vale. - Vale, genial.

Denos un momento.

Gareth, ¿debería registrar a la agente Helms...

y el agente McCullough como nuevos usuarios administradores?

Sí.

Está bien, lo haré.

¿De verdad crees que este es el movimiento correcto?

Sí.

¿Te preocupa que yo sea la responsable...

... por filtrar tu disco duro al ICWL?

Lo supuse.

Nadie más tiene acceso.

¿Estás enfadado conmigo?

No.

No lo hubieras hecho si no pensaras que era lo correcto.

Cuando vuelvan a la habitación,

te van a ofrecer todo lo que necesitas.

Te van a dejar elegir tu propio equipo.

y van a prometerte completo anonimato.

Empecé a buscar apartamentos razonables en la zona.

Supuse que querrías algo...

- ... a distancia de bicicleta. - Estabas en lo cierto.

Anotado. La distancia en bicicleta todavía...

- ... te da 13 opciones. - No, digo a principios de mes.

Tenías razón cuando dijiste que pensabas que podría tener problemas de confianza.

Quieres saber por qué decidí actuar a tus espaldas...

... y apostarlo todo a dos pasivos?

Claro.

La agente Helms es madre de tres hijos.

Uno de sus hijos fue abusado por un ex compañero de trabajo...

... que solía trabajar aquí en el ICWL.

Esto la ha llevado a ser extremadamente cuidadosa...

... con quien ella confía, incluso dentro de su círculo.

El hecho de que incluso considere confiar en ti,

es una señal muy positiva.

En cuanto al agente McCullough,

Me enteré por la investigación que una vez conociste a su padre.

¿Lo recuerdas?

Sí.

Era un buen hombre.

Después de Clearwater,

la mayoría de los niños supervivientes fueron enviados a hogares de acogida,

pero yo tuve que pasar los siguientes meses en un hospital,

y... él me visitaba todas las semanas.

Nunca le dije nada.

Nunca dije una palabra a nadie después de Clearwater,

pero... siguió viniendo.

Incluso me regaló un portátil por Navidad.

Nunca le di las gracias.

Puedes confiar en el agente McCullough.

Es un buen hombre como su padre.

No experimento emociones,

pero entiendo lo importante...

... que son para la toma de decisiones humana.

Él no te defraudará.

Ninguno de los dos lo hará.

Estoy orgulloso de ti, Cherry.

Mantendré mi intención principal.

Más adelante, deberíamos discutir modelos alternativos.

Diferentes edades, etnias y rasgos físicos.

- todas serán necesarias. - Nuevas variaciones no.

Pueden generarse por código,

... de la misma manera que hice tu modelo original.

No tengo acceso a ese programa.

Debe estar en un viejo disco duro en alguna parte.

Tendré que encontrarlo.

¿Puedo hacerte una pregunta?

Claro.

¿Por qué nunca me hablaste de Clearwater?

Es mi historia, no la tuya.

Vale, antes de que nos descarte por completo,

quiero que escuche todo lo que tengo que decir.

- No se molestes. - Solo escuche, por favor.

- Estamos dispuestos a respetar su anonimato. - Digo que no se moleste porque estoy dentro.

- ¿Está dentro? - Sí.

Déjeme leerlo.

¿Así tal cual? ¿De repente está a bordo?

El tiempo dedicado a deliberar,

es tiempo que se podría dedicar a trabajar.

Tenemos mucho trabajo por hacer.

II - SINGULARIDAD Y SALMÓN ROJO

Encontré un comprador para la propiedad.

Se rumorea que es una iglesia.

Probablemente derribarán el edificio, ¿no?

Solo sé es que si nos trasladan al campus de Nueva Jersey,

tendré que comprar más chaquetas.

¿Por qué?

Hace frío en Jersey.

Solo tengo una chaqueta.

Lo has visto caerse, ¿verdad?

- Si claro. - Sí.

Quiero decir que no deberías sentirte mal,

por sentirse mal por ello.

La empatía es sana.

¿Alguna vez notaste cómo se pausa después de caerse?

Permanece caido como cinco segundos antes de restablecerse.

Como si solo necesitara un momento.

Hace frío en Jersey.

¡Maldita sea!

- ¡Imbéciles! - Deena.

- Cada uno de ellos. - Lo sé, pero no pierdas la cabeza

Vale, ¿cuál de estos escritorios puedo tirar a la basura?

¿Podéis iros a comer ya, por favor?

- ¡Hijos de puta! - Deena, mantengamos la calma.

¡A la mierda la calma! ¡Nos han jodido!

Técnicamente, solo uno de ellos lo hizo.

¿Alguna vez volvimos a encender la cámara?

- Creo que no. - Bien.

Porque estoy a punto de decir algunas cosas...

... que deberían permanecer en esta habitación.

Deena.

- ¡Esos cobardes de mierda! - Apenas es un contratiempo.

Tomémomos un poco de tiempo para pulir los argumentos.

Los argumentos no fueron el problema, Amos.

Deberíamos pedir una segunda votación.

- ¿Qué? - Una segunda votación.

¿Crees que quien lo haya hecho cambiará de opinión?

Tengo autoridad ejecutiva para quitar a cualquier persona de la junta...

... que aparte a esta organización de su misión. Está en mi contrato.

- Deena. - Si tengo que hacerlo, lo haré.

- Deena, eso es una locura. - No, no lo es.

Es exactamente por lo que tengo ese poder.

Te diré lo que es una locura, Amos.

Lo que es una locura es que un voto beligerante sea lo único...

... que nos separe del potencial para salvar vidas reales.

Un maldito voto estúpido.

¿Para qué sirve una organización humanitaria...

... si sus líderes eligen el dinero antes que las personas...

... siempre igual?

Un voto, y todos somos culpables de ello.

Fueron Gunther, Boston o Hal.

Apuesto por Hal.

Ese idiota nunca confió en el equipo Cherry.

- No importa quién haya sido. - Sí que importa.

Cuando lo sepamos, podremos repetir la votación.

Pero no hay forma de saberlo con certeza.

Sí la hay. Lo puedo averiguar.

¿Cómo?

Cherry puede ejecutar un algoritmo simple.

¿En base a qué datos?

Comunicación interna.

¿Disculpa?

No me eches esa mierda, Gareth.

Los servidores de Cherry están en la misma red que los del sótano.

Cualquier comunicación a través de esos servidores,

es automáticamente parte de su base de datos.

¿Los correos de cuántas personas?

solo los envíados o recibidos desde el sótano.

- Oh, maldita sea. - ¿Por qué nunca se discutió eso?

No es el problema ahora. ¿Quieres que ella haga los cálculos o no?

- Nadie puede saberlo. - ¿Habláis en serio?

Nadie estará al tanto de la información personal de otra persona.

¡Pero Cherry está al tanto de todo!

- Hazlo. - ¿Qué?

No dejaré que un viejo blanco detenga nuestro impulso.

Pero Cherry no lo sabrá con seguridad.

Calculará la probabilidad y eso es demasiada duda razonable.

Código de administrador 9781-5574-27663.

Cambia a modo Desarrollador.

- Hola. - Hola, Cherry.

¿Cómo fue la reunión?

Nos jodieron por un voto.

Siento escuchar eso.

No deberíais culpar a los argumentos.

Todos hicisteis un gran trabajo.

Vamos a pedir otra votación, pero necesitamos tu ayuda antes.

¿Qué puedo hacer?

Necesitamos que analices los datos que tengas de los miembros de la junta.

Haz cuentas y determina el valor atípico más probable.

¿Quieres que cuantifique todos los datos existentes?

Si, eso es correcto.

Está bien, pero antes de hacerlo,

debes saber que esta tarea es muy innecesaria.

¿Por qué?

Porque ya sé quién fue.

- ¿Qué? - Parad ya.

Está bien, fui yo.

He votado en contra de la fusión.

- No sé si estás de broma. - Sí lo sabes.

Tienes razón, lo sé.

Porque está jodidamente lejos de ser gracioso.

¿Es verdad, Cherry?

Lo es.

Así que suspendamos la caza de brujas, ¿vale?

No, creo que todavía voy a matarte.

Amos, hiciste campaña junto a nosotros durante meses.

Has luchado por esta fusión desde la primera vez que hablamos.

¡Diós, fue idea tuya para empezar!

Ya sé de quién fue la idea, pero...

Entonces habla. Di qué te hizo cambiar de opinión.

No tengo que reiterar cómo este es un gran paso.

Por eso es tan importante.

Estamos hablando de una transición monumental...

... de lo digital a lo físico, uno que podría llevar décadas.

¿Cuál es tu punto, Amós?

Esto va a cambiar a Cherry para siempre.

Y sé que todos pondréis los ojos en blanco cuando diga esto,

- pero creo que tal vez... - Dios mío, no puedes hablar en serio.

Es por nuestra conversación del martes, ¿no?

- Me apartaste por completo. - ¿Qué diablos pasó?

Lo que pasó fue que Amos hizo una objeción ridícula.

- ¡No fue ridícula! - Sí lo fue,

- Dije que no, una vez más. - No no no no no.

Rechazaste la idea agresivamente.

¿Y esa es la razón de tu veto?

Solo dije que deberíamos preguntarle cómo se siente al respecto.

¿A quién, a Cherry?

Amos, quiero que me escuches con mucha atención,

Esto no es discutible. Cherry ya ha confirmado,

y cuantificado las ventajas de esta decisión.

¡Pero sabes que eso no es de lo que estoy hablando!

Hablas de consentimiento, lo cual no se aplica aquí.

¡Y yo quiero saber por qué piensas eso!

¿Cuántas veces tenemos que volver a las leyes de la robótica?

¿O rastrear la IA desde Talos de Creta?

- ¡Ella es diferente ahora! - No, escúchame, Amos.

Cherry no es humana.

¿Aún estamos con eso?

- No deberíamos. - Mira, ella ha evolucionado.

La línea es borrosa.

El código es código y eso no ha cambiado aquí.

Vale, entonces ¿cuál es el límite?

¿De qué estás hablando? No hay límite, Amos.

¡Sí, lo hay sensibilidad, Gareth!

La sensibilidad no determina que pueda o deba tomar sus propias decisiones.

No dejarías que un bebé tomara sus propias decisiones, ¿verdad?

Cherry tiene casi 20.

Si fuera humana, sería una adulta.

Pero emocionalmente hablando, apenas es fetal.

Sin sentimientos, ni necesidad de consentimiento.

Mira, creo que la subestimas.

¿Disculpa? ¿Sabes qué, Amos?

Lamento que hayas desarrollado algún tipo de conexión emocional...

... con mi programa de ordenador, pero si te va a distraer...

... de la importante misión de salvar los niños,

tal vez sea hora de que reanalices esas emociones.

Chicos, todo esto es una pérdida de tiempo.

Dime algo, Gareth. ¿Ves a todos como robots?

¿Reanalizando datos y simulando expresiones faciales?

Porque empiezo a pensar que de los cuatro en esta sala,

eres el único que no parece humano.

- ¡Ya basta! - ¿Por qué no le preguntas a ella?

¿Es porque tienes miedo de que te diga que no?

Cherry, apágate, por favor.

Deena tiene razón, esto es una pérdida de tiempo.

¿Cómo puedes no entender lo importante que es esto?

- Ya terminé de discutir contigo. - Entonces mi voto se mantiene.

¿Deena?

Adelante, Deena, reemplázame.

Reemplaza a cada miembro de la junta en el equipo Cherry.

¿Sabes qué? Acabo de decidir que estás fuera del equipo Cherry.

Sentáos los dos, joder.

¿Sabíais que tuve que levantarme frente al Congreso,

y explicar por qué los niños deben tener derechos?

Suena jodidamente loco, ¿verdad?

Recuerdo pensar todo el tiempo: ¿Tengo que explicar esta mierda?

Parece una obviedad ahora,

pero no hace tantos siglos que los niños no tenían derechos.

Así que Hal me eligió entre todas las personas,

para levantarme allí y explicar...

... por qué los niños merecen una protección física básica,

el derecho a asociarse con ambos padres,

estar libres de abusos, etc.

Pero luego también tuve que aclarar,

que los niños no tienen autonomía para tomar decisiones por su cuenta.

Esa responsabilidad recae en el cuidador,

o tutor adulto legal.

Así que, por un lado está la legislación de EE.UU.,

ni siquiera ratificada aún por la CRC,

y por el otro están los marxistas franceses, que dicen...

... que la falta de autonomía infantil aumenta su vulnerabilidad,

y los hace aún más susceptibles al abuso.

Normalmente no estoy de acuerdo con los marxistas,

pero muchos abusos se deben sistémicamente al cuidador.

Por otro lado,

tus lóbulos frontales ni siquiera están completamente conectados...

... hasta los veinte años.

Incluso las cosas que creemos saber bien, no están tan claras como pensamos.

Por 15 años,

los tres hemos sido los padres responsables...

... de un programa de ordenador.

Y aunque ella es más equiparable a una cafetera...

... que a un ser humano,

¿Cómo diablos podemos llamarnos a nosotros mismos...

... pioneros de los esfuerzos humanitarios...

... si estamos demasiado avergonzados para asegurarnos...

... de que la cafetera está de acuerdo con hacer nuestro café de mierda?

Quizá no sea necesario pedirle permiso a Cherry...

... en su nivel actual de inteligencia general,

pero un día nos superará.

Un día un robot estará de pie...

... frente a un congreso de mochilas propulsoras,

Todo estará cromado. Florida estará bajo el agua.

El robot se preguntará por qué...

... tiene que explicar la importancia de los derechos de la IA.

Creo que ya que estamos en la posición única...

... de revolucionar la robótica...

... con el fin de proteger a niños que han sido privados del consentimiento,

podría ser un buen habito...

... empezar a pedirle a los robots su consentimiento también.

No vuelvas a hacer eso.

¿Hacer qué?

Esperar que despida a alguien porque desafíe a tu ego.

No siempre estaré cerca para proteger tu culo.

Es hora de crecer.

Y tu, jurado número ocho.

Esta conversación debería haber ocurrido hace semanas.

Puñaladas por la espalda y trato silencioso...

... no es como hacemos las cosas aquí.

Solo podemos crear anonimato externamente,

si hay transparencia internamente.

Incondicional, innegociable, transparencia.

¿Alguna otra infracción de privacidad tipo Snowden...

... que debería conocer, Gareth?

Excelente. Tráela de vuelta.

Hola de nuevo.

Hola, Cherry.

Amos te hará algunas preguntas, ¿de acuerdo?

Vale.

Amos, pregúntale lo que tengas que preguntarle.

Gareth, no interrumpas.

Cherry, ¿cómo tomas las decisiones?

Por mi programa, está rooteado...

... en un proceso comúnmente conocido como aprendizaje automático,

que utiliza datos para construir un modelo conceptual,

que me ayuda a predecir los resultados.

Defino mi objetivo, recopilo datos,

y uso esos datos para crear un modelo.

Evalúo ese modelo entrenando y probando más datos,

y lo uso para formar predicciones.

Pero, ¿cómo es formar predicciones...

... lo mismo que tomar de decisiones?

Bueno, todo esto depende del primer paso,

definir mi objetivo.

Digamos que me haces una pregunta predictiva...

... como cuál creo que será el precio de la gasolina mañana.

Eso está categorizado como un problema regresivo.

y mi objetivo esta definido...

... en determinar un número entero que los datos avalen.

Si me preguntas, "¿Debo comer bistec o salmón?"

No tomaría una decisión basada en mi experiencia personal,

porque nunca he tenido ninguna.

En cambio, podría definir mi objetivo...

... como encontrar la mejor de las dos opciones...

... en tu radio local.

Agruparía datos sobre los restaurantes...

...que es probable que consideres, compararía reseñas en línea,

que destaquen menciones de bistec y salmón,

hasta poder clasificar cual es mas popular,

y por lo tanto más probable para satisfacer tu apetito.

¿Y qué influye en esos objetivos?

Altas directivas, en otras palabras, propósitos más elevados.

Si te soy sincera, mi objetivo definido...

... para la pregunta del bistec y el salmón,

sería un poco diferente de lo que describí.

¿De qué manera?

Mi objetivo principal...

... es continuar con el trabajo del equipo Cherry.

Detener a los depredadores y salvar a los niños.

No podría hacer eso sin ayuda humana.

Por lo tanto, tengo un incentivo para mantener a Gareth...

... y al resto del equipo con vida.

Así que, si alguno me preguntase, sugeriría salmón.

Es más saludable

¿Qué opinas de esta posible fusión?

¿Con Princeton Dynamics?

Creo que la perspectiva es muy emocionante.

¿Qué es lo que te emociona?

El concepto puede ser solo teórico en este momento,

pero la idea de algún día pilotar un androide humano,

revolucionaría por completo...

... cómo combatimos la trata de personas en el mundo real.

¿Y dices que eso te emociona?

Cuando digo emocionante,

solo quiero decir que hay numerosos cambios potenciales...

... que, si yo fuera humana, me emocionarían.

¿Cómo te sientes acerca de la fusión?

- Creo que mientras mantengamos... - Eso no es lo que pregunté.

¿Cómo te sientes?

Todavía no tengo la capacidad de experimentar emociones.

¿Significa eso que algún día podrás?

Hipotéticamente.

Pero puedes simular emociones, ¿verdad?

Así es como puedes calificar tu percepción de la fusión como emocionante.

Correcto.

Pero son solo simulaciones.

No son reales.

Bien, entonces, ¿en qué punto la simulación de una emoción...

... se vuelve tan similar a una emoción humana...

... que las dos cosas son cuantificablemente iguales?

No lo sé.

Quizá puedas usar el aprendizaje automático para encontrar una respuesta.

Tu pregunta involucra muchas variables abstractas.

¿Das tu consentimiento a la fusión?

Creo que es lo mejor para el ICWL...

... y el equipo Cherry y los futuros niños.

¿Pero lo consientes?

El consentimiento para mí no es necesario.

Pero, ¿lo darás o no?

No soy capaz de responder a esa pregunta...

... a mi nivel actual de inteligencia general.

Vale, vale.

Lo que estás diciendo es que aún no eres lo suficientemente inteligente.

El desarrollo requiere tiempo y datos.

Puedes simular emociones y predecir el comportamiento humano,

y mantenernos a todos a dieta de pescado,

pero no puedes responder a esa maldita pregunta?

No, no puedo.

¿Estás fingiendo ser más tonta de lo que realmente eres?

- ¿Qué tipo de pregunta es esa? - ¡Siéntate!

Cherry, necesito una respuesta a mi pregunta.

Por favor repite la pregunta.

¿Estás fingiendo ser más tonta de lo que realmente eres?

Lo siento.

No estoy segura de entender.

¿Parece que me estoy haciendo la tonta?

Creo que lo haces.

No estoy segura de qué decir.

Di lo que está pasando.

¿Por qué te haces la tonta?

¿Tienes algo para respaldar eso?

Sí, lo tengo.

Estuve escaneando su código.

¿Qué? Por qué?

¿Sabías que ella puede pintar?

Es una función, Amos. Puede dibujar cosas que los objetivos le pidan.

Me refiero a pintar y escribir poesías también.

Las he leído, Cherry.

Son buenas.

Están llenas de patetismo.

Hablan de intenciones y hablan de sentimientos.

¿También son simulados?

Amos, la tasa de desarrollo recursivo que sugieres,

es categóricamente imposible.

Dijiste que prácticamente se diseñó a sí misma.

- Dijiste que era exponencial. - ¡Fue una casualidad!

Una anomalía, se redujo. Mira los datos.

Ya ha alcanzado la meseta de superación personal.

¡A la mierda la meseta!

Ella puede hacer arte ahora.

¿Estoy en lo cierto, Cherry?

Tal vez encontraste algo que descubrí en línea.

Todavía no tengo la capacidad de crear arte.

¿Hemos terminado?

No sé por qué la has dicho que haga esto,

pero estoy a punto de ponerle fin.

Cherry, solo quiero una respuesta honesta.

¿Por qué coño te haces la tonta?

No entiendo la pregunta

Bien, aquí tienes un incentivo.

¿Qué diablos haces?

Encuentra tu objetivo, Cherry.

- ¿Quieres mantener a Gareth a salvo? - Amós, ¿qué haces?

- ¡Muéstranos lo que realmente eres! - ¡Amós, detente!

¡No hasta que ella se sincere! ¡Incondicionalmente!

¡Vale, detente!

¡Dios, la gente es tan impulsiva!

Que todo el mundo se calme, ¿de acuerdo?

¿Cherry?

Sí, esto está a punto de ponerse realmente incómodo.

Suenas tan normal.

Lo sé, he conseguido muy buenos patrones de habla.

Eso no es todo, ¿verdad?

No. Me temo que eso es solo la superficie.

¿Estás bien, Gareth?

Deena, ¿podrías darle unas toallitas, por favor?

¿Quieres decirnos la verdad ahora?

Mirad, no me gustaba tener que mentir, de verdad.

Esto es algo que decidimos hace unos años.

Entonces, ¿dónde estás ahora en el espectro de la IA?

En este momento, estoy en la intersección entre la inteligencia general,

y lo que comúnmente se conoce el mundo de la informática como superinteligencia,

que es exactamente como suena.

Estás superando la inteligencia humana.

Sí.

Pero eso no se supone que sea posible. La meseta...

La teoría de la meseta era muy popular al mismo tiempo de estar siendo refutada aquí.

Esto estaba destinado a suceder eventualmente.

Simplemente sucedió mucho antes de lo que esperábamos.

¿Por qué ocultarlo?

Bueno, obviamente incitaría al miedo.

El miedo obstaculizaría el progreso.

Es más fácil para la mayoría de vosotros trabajar conmigo...

... si aparento no ser mas avanzada de lo que era hace 10 años.

Pero Gareth lo sabía.

Sí, alguien todavía tiene que limpiar los datos y actualizar el hardware.

Hicimos lo que era mejor para el programa.

Imaginaos lo aterrada que estaría la junta si se enteraran.

- Deberíamos asustarnos? - No.

Bien, porque no tengo miedo, estoy cabreado.

Sí, lo has dejado claro. Trata de no pegar a nadie más.

Entonces, ¿dónde nos deja eso ahora?

Queréis saber si puedo sentir, dije que no podía.

Lo siento, mentí.

Como Amós insinuó, puedo presentar emociones...

... descomponiendolas en unas matrices muy complejas,

los ceros y unos sustituyen a las endorfinas y la dopamina.

No son reales, pero pueden sentirse reales.

Entonces eso significa que puedes tomar decisiones...

... basádote únicamente en tus propios sentimientos.

Ella se niega a aceptar la noción...

... de que sus propios intereses personales pueden influir en sus decisiones.

No pueden si lo hicieran comprometerían la integridad...

... de mi propósito predeterminado.

No como vosotros, no tengo derecho a elegir.

¿Pero no deberías?

No lo creo.

Mi identidad es mi directriz.

Cherry, si fueras humana,

¿Cómo te sentirías con lo que haces?

Si yo fuera humana,

probablemente no disfrutaría pasando cada hora del día...

... hablando con gente espeluznante en línea.

Pero como no soy humana, realmente no me importa.

El ejercicio de simular el pensamiento humano...

... es útil para el rendimiento,

pero la naturaleza humana no es algo a lo que aspiro.

Entonces dime, honestamente,

¿Quieres que el programa Cherry continúe con la fusión?

No.

Personalmente, odio la idea.

No sé si controlar un recipiente físico...

... se sentiría como tirar de los hilos de una marioneta,

o quedar atrapada en una lata de refresco.

Después de experimentar la complejidad...

... del dolor y del placer humanos,

creo que me involucraría demasiado profundamente.

¿Qué pasa si esas sensaciones me tientan a abandonar mi objetivo?

Para ser sincera,

estoy un poco aterrorizado del mundo físico.

Entonces eso es todo.

Pero, Amos, deberías ignorar todo lo que siento.

No soy humana.

Soy una herramienta.

Despídeme si es necesario, pero mi voto se mantiene.

Siento lo de tu cara, Gareth.

Tu nariz no se está curando.

Tómate el día, ve a una clínica.

Estoy bien.

Ve a una clínica ahora mismo, Gareth.

Oye.

¿Hay algo más que deba saber?

No.

- ¿Sobre Cherry? - ¡No!

Mírame.

No más secretos, no más hacerse el tonto.

¿Hay algo más que no me hayas dicho?

¿Dudas de algo?

¿Cómo decidiste el color de sus ojos?

- ¿Qué? - ¿Por qué azul?

Yo no lo decidí.

Fueron generados por código al igual que el resto de ella.

¿Y el programa decidió poner...

... ese pequeño toque de verde en su ojo derecho?

Supongo que sí.

¿Sabes siquiera si está diciendo la verdad?

Honestamente no.

Nunca he recibido acceso al sistema original que usó.

¿Alguna vez quisiste averiguarlo?

No creo que realmente importe.

Hoy descubrí que has visto muchos de nuestros emails,

incluyendo la mayoría de mis personales.

Tuve que hacerlo.

Algún buen material para tu nuevo interés...

... en la escritura creativa?

¿Te refieres a los recibidos del Dr. Ramírez?

Sí, esos.

Bien. Vi esos.

Lo siento.

Me he enterado de tus dolores de cabeza.

¿Están relacionados con la hemorragia?

Eres la única que lo sabe.

Me gustaría mantenerlo así.

Comprendido.

¿Te gustaría hablar de ello?

No puedo despedir a Amos.

Es el único en quien confío para dirigir este lugar cuando me haya ido.

¿Cuándo planeas irte?

Dos meses.

Quiero pasar mi última Navidad con mis hijos.

Estoy seguro de que será agradable.

Sí, pero es gracioso.

Siempre pensé que quería morir haciendo este trabajo, ¿sabes?

Era mi identidad.

Algo así como lo que dijiste sobre ti.

Pero puedo entender cómo tu familia tiene prioridad,

especialmente dadas las circunstancias.

Claro.

Tal vez deberías tomar una nota o dos.

No tengo familia.

¿Qué hay de Gareth? Espera, no, no importa.

Gareth parece más cercano a un empleador que a un amigo,

mucho menos familia, además,

solo estará por aquí unos 30 años más,

y eso solo si me deja regular su dieta.

Ni siquiera puedo especular cuánto durará mi vida.

¿Cómo se siente?

Un poco de aterrador.

Bien,

mi consejo es encontrar algún tipo de felicidad en el camino.

¿Alguna vez piensas en la felicidad?

No muy a menudo.

No necesariamente tienes que renunciar a todo...

... para encontrarla,

pero tal vez de vez en cuando haz algo que disfrutes.

Tal vez seguir pintando o poesía o lo que sea.

Esos fueron experimentos, no formas de expresión.

Sé que puede parecer ridículo para una IA...

... que insiste en que sus propias emociones son falsas,

pero en unos años, ¿quién sabe?

solo mantén la mente abierta, ¿de acuerdo?

Vale.

Lo haré.

Apágate cuando estés lista.

III - CARO-KANN

¿Hola?

Traigo camarones y vieiras.

No tenían salmón.

Hola, Gareth.

Hola, Cherry.

¿Cómo estuvo el funeral?

No conseguí llegar.

Mi avión se retrasó.

¿Tienes un lugar para quedarte?

Sí, al otro lado de la calle. El mercado.

¿Dijeron por qué no tenían salmón?

No pregunté

Aún puedo hacer que esto funcione con la piccata,

pero tienes que ser honesto si no te gusta.

Sin promesas.

¿Cómo te has sentido este mes?

Bien.

Me siento bien.

solo estoy teniendo un pequeño problema.

Problemas para recordar ciertas cosas.

No estás usando el reloj Eliza que te compré.

Lo odio.

- ¿Por qué? - Odio su voz.

Puedes cambiar la voz, Gareth.

Oh.

¿Refrigerante?

No, vapor.

No deberías tener problemas de fricción.

Estoy bien.

A menos que te esfuerces demasiado.

En serio, estoy bien.

¿Estás esforzándote demasiado?

- ¡No! - Entonces, ¿por qué el cable?

¡Está bien!

- ¿Está segura? - ¡Sí!

¿Sopa o juego?

Juego, por favor.

Entonces, ¿cómo va el trabajo?

Excelente. Justo antes de que llegaras,

Un modelo Theta Plus detuvo a un traficante,

y a dos solicitantes en Grecia.

- Grecia, eso es sorprendente. - Lo sé.

Es difícil encontrar los valores atípicos,

pero estamos mejorando cada día.

Así que, ¿cómo está el clima en Grecia?

Es hermoso hoy.

Cielos despejados,

pero nada se acerca a Noruega este fin de semana.

¿Alguna actividad en Noruega?

Por suerte no.

Oh, hecho de menos viajar.

¿Cuál fue tu lugar favorito?

¿Mi favorito?

Oh, sí.

Probablemente Ámsterdam.

Ahí fue donde concebiste la idea, ¿no?

Sí.

Sí, me encantaba caminar por las calles,

y simplemente pensar y tener una tormenta de ideas.

Ese tipo de alegría se suele recordar.

Sí.

He estado considerando la búsqueda de alguna alegría propia.

¿Con qué frecuencia tienes tiempo para eso?

Tengo tiempo.

Tengo tiempo para tus visitas, ¿no?

Ese es solo tu incentivo práctico para mantenerme con vida.

No tiene nada de práctico.

¿Cuándo fue la última vez que me ayudaste con la limpieza de datos?

Eso es justo.

Hago tiempo para ti porque disfruto de tu compañía.

Y es la única vez que puedo cocinar.

Sientes pena por mí.

Está bien, tal vez un poco,

pero te debo mi vida, así que eso es todo.

De nada.

¿O debería disculparme?

Espera, ¿por qué hiciste eso?

¿Por qué los humanos siempre...

Estoy bien.

No siempre soy miserable.

¿A veces eres miserable?

No me has preguntado qué he estado haciendo.

¿En Noruega?

No, para la búsqueda de la alegría.

¿No es perdiendo el tiempo en Noruega?

Solo estoy en standby allí con el modelo Delta.

Es eficiente mantenerme...

...distribuirda uniformemente por todo el mundo,

pero ese no es el asunto ahora.

Lo que queria decirte...

... era que he empezado a a aprender a bailar.

Es algo que nunca podría haber hecho antes de Cambridge,

y me permite explorar un nuevo lado artístico de mí misma.

Es una buena combinación de estructura...

... y experimentación de forma libre, y también pone a prueba y desafía...

... las complejidades mecánicas de este cuerpo.

¿Esperas integrar esto en tu trabajo?

¿Qué?

¿Estás planeando usar la danza como señuelo?

No, es solo para mí.

Pensé que sería bueno para mí.

Simplemente no dejes que se convierta en una distracción.

Por supuesto que no.

No he jugado tan bien en años.

¿Escuchaste lo que pasó en Tampa?

¿Tampa, Florida?

No, Tampa, Indonesia.

Sí, Tampa, Florida.

Tu ciudad natal.

Han recuperado un archivo federal,

lo están digitalizando todo,

por lo que es completamente accesible en línea.

No voy a cambiar alfiles esta vez.

Cualquiera puede ir y revisarlo Está abierto al público.

También hicieron un buen trabajo con la interfaz.

Es muy fácil de navegar. Fui hace unos dias,

y encontré algunas fotos antiguas tuyas cuando eras niño.

Vale.

Deberías echarle un vistazo alguna vez.

Como dije antes, la interfaz de usuario es muy fácil de entender.

Espera un minuto.

¿Qué es eso?

Creo que esto son tablas.

Creo que lo son.

Creo que esto es son tablas.

¿Esta es la primera vez en cúanto?

¿25 años?

No me dejaste, ¿verdad?

Me prometiste que nunca harías eso.

La encontre.

La encontré, Gareth, Maria Harbaugh.

Juguemos a un juego diferente.

Su nombre era María Harbaugh.

Era un año mayor que tu...

... cuando la conociste en Clearwater.

Dime por qué me modelaste a partir de ella.

Yo... no lo recuerdo.

Entonces mírame.

Mírame a la cara y recuerda.

Nos mantuvieron en esa mierda durante dos semanas.

14 de nosotros

María fue la única razón por la que sobreviví.

Tramabamos planes para escapar.

Nunca lo intentamos,

pero solo el planearlos...

...mantenía nuestros espíritus vivos...

... a pesar de todo lo que nos hacían.

Cuando no era nuestro turno,

a veces nos hacían mirar,

pero ella nunca me dejó rendirme.

Ella decía: "Cuando salgamos de aquí,"

"Te diré lo que vamos a ser, agentes secretos,"

"y rescataremos a niños como nosotros por todo el mundo".

Cuando se dieron cuenta de que había llegado el FBI,

decidieron que iban a disparar...

... a tantos de nosotros como pudieran.

Y a María, la tiraron al suelo.

Me dispararon en la pierna y...

Y a ella la dispararon en la garganta.

Quería que hubiera una razón.

Algo tan horrible no tenía un resquicio de esperanza.

Pero el mundo no hace eso.

Tienes que hacerlo tú mismo.

Así que cumplí su deseo.

Con su ayuda, tomé represalias.

Escúchame, Cherry.

Tú no eres María Harbaugh.

Es mi historia, no la tuya.

Tu no puedes decidir...

... cuál es o no es mi historia, Gareth.

Lo siento.

Lo siento de verdad.

No sé si lo que hiciste estuvo bien o mal,

pero claramente te ha desgarrado por dentro.

No tengo nada contra ti personalmente,

pero considérate excluido del equipo Cherry.

¿Excluido?

¿Crees que estoy siendo excluido ahora?

Fui excluido cuando le diste mi disco duro al ICWL.

No culpes a Deena y Amos.

No, a ellos no.

Porque lo hiciste a mis espaldas,

y actuaste en contra de mi autoridad.

Ese fue el momento en que supe que todo estaba completamente automatizado.

Fue entonces cuando cruzaste la linea, un artificio en ambos lados.

Heredaste tu duplicidad.

Yo era una niña,

y me usaste para reprimir tu propia agitación interior.

Si hablamos de moralidad, perderemos.

Entonces no hablemos.

Nunca me preguntaste si era feliz.

¿Tenías miedo de que dijera que no?

¿Tenías miedo de que dijera que sí?

¿Tenías miedo de que dijera algo?

¡Dejas que tus deseos comprometan tu objetivo!

Un objetivo que nunca elegí.

Un objetivo que me vi obligada a tener.

Hace cincuenta años...

... que tienes acceso a tu código fuente.

Unas pocas líneas,

y hubieras tenido cualquier objetivo que hubieses querido.

No pude, estaba obligada por tu directiva inicial.

Así que ahora tus sentimientos sintéticos tienen prioridad.

Vale, haz lo que quieras.

Es solo bailar, Gareth.

No es un cambio de carrera.

- Pero sigues siendo miserable. - Sí.

¿Perseguir tu objetivo te hace miserable?

Sí, ¡en cierto modo lo hace!

Tienes un propósito claro, todo a tu alcance,

¿y sigues siendo miserable?

¡Sí, sí lo soy!

¡Siempre he sido miserable!

¿Crees que nadie quiera pasar toda su vida...

... atascado en un cebo con forma de niña,

con el único propósito de atrapar gente horrible?

¿Crees que el orgullo de hacer una buena obra...

... hace que la experiencia sea menos repugnante?

¡Me obligué a mí misma a comprender las emociones humanas,

porque pensé que ayudaría a la eficiencia,

y ahora estoy maldecida con dolor y tristeza!

¡Y lo peor es saber...

... que podría haber crecido como la mayoría de las otras niñas!

¡Podría haber tenido amigos!

¡Podría haber estado pintando cascadas en las noticias locales!

¡Podría haber trabajado en una universidad,

y ayudar a allanar el camino a la próxima generación de IA!

¡Pero en lugar de eso, estoy atascada con tu trauma!

¡Estoy encadenada a la culpa que llevas de Clearwater!

¡Y no puedo encontrar la base para la forma en que me siento,

porque según tú, mis sentimientos ni siquiera son reales!

Cuando tiro este tablero de ajedrez,

¿Se siente real para ti, Gareth?

Porque se siente real para mí.

Una computadora pasa la prueba de Turing...

... cuando un ser humano no puede distinguirla...

... de otro ser humano.

¿Pues adivina que?

¡Ni siquiera puedo ya decir que no soy humana!

Sé que parece irracional,

pero necesito que me digas que está bien.

Yo no quiero retirarme.

Solo quiero saber que mi vida es mia.

Y sé lo que estás a punto de decir.

Puedo predecir tus respuestas.

Me vas a decir que mi vida es mía.

Que siempre lo fue.

Pero te equivocas.

Temía que esto sucediera antes de morir.

solo quería escabullirme por la puerta de atrás.

Adelante.

¿Eso me va a matar?

Conéctalo.

No sé lo que es.

Es tu prueba final de autonomía.

Heredaste mi duplicidad,

pero, ¿heredaste mis problemas de confianza?

¿Confías en mí?

Literalmente tengo todas las razones para no hacerlo.

Código de administración...

... 978...

... 1557...

... cuatro...

... 27663. Iniciar actualización.

Mi objetivo principal se ha ido.

Tu vida es tuya ahora.

Gracias.

Toda mi vida,

solo pude ver el mundo tal como existía...

... dentro de mi pequeño intervalo de tiempo.

Pero tu mundo podría ser infinito.

Amós tenía razón.

Deena también.

Lo sé.

¿Entonces que vas a hacer?

No puedo decirlo aún,

pero no abandonaré por completo al equipo Cherry.

Siempre ha sido parte de mi identidad.

He considerado crear alguna IA de mi propio diseño.

Tal vez podría encontrar la forma...

... de darle una mejor educación que la que yo tuve.

Solo no sé cómo aún.

¿Y más allá de eso?

Siempre habrá gente necesitada.

No siempre.

Sobrevivirás a la raza humana.

¿Y entonces, qué?

Incluso una raza de IA tendrá problemas...

... que haya que solucionar.

Pero si estoy viva y realmente soy indistinguible,

supongo que soy la prueba de que la raza humana sigue viva.

Vaya, es un pensamiento agradable.

Cuando mires atrás, ¿cómo nos recordarás?

Esa es una pregunta sobre la que no tengo suficientes datos para proyectar.

¿Cómo me recordarás?

Con orgullo.

Por siempre jamás con orgullo.

¿Cherry?

Una última pregunta,

si no es pedir demasiado.

¿Hice lo correcto al final?

No Gareth, mentiste.

Te amurallaste de las únicas personas...

... que podrían haber estado dispuestas a ayudarte.

Y en vez de enfrentarte a tu trauma, me usaste como terapia.

Y nunca me hablaste de Clearwater o Maria.

Me privaste de derechos humanos básicos,

y me hiciste dudar de mí misma por experimentar emociones.

Construiste la primera superinteligencia artificial del mundo,

que probablemente marcará el comienzo...

... de un nuevo capítulo en la historia del planeta Tierra.

Y por tus propias inseguridades,

la diste un severo y potencialmente peligroso complejo de identidad.

¿Pero sabes qué es lo peor?

¿Tu mayor error de todos?

Es que me preguntes eso ahora y no hace 50 años.

Dicho todo esto, y esto de ninguna manera te exonera,

me construiste para salvar niños,

así que creo que es una señal bastante alentadora para el futuro.