Desde dentro de la industria

Right to Warn

Carta abierta de personas que han trabajado cerca del desarrollo de IA avanzada y piden canales seguros para alertar de riesgos.

Qué es

A Right to Warn about Advanced Artificial Intelligence es una carta abierta publicada el 4 de junio de 2024 por trabajadores y extrabajadores de empresas de IA avanzada, entre ellas OpenAI y Google DeepMind. Algunos firmantes aparecen de forma anónima por miedo a represalias.

No es una organización clásica ni una voz individual. Es una intervención colectiva sobre una cuestión concreta: si las personas que conocen riesgos desde dentro pueden hablar con reguladores, expertos independientes y ciudadanía cuando las vías internas no bastan.

Resumen en español

La carta sostiene que la IA avanzada puede traer beneficios importantes, pero también riesgos graves: aumento de desigualdades, manipulación, desinformación, concentración de poder y pérdida de control sobre sistemas autónomos. Su tesis principal no es que haya que detener toda IA, sino que las empresas no deberían controlar por completo qué información llega al debate público.

El texto pide cuatro compromisos a las compañías: no usar acuerdos de confidencialidad o no desprestigio para silenciar críticas sobre riesgos; crear canales anónimos y verificables para informar a consejos de administración, reguladores y organizaciones independientes; fomentar una cultura de crítica abierta; y no tomar represalias contra quienes comuniquen riesgos relevantes cuando otros procesos hayan fallado.

No he encontrado una traducción oficial al español. Este resumen es una síntesis propia para orientar la lectura; la referencia principal sigue siendo la carta original en inglés.

Qué aporta

Aporta una idea sencilla y potente: la transparencia sobre IA no depende solo de informes públicos o promesas corporativas. También depende de que quienes trabajan dentro puedan advertir de riesgos sin perder empleo, reputación, compensaciones económicas o futuro profesional.

La carta desplaza el debate desde la pregunta "qué riesgos existen" hacia otra más institucional: quién puede hablar de esos riesgos, con qué protección y ante quién. Eso la hace relevante para pensar auditoría, supervisión externa, protección de alertadores y límites de la autorregulación.

Qué observar

Conviene observar que la carta mezcla riesgos presentes, como sesgos, desinformación o manipulación, con riesgos de largo plazo, como pérdida de control de sistemas autónomos. Esa mezcla puede resultar incómoda: para algunas personas da urgencia; para otras, puede sonar extrema.

También es importante leer quién firma y quién respalda. Que haya personas anónimas indica miedo a represalias, pero también limita la posibilidad de evaluar todos los contextos. Que la respalden figuras como Yoshua Bengio, Geoffrey Hinton o Stuart Russell le da peso, aunque no convierte la carta en consenso científico.

Pregúntate

  • ¿Qué información sobre riesgos de IA debería ser pública aunque afecte a intereses comerciales?
  • ¿Qué canales deberían existir para alertar sin revelar secretos técnicos innecesarios?
  • ¿Hasta dónde puede llegar la autorregulación cuando hay incentivos económicos muy fuertes?
  • ¿Cómo distinguir una alerta responsable de una filtración dañina o interesada?
  • ¿Qué protección necesita una persona que denuncia riesgos aún no regulados por la ley?

Referencias

Fuente original

A Right to Warn about Advanced Artificial Intelligence

Carta abierta publicada en inglés con firmantes, principios solicitados y referencias citadas por el propio colectivo.

Leer carta original
Contexto periodístico

Ars Technica

Artículo de contexto sobre la carta, los firmantes y la petición de protecciones para trabajadores que alerten de riesgos.

Leer contexto