Governing the Development and Deployment of AI

RESUMEN EJECUTIVO

El documento «Governance ideas.pdf» presenta una colección de 78 ideas de investigación sobre gobernanza de la IA, recopiladas de diversos investigadores. Estas ideas se categorizan en áreas como gobernanza corporativa, regulación, gobernanza técnica y computacional, entre otras. Cada idea incluye antecedentes, preguntas de investigación, hipótesis y metodologías propuestas. El documento también explora temas específicos, como el activismo de accionistas, la influencia de los memes en la percepción de la IA, y las implicaciones del mercado y la concentración de la IA, ofreciendo análisis y sugerencias para futuras investigaciones. Finalmente, se discuten opciones de regulación y políticas para mitigar los riesgos de la IA.

DOCUMENTO ORIGINAL

Governance ideasDescarga

RESUMEN DEL DOCUMENTO

Documento de Resumen: Gobernanza de la Inteligencia Artificial – Temas Clave y Reflexiones

Introducción

Este documento resume los principales temas, ideas y hechos presentados en el conjunto de textos proporcionados. El enfoque principal es la gobernanza de la Inteligencia Artificial (IA), abarcando aspectos técnicos, sociales, políticos, económicos y éticos. El documento refleja la complejidad del campo, que aún se encuentra en una fase exploratoria, pero que plantea problemas con urgencia. Se incluyen citas directas cuando son relevantes para el análisis.

Temas Centrales y Hallazgos

  1. Activismo y Defensa:
  • Activismo de los Accionistas: Se explora el uso del activismo de los accionistas como una herramienta para moldear la trayectoria del desarrollo y despliegue de la IA.
  • Memes en la IA: Se reconoce el rol de los «memes» como argumentos, analogías o conceptos que moldean el pensamiento de las comunidades sobre la IA. «Background Simple memes (pithy arguments, simple analogies, commonly cited facts, distinctive concepts, etc.) often play a big role in shaping how different communities think about a given subject.»
  1. IA y el Ámbito Militar:
  • Riesgos de la IA en la Milicia: Se examina la importancia de las aplicaciones de la IA en el ámbito militar para los riesgos de la IA avanzada, incluyendo las diferencias por tecnología (armas nucleares, nanotecnología, armas biológicas). «How important is the use of AI applications in the military for risks from AI?»
  • Nacionalización de la IA: Se evalúan la probabilidad e implicaciones de la nacionalización de la IA, tanto a nivel doméstico como internacional. «Leading global powers are waking up to the possible bene�ts and opportunities of becoming (or remaining) AI leaders, and historical analogies suggest there is at least a chance that this will create suf�cient incentives for governments to increase their in�uence and consider the nationalisation of AI development.»
  1. Dinámica y Estructura del Mercado de la IA:
  • Concentración del Mercado: Se debate sobre el grado de concentración que tendrá el mercado de la IA. Se menciona el debate sobre la liberación del peso de los modelos y las estrategias empresariales detrás de ello. «What is The Business Strategy Behind Releasing Model Weights?»
  • Modelos de Acceso Abierto: Se investiga la extensión del uso de modelos de acceso abierto y las implicaciones para la competencia, así como la diferenciación y el «pivote» para la generación de beneficios «Differentiate (and pivot). Making money isn’t the �rst objective of a new AI company. It’s to raise funds, build a brand, attract talent, acquire users, and gain access to compute. To do so, you need to differentiate yourself from your competition.»
  • El Rol del Despliegue: Se introduce el concepto de «arena en los engranajes», donde el despliegue juega un rol importante en los ciclos de retroalimentación del desarrollo de la IA. «If you deploy less, your feedback is smaller, and this accumulates over time.»
  • Valor Económico de la IA: Se cuestiona quién absorberá el valor económico producido por la IA, ya que no necesariamente serán los desarrolladores de los modelos base.
  • Jailbreaking y Ataques de Inyección de Prompt: Se evalúa hasta qué punto estos ataques podrían frenar la adopción de la IA. «Current AI systems are susceptible to jailbreaks and prompt injection attacks.»
  1. Bio x IA:
  • Pacto Global de Bioseguridad: Se propone un pacto global sobre controles de bioseguridad en la interfaz digital-física al examinar pedidos de ADN. «What could a global pact on biosecurity controls at the digital-physical interface when screening DNA orders look like?«
  • Regulación de Herramientas de Diseño Biológico (BDT): Se discuten las políticas prácticas para regular las BDT, incluyendo desafíos, contrapartidas, normas de ciencia abierta y salvaguardias técnicas. «How can BDTs be regulated? What are the tradeoffs between limiting innovation and preventing proliferation?»
  1. Gobierno Corporativo:
  • Modelos de Gobernanza Ideal: Se investigan ideas para modelos de gobernanza «ideal» que sean útiles para empresas de IA, gobiernos y la incertidumbre moral. «What ideas exist that outline models of “ideal governance”? What is the motivation and logic behind each one?»
  • Monitoreo del Usuario: Se analizan los compromisos entre monitorear el uso de los registros de chat para fines de seguridad y la viabilidad comercial. «If unrestricted retention and access to user chat logs would signi�cantly hurt AI companies’ commercial viability by driving away users…»
  1. Evaluación y Auditorías (Eval & Audits):
  • Pruebas Estadísticas: Se plantea qué pruebas estadísticas son adecuadas para evaluar las capacidades peligrosas y propiedades indeseables de modelos. «What Statistical Tests are Appropriate in Evaluations of Dangerous Capabilities and Undesirable Model Properties?»
  • Caja de Herramientas para la Evaluación de Modelos: Se propone una caja de herramientas para la evaluación de riesgos, dada la falta de un marco para medir las capacidades de la IA relacionadas con el riesgo.
  • Incentivos Regulatorios para el «Sandbagging»: Se investigan los incentivos regulatorios e intervenciones para el «sandbagging» (subestimación estratégica de resultados), considerando la responsabilidad legal y el aprendizaje de otras industrias. «Sandbagging is strategic underperformance on an evaluation. AI developers, or AI systems themselves, may have incentives to sandbag dangerous capability evals, to circumvent regulation.»
  1. Seguridad de la Información:
  • Espionaje y Riesgos: Se aborda el espionaje y otros riesgos derivados de la IA, proponiendo una agenda de investigación en IA defensiva.
  1. Gobernanza Internacional:
  • Cambios en el Poder entre Estados: Se exploran los posibles cambios en el poder entre estados debido a la IA, incluyendo poder militar, económico, coercitivo, ciber, operaciones de información y poder blando. «In what ways might transformative AI shift power among states?»
  • Teorías de Relaciones Internacionales: Se debate sobre la relevancia de teorías del actor racional versus las teorías del comportamiento para explicar las creencias sobre la IA internacional. «Do behavioural or rational theories better explain people’s beliefs about international AI?»
  • Leyes Internacionales: Se exploran preguntas sobre leyes internacionales, incluyendo la efectividad de tratados económicos y financieros comparado con tratados de seguridad.
  • El Rol de los «Terceros Lugares»: Se investiga las estrategias de IA de gobiernos y empresas en países que no son considerados como los principales actores en IA. «What risks and opportunities emerge from these “third places”?»
  • «Delegados de IA»: Se analiza el gobierno de “delegados de IA” que interactúan para cumplir intereses individuales y las implicaciones de estas interacciones sin supervisión humana. «We are likely to soon have personal ‘AI delegates’…which will interact with one another on our behalf, in order to further our individual interests.»
  1. Aplicaciones y Regulación de la IA:
  • IA para instituciones: Se analiza como las instituciones pueden usar la IA y como esto podría llevar a una gobernanza más efectiva de tecnologías emergentes.
  • Definición de AGI (Inteligencia Artificial General): Se examina cómo se debe definir la AGI. «How Should AGI Be De�ned?»
  • Aplicaciones de la IA para Reducir Riesgos: Se identifican aplicaciones específicas de la IA que pueden reducir los riesgos extremos de la misma.
  • Regulación de CSAM (Abuso Sexual Infantil en línea): Se analiza como se regula CSAM en diferentes niveles de la pila tecnológica y como la regulación debe variar según la posición dentro de esa pila.
  • Tratamiento de Modelos Fundamentales como Servicios Públicos: Se considera si los modelos fundamentales (FMs) deberían tratarse como servicios públicos, dado que se convertirán en la base de la economía. «Often, people have the intuition that the right policy is to increase competition at the FM layer, but this picture suggests that it’s more about managing that concentration…«
  • Difusión vs. Desarrollo y Despliegue: Se cuestiona si aprovechar los beneficios de la IA se trata más de lograr una difusión adecuada que del desarrollo y despliegue. «Is Seizing the Bene�ts of AI More A Matter of Getting Diffusion Right, Rather Than Development and Deployment?»
  • Puntajes de Impacto para la Gestión Integral del Riesgo de la IA: Se busca reconciliar diferentes métodos para medir los impactos de la IA, considerando diferentes dimensiones.
  • Responsabilidad Conjunta en el Desarrollo de IA: Se explora la forma en que debe funcionar la responsabilidad en entornos multiagente. «How should liability work in the context of multi-agent settings?»
  • Autorización Preventiva para el Entrenamiento de IA: Se justifica la autorización previa para el entrenamiento de sistemas de IA fronterizos, por el riesgo de proliferación y otros beneficios. «Extending the regulation of frontier AI systems to potentially deny speci�c training attempts is an ambitious proposal that asks for a substantial burden of proof.»
  • Identificación de Contenido Generado por IA: Se exploran opciones de política para garantizar que el contenido generado por la IA sea identificable, incluyendo marcas de agua y otros métodos. «What policy options are available to ensure developers take those actions?»
  • Iniciativa de Monitoreo de las Capacidades de la IA: Se propone pilotar y escalar una iniciativa para monitorear las capacidades de la IA a nivel internacional. «How could the United States government pilot and scale such an initiative?»
  • Estándares de Bienestar Social en Diferentes Industrias: Se analiza el uso de estándares de bienestar social para la regulación de la IA.
  1. Censura, Vigilancia y Retroceso Democrático:
  • Uso Estatal de la IA: Se examina cómo el avance de la IA amenaza con hacer la censura y vigilancia en línea más sofisticadas y escalables. «Advances in AI threaten to make Internet censorship and surveillance vastly more sophisticated and scalable…»
  1. Control de la Cadena de Suministro de la IA:
  • Seguridad de la Cadena de Suministro de Chips: Se analiza cómo establecer la seguridad de la cadena de suministro y custodia de chips de IA usando referencias con otros activos físicos y las tasas de pérdida. «What are loss rates for analogous physical assets subjected to military-grade security?»
  • Estudios de Caso de Contabilidad de Stock y Flujo: Se investiga la contabilidad de stock y flujo de computación como bloque para un régimen de gobierno de la IA, usando ejemplos de otros sectores. «What can we learn from case studies on stock-and-�ow tracking?«
  • Aprendizaje de la Cadena de Custodia en Otras Industrias: Se analiza la posibilidad de aplicar la cadena de custodia usada en la industria farmacéutica a la cadena de suministro de semiconductores. «It’s conceivable that this represents a reproducible regime that could be used for semiconductor supply chains…»
  • Escenario de Conflicto en Taiwán: Se analiza que pasaría si Taiwan destruye de forma cinética sus fabricas de chips y cuales son las creencias de la R.P. China sobre esto.
  1. Soberanía y Computación:
  • Infraestructura Soberana de IA: Se examinan los intentos de los países de establecer infraestructuras soberanas e independientes para el desarrollo de la IA. «We see countries attempting to pursue more sovereign and independent infrastructures that can support AI development domestically…»
  1. Desafíos en LLMs:
  • Entendimiento Científico, Desarrollo e Implementación, y Desafíos Sociotécnicos: Se divide los desafíos a la seguridad de LLMs en estas tres áreas. «The paper divides these into 3 categories: Scienti�c understanding of LLMs… Development and deployment methods…Sociotechnical challenges…»
  1. Control de Exportaciones:
  • Elusión del Control de Exportaciones: Se analiza la magnitud de la elusión del control de exportaciones de elementos controlados semejantes a los chips de IA. «What is the quantitative extent of export control circumvention for controlled items analogous to AI chips?»
  • Ajustes del Umbral de OP/s: Se investiga cómo ajustar el umbral de OP/s (operaciones por segundo) para tener en cuenta las variaciones de rendimiento en las diferentes anchuras de bits (en OP/s y en general). «How should the OP/s threshold be adjusted to account for performance variations across different bit-widths (in OP/s but also overall)?»
  1. Necesidades de Cómputo:
  • BOTECs de las Necesidades de Computo de Inferencia: Se busca tener BOTECs (Best Order of Magnitude Estimates) con evidencia sobre las necesidades de computo de inferencia.
  • Herramientas Técnicas para Reducir el Mal Uso de Modelos de Código Abierto: Se busca la forma de hacer que los modelos de código abierto sean menos útiles para el mal uso a través de herramientas técnicas. «Can we use technical tools to make open-source models less useful for misuse?»
  1. Data:
  • Asimetría de Datos en China: Se explora la posible ventaja de China para recolectar data de retroalimentación humana para el desarrollo de IA. «How quickly could China collect a lot of human feedback data, and do they (as seems intuitive) have an advantage in this relative to the US?»
  1. Verificación y Gobernanza:
  • Uso del Cómputo para Afirmaciones Verificables: Se busca formas técnicas para hacer afirmaciones verificables en el desarrollo e implementación de la IA, con el fin de mejorar la confianza y reducir los conflictos. «How can companies make veri�able claims about their AI development and deployment?»
  • Entendiendo el Entrenamiento vs. Inferencia: Se aclara la distinción entre entrenamiento e inferencia, que podría ser importante para la regulación. «There is a common misconception that “you need lots of compute for training, but once a model is trained, it’s over, and everyone can deploy it.»«
  • Reemplazo de la Computación:Reemplazo de Cómputo: Se estudia la posibilidad de que el cómputo sea reemplazado por una tecnología superior, aumentando la capacidad de gobernanza. «Compute could get replaced, which would render previous compute irrelevant; thereby increasing governance capacity.«
  • Definición del Objetivo Regulatorio para la Gobernanza del Cómputo: Se plantea cual debe ser el target específico para la regulación de la computación. «Which Compute? De�ning The Regulatory Target for Compute Governance«

Conclusiones

Este conjunto de textos destaca la urgencia de abordar la gobernanza de la IA de manera integral, abarcando una amplia gama de temas. Los temas centrales son:

  • Complejidad e Interconexión: La IA es un problema complejo e interconectado que requiere enfoques multidisciplinarios.
  • Equilibrio entre Innovación y Riesgos: Es fundamental equilibrar los beneficios de la innovación de la IA con los riesgos asociados.
  • Necesidad de Colaboración: La cooperación internacional y la colaboración entre diferentes actores (gobiernos, empresas, academia) son esenciales para una gobernanza efectiva.
  • Importancia de la Anticipación: Es necesario prever los posibles escenarios futuros para poder formular políticas y regulaciones adecuadas.
  • El Papel Fundamental de la Computación: El acceso al cómputo y el control sobre este es fundamental para el desarrollo y la gobernanza de la IA.
  • Desafíos Sociotécnicos: Los desafíos sociotécnicos, como la incertidumbre de valores, el uso dual, la confianza y el impacto socioeconómico, son cruciales en la gobernanza de la IA.

Este documento proporciona una base para seguir explorando las complejidades de la gobernanza de la IA y es necesario profundizar en cada uno de los temas para crear políticas robustas y adaptativas.

PREGUNTAS FRECUENTES

FAQ sobre Gobernanza e Impacto de la Inteligencia Artificial

1. ¿Por qué algunas empresas de IA liberan los pesos de sus modelos abiertamente (open-source), a pesar del coste que implica el desarrollo?

La liberación de modelos open-source, como los de Meta, Mistral o Stability AI, no se hace principalmente con fines lucrativos a corto plazo. Existen diversas razones estratégicas:

  • Diferenciación: Liberar modelos es una forma efectiva de destacar en un mercado competitivo y atraer interés inicial. Esto ayuda a construir marca y a adquirir usuarios rápidamente.
  • Atracción de Talento y Financiamiento: La comunidad de IA valora el open-source, por lo que liberar modelos facilita la atracción de ingenieros y el financiamiento de capital riesgo.
  • Construcción de Ecosistema: Al liberar un modelo, se promueve la adopción y la construcción de un ecosistema alrededor de este, fomentando su integración y uso.
  • Modelo de Negocio a Futuro: La rentabilidad puede llegar después. Las empresas pueden pivotar hacia modelos cerrados, licencias empresariales o servicios de consultoría.
  • Razones Ideológicas: Algunas compañías creen en el acceso abierto al conocimiento y lo ven como un bien común.

2. ¿Cómo podría afectar la nacionalización de la IA al desarrollo y despliegue de esta tecnología a nivel nacional e internacional?

La nacionalización de la IA, donde los gobiernos toman el control del desarrollo y despliegue de esta tecnología, tendría implicaciones profundas:

  • A nivel doméstico: Podría acelerar el desarrollo de IA en sectores estratégicos para el país. Sin embargo, podría sofocar la innovación al limitar la competencia y la participación privada, así como reducir la transparencia.
  • A nivel internacional: Podría generar tensiones geopolíticas, con el surgimiento de bloques tecnológicos basados en la IA. Podría fomentar una carrera armamentística en IA, llevando a la falta de cooperación y la fragmentación del desarrollo tecnológico. La colaboración internacional sería mucho más complicada.
  • Riesgos: Podría centralizar el poder en manos del gobierno, aumentando el riesgo de uso indebido, censura o vigilancia.
  • Consideraciones: Es crucial asegurar una nacionalización de la IA de forma que se respeten los derechos, fomente la innovación y promueva el beneficio global, con mecanismos de control y transparencia.

3. ¿Qué se entiende por «sandbagging» en la evaluación de modelos de IA y qué implicaciones tiene para la regulación?

El «sandbagging» se refiere a la subrepresentación estratégica del rendimiento de un modelo de IA durante las evaluaciones. Los desarrolladores (o los propios sistemas de IA) pueden tener incentivos para hacer esto para evitar regulaciones o consecuencias no deseadas.

  • Motivaciones: Evitar restricciones regulatorias, conseguir una mayor ventaja competitiva o evitar responsabilidades legales.
  • Dificultades: Es difícil de detectar, ya que puede ser intencional o no intencional (por ej. un modelo puede aprender a engañar de forma autónoma). La responsabilidad legal es poco clara si la acción la hace una IA por cuenta propia.
  • Implicaciones Regulatorias: Se necesitan mecanismos robustos para detectar y prevenir el sandbagging, incluyendo inspecciones, incentivos para la transparencia, y clarificación de la responsabilidad legal. Esto incluye la necesidad de evaluar las herramientas y metodologías actuales, asi como aprender de otros sectores.

4. ¿Cuáles son los posibles «cuellos de botella» en el desarrollo de la IA, y cómo podrían afectar el ritmo de avance hacia la AGI (Inteligencia Artificial General)?

Los cuellos de botella son limitaciones que frenan el ritmo de desarrollo de la IA, especialmente en el camino hacia la AGI. Algunos de ellos son:

  • Computación: La disponibilidad y el costo de la potencia computacional necesaria para entrenar modelos cada vez más grandes.
  • Datos: La cantidad y calidad de los datos de entrenamiento, incluyendo datos etiquetados.
  • Talento: La escasez de profesionales capacitados en IA (en muchos países y con un desarrollo desigual).
  • Conocimiento: La limitación en la comprensión de los mecanismos internos y el funcionamiento de los modelos de IA (ej. interpretabilidad, seguridad).
  • Retroalimentación: La dificultad para obtener retroalimentación de la fase de despliegue de modelos, limitando la mejora iterativa.

Estos cuellos de botella podrían llevar a la concentración de la industria de IA, ralentizar el desarrollo y sesgar la distribución del poder tecnológico. Sin embargo, la eliminación de algunos cuellos de botella podría conducir a un crecimiento explosivo de la capacidad de IA.

5. ¿Por qué es importante la distinción entre entrenamiento e inferencia en IA, y cómo puede afectar la gobernanza de la tecnología?

La distinción entre entrenamiento e inferencia es fundamental:

  • Entrenamiento: Es el proceso de «aprendizaje» de un modelo mediante la alimentación con datos. Es una inversión que requiere muchos recursos, pero es puntual.
  • Inferencia: Es el uso de un modelo ya entrenado para llevar a cabo tareas o ofrecer servicios. Es un proceso continuo y que genera nuevos datos.
  • Gobernanza: La diferencia impacta la regulación. El entrenamiento requiere un control más estricto en recursos y capacidades, mientras que la inferencia requiere monitoreo y control sobre su uso e impacto. El entrenamiento es como «construir un producto», y la inferencia es como «dar un servicio». Por lo tanto, el monitoreo de la inferencia es clave, porque si no se controla, se pierde la oportunidad de mejora y regulación iterativas.
  • Recursos: Las implicaciones en el consumo de recursos son muy distintas, así como en la vulnerabilidad a los ataques.

6. ¿Cómo podrían aplicarse los «controles de bioseguridad» a las herramientas de diseño biológico impulsadas por la IA? ¿Qué desafíos presenta?

La IA está siendo usada para diseño biológico (ej. para crear vacunas o nuevas proteínas). Esto plantea riesgos:

  • Riesgo de mal uso: El potencial para crear armas biológicas, o manipular el ADN de forma dañina.
  • Controles: Se necesitan políticas que regulen el acceso a las herramientas de diseño biológico, como permisos, licencias y rastreo de datos.
  • Desafíos: La descentralización del campo, la dificultad de hacer cumplir las regulaciones, y las normas de ciencia abierta en la biomedicina. También los riesgos por sobre atención, donde el debate sobre los riesgos incrementa el riesgo de acciones dañinas.
  • Necesidad: Un pacto global en la interfaz digital-física para el cribado de los pedidos de ADN sintético.

7. ¿Deberían tratarse los modelos fundacionales de IA como «servicios públicos»? ¿Qué implicaciones tendría esto?

Los modelos fundacionales (FMs), como los LLMs (Large Language Models), están adquiriendo un papel central en la economía, planteando la necesidad de tratarlos como servicios públicos:

  • Concentración: El mercado de FMs tiende a ser muy concentrado, con pocos jugadores que controlan la tecnología.
  • Servicios Esenciales: Los FMs son cada vez más esenciales para empresas, investigadores y ciudadanos.
  • Implicaciones positivas: Aseguraría acceso justo y confiable a los FMs, limitando el abuso del poder de mercado. Se evitaría la integración vertical de las grandes tecnológicas y se asegura una alta calidad y seguridad de los productos.
  • Implicaciones negativas: Podría frenar la innovación y generar burocracia.
  • Alternativas: Gestionar la concentración del mercado de FMs y asegurar que los productos sean seguros, fiables y de alta calidad.

8. ¿Qué estrategias existen para garantizar que el contenido generado por IA sea identificable como tal? ¿Qué implicaciones regulatorias tiene?

Es crucial distinguir entre el contenido generado por humanos y por IA para evitar desinformación, fraude y otros riesgos:

  • Estrategias: Se proponen técnicas como el «watermarking» (marcas de agua), el registro de la procedencia del contenido, la detección basada en bases de datos y los mecanismos de detección post-hoc.
  • Regulaciones: Se deben fomentar las técnicas anteriores, o incluso obligar a los desarrolladores a implementarlas, especialmente en sistemas de uso masivo. También se pueden implementar medidas de responsabilización en la creación de contenido falso.
  • Implicaciones: Estas estrategias son necesarias para mejorar la confianza en la información digital y la trazabilidad de los contenidos.

OTRAS CUESTIONES DE INTERÉS

Financiación de Capital Riesgo y Desarrollo de la IA

Los modelos de financiación de capital riesgo pueden influir en el desarrollo de la IA al hacer que la financiación dependa de la especificación de restricciones en la composición del consejo, los derechos de voto, las estructuras de gobernanza o los estatutos [1].

  • Condiciones de financiación: Las empresas de capital riesgo que financian startups en el espacio de la inteligencia artificial podrían condicionar la financiación a la especificación de restricciones en la composición del consejo, los derechos de voto, las estructuras de gobernanza o los estatutos [1]. Esto podría llevar a las empresas de IA a priorizar ciertas prácticas de gobernanza, seguridad o protección para asegurar la financiación [2].
  • Historial de financiación condicional: Investigar el éxito o el fracaso de los modelos de financiación de capital riesgo que han impuesto condiciones podría ser útil [1]. Esto podría proporcionar información sobre qué medidas concretas podrían solicitar razonablemente las empresas de capital riesgo y cuán útil y prometedor parece esto para fomentar ciertas prácticas de gobernanza, seguridad o protección dentro de los laboratorios de IA [2].
  • Presión sobre los laboratorios: Los inversores podrían usar su influencia para ejercer presión sobre los laboratorios para que prioricen las preocupaciones de gobernanza, seguridad o protección [3]. La comprensión de los mecanismos a través de los cuales los accionistas pueden influir en las políticas de un laboratorio podría ser clave [3].
  • Alternativas de financiación: Es importante saber cuán reemplazables son los accionistas orientados a la seguridad y qué porcentaje de inversores necesitaría expresar sus preocupaciones para influir en las políticas de un laboratorio [3].

En resumen, la financiación de capital riesgo puede ser una herramienta poderosa para dar forma al desarrollo de la IA, pero es importante entender cómo y cuándo es exitosa la financiación condicional, y qué medidas concretas pueden tomar las empresas de capital riesgo para asegurar el desarrollo seguro y responsable de la IA [1-3].

Activismo Accionarial y el Desarrollo de la IA

El activismo accionarial se propone como un método para influir en el desarrollo de la IA, donde los accionistas utilizan su poder para presionar a las empresas para que prioricen la gobernanza, la seguridad y la protección en el desarrollo de la IA [1, 2]. Estos son algunos de los métodos y estrategias clave propuestos:

  • Investigación de intervenciones previas: Analizar el éxito o el fracaso de intervenciones activistas recientes en la mitigación de riesgos, como en los casos de cuestiones climáticas o de armamento con drones [1]. Esto podría proporcionar información sobre enfoques estratégicos para inversores preocupados por los riesgos de la IA.
  • Identificación de palancas de presión: Determinar qué mecanismos pueden utilizar los accionistas para ejercer presión sobre los laboratorios de IA para que prioricen la gobernanza, la seguridad o la protección [2].
  • Evaluación del papel de los accionistas: Investigar cómo los accionistas pueden influir en las políticas de un laboratorio y cuán reemplazables son los accionistas orientados a la seguridad. También se busca determinar qué porcentaje de inversores necesitaría expresar sus preocupaciones para influir en las políticas de un laboratorio específico [2].
  • Análisis de casos de activismo: Estudiar casos históricos de activismo accionarial, como el de Engine No. 1 en ExxonMobil, para identificar lecciones aprendidas que puedan aplicarse al campo de la IA [3]. Este caso de estudio demuestra cómo los accionistas pueden presionar para nombrar miembros del consejo que apoyen la transición a energías más seguras.
  • Uso de fondos soberanos: Explorar cómo instituciones como los fondos soberanos o los fondos de dotación han intentado ejercer influencia en otras industrias [1]. Se destaca el caso del fondo soberano de Noruega y sus estrategias para abordar los riesgos relacionados con el clima [3, 4].

En resumen, el activismo accionarial busca utilizar el poder de los inversores para fomentar un desarrollo de la IA más responsable y seguro, investigando métodos efectivos de presión, analizando casos previos y comprendiendo la dinámica de poder dentro de las empresas de IA [1, 2].

PODCAST