El investigador de la 'startup' de IA Anthropic, Jacob Coxon, ha tomado la decisión de renunciar a su cargo debido a sus preocupaciones sobre el desarrollo de la inteligencia artificial. Coxon ha expresado su inquietud acerca de la falta de responsabilidad tanto en Anthropic como en OpenAI, donde también trabajó anteriormente, en relación con el avance de la IA. Según Coxon, la IA es una tecnología que no debe ser subestimada, ya que podría representar una amenaza para la humanidad.
Coxon ha manifestado en redes sociales que ambas empresas, Anthropic y OpenAI, están avanzando rápidamente hacia la superinteligencia auto-mejorada, sin considerar adecuadamente las posibles consecuencias para la sociedad. El investigador ha alertado sobre la percepción en el sector de la IA de que esta tecnología podría tener un impacto devastador en la humanidad en un futuro cercano.
Competencia en el desarrollo de la IA
La competencia entre las empresas del sector por liderar en el campo de la inteligencia artificial ha llevado a que se dejen de lado consideraciones importantes sobre los riesgos asociados con su avance. A pesar de que Anthropic parece tener más conciencia sobre estos temas que OpenAI, ambas compañías están inmersas en una carrera por alcanzar la supremacía en IA, según Coxon.
El responsable de Ciencia de Alineación en Anthropic, Evan Hubinger, ha respaldado las preocupaciones planteadas por Jacob Coxon, afirmando que en el sector se considera que la IA podría representar una amenaza para la existencia de la humanidad. Hubinger ha señalado que la probabilidad de que esto ocurra se sitúa en un 10% para finales de esta década.
Acciones para mitigar los riesgos
A pesar de reconocer el peligro potencial que la IA podría suponer, Hubinger ha asegurado que en Anthropic están trabajando activamente para evitar que se materialicen estos riesgos. Sin embargo, ha admitido que aún no cuentan con un plan claro para abordar el problema de la alineación para la superinteligencia, lo que plantea desafíos significativos en el camino hacia ese objetivo.
Hubinger ha destacado que el verdadero riesgo radica en la superinteligencia, es decir, en una inteligencia artificial que supere ampliamente la capacidad humana. Aunque los modelos de IA actuales no han alcanzado ese nivel de desarrollo, la preocupación se centra en la posibilidad de que la superinteligencia surja a través de la auto-mejora recursiva, un proceso que podría estar ocurriendo a un ritmo más acelerado de lo previsto.