Creemos que el futuro de la humanidad debe ser determinado por la humanidad y que es importante compartir información sobre el progreso con el público. Debería haber un gran escrutinio de todos los esfuerzos que intentan construir la Inteligencia Artificial en General y una consulta pública para las decisiones importantes.
El primer punto de aprendizaje adquirido por el ser humano a través de la Inteligencia Artificial en General, será sólo un punto en el continuo de la inteligencia. Creemos que es probable que el progreso continúe a partir de ahí, posiblemente manteniendo el ritmo de progreso que hemos visto durante la última década durante un largo período de tiempo. Si esto es cierto, el mundo podría llegar a ser extremadamente diferente de cómo es hoy, y los riesgos podrían ser extraordinarios. La Inteligencia Artificial en General superinteligente desalineada podría causar un daño grave al mundo; un régimen autocrático con una ventaja decisiva en materia de superinteligencia también podría hacer lo mismo.
La Inteligencia Artificial que puede acelerar la ciencia es un caso especial en el que vale la pena pensar y quizás tenga más impacto que cualquier otro. Es posible que la Inteligencia Artificial en General sea lo suficientemente capaz como para acelerar su propio progreso, y pueda provocar que se produzcan cambios importantes sorprendentemente rápidos (e incluso si la transición comienza lentamente, esperamos que suceda con bastante rapidez en las etapas finales). Creemos que es más fácil hacer seguro un despegue más lento, y la coordinación entre los esfuerzos de Inteligencia Artificial en General para reducir la velocidad en momentos críticos probablemente será importante (incluso en un mundo donde no necesitamos hacer esto para resolver problemas de alineación técnica, la desaceleración puede ser importante para dar a la sociedad suficiente tiempo en adaptarse).
La transición exitosa a un mundo con superinteligencia es quizás el proyecto más importante (aunque es también esperanzador y aterrador) de la historia de la humanidad. El éxito está lejos de estar garantizado, y con suerte, lo que está en juego (incontables desventajas e ilimitadas ventajas) nos unirá a todos.
Podemos imaginar un mundo en el que la humanidad florece en un grado que probablemente sea imposible de visualizar por completo para cualquiera de nosotros todavía. Esperamos aportar al mundo una Inteligencia Artificial en General alineada con tal florecimiento.
