Onlangs verscheen er een petitie genaamd ‘Pause Giant AI Experiments: An Open Letter’ met als doel om de wereldwijde inzet en training van kunstmatige intelligentie (zoals GPT) zes maanden lang op pauze te zetten. Onder de ondertekenaars waren bekenden in de techwereld, zoals Elon Musk, Stuart Russel en Steve Wozniak. Het idee erachter is dat de ontwikkeling van AI momenteel zo snel gaat, commercieel gedreven is en daardoor op termijn oncontroleerbaar blijkt. Met dat oncontroleerbare wordt dan weer vooral verwezen naar unaligned AGI (artificial general intelligence), oftewel een (super)intelligente vorm van AI die in principe alles en veel meer kan doen, maar die niet het ethische bewustzijn en de waardes deelt die wij als mensen wel hebben (unaligned). Maar waar baseren zij hun petitie op?
Alignment
Hollywood verbeeldt al decennia lang hoe robotisering en unaligned AI samen de wereld in de as kunnen leggen (The Matrix, Terminator, 2001: A Space Odyssey). AI-onderzoekers stellen echter dat robots niet per se het probleem zijn, maar eerder unalignment op andere vlakken kunnen ontstaan. Denk hierbij bijvoorbeeld aan de flash crash van 2010, waarbij de Amerikaanse economische markt ruwweg 3 biljoen dollar zag verdampen. Na uitgebreid onderzoek bleek dat de algoritmes zodanig waren geprogrammeerd dat ze een te hoog risico inschatten en daardoor alles verkochten. AI die toegang heeft tot onze wereldwijde economische systemen en financiële markten kunnen daarmee dus erg veel schade veroorzaken.
Precies wat we willen
Dat het gevaar van AI uit een totaal andere hoek kan komen dan moordlustige robots, wordt ook mooi geïllustreerd door AI-onderzoekster Janelle Shane. In haar TED-talk legt ze uit dat het gevaar niet is dat AI niet doet wat wij vragen (zoals dat in veel films wel is), maar dat AI juíst precies doet wat we willen. Zo is in te denken dat je AGI vraagt om bijvoorbeeld de wereldhonger op te lossen en dat het resultaat dan is dat de AI alle mensen op aarde uitmoordt, want…. dan heeft niemand meer ‘honger’. Dat lijkt vergezocht, maar deze problemen zijn toch wel eng genoeg heel reëel, en uit AI-onderzoek blijkt in gecontroleerde omgevingen dat AI instructies van mensen soms ook echt zo op kunnen vatten.
Op de sociale media worden de ondertekenaars zoals Elon Musk en Yaval Harari als bangeriken afgeschilderd. Maar oordelen we niet te snel? We hebben immers de hele petitie misschien nog niet gezien…
De uitgewerkte principes van de Asilomar conferentie van 2017
1) Research Goal: The goal of AI research should be to create not undirected intelligence, but beneficial intelligence.
2) Research Funding: Investments in AI should be accompanied by funding for research on ensuring its beneficial use, including thorny questions in computer science, economics, law, ethics, and social studies, such as:
- How can we make future AI systems highly robust, so that they do what we want without malfunctioning or getting hacked?
- How can we grow our prosperity through automation while maintaining people’s resources and purpose?
- How can we update our legal systems to be more fair and efficient, to keep pace with AI, and to manage the risks associated with AI?
- What set of values should AI be aligned with, and what legal and ethical status should it have?
3) Science-Policy Link: There should be constructive and healthy exchange between AI researchers and policy-makers.
4) Research Culture: A culture of cooperation, trust, and transparency should be fostered among researchers and developers of AI.
5) Race Avoidance: Teams developing AI systems should actively cooperate to avoid corner-cutting on safety standards.
Ethics and Values
6) Safety: AI systems should be safe and secure throughout their operational lifetime, and verifiably so where applicable and feasible.
7) Failure Transparency: If an AI system causes harm, it should be possible to ascertain why.
8) Judicial Transparency: Any involvement by an autonomous system in judicial decision-making should provide a satisfactory explanation auditable by a competent human authority.
9) Responsibility: Designers and builders of advanced AI systems are stakeholders in the moral implications of their use, misuse, and actions, with a responsibility and opportunity to shape those implications.
10) Value Alignment: Highly autonomous AI systems should be designed so that their goals and behaviors can be assured to align with human values throughout their operation.
11) Human Values: AI systems should be designed and operated so as to be compatible with ideals of human dignity, rights, freedoms, and cultural diversity.
12) Personal Privacy: People should have the right to access, manage and control the data they generate, given AI systems’ power to analyze and utilize that data.
13) Liberty and Privacy: The application of AI to personal data must not unreasonably curtail people’s real or perceived liberty.
14) Shared Benefit: AI technologies should benefit and empower as many people as possible.
15) Shared Prosperity: The economic prosperity created by AI should be shared broadly, to benefit all of humanity.
16) Human Control: Humans should choose how and whether to delegate decisions to AI systems, to accomplish human-chosen objectives.
17) Non-subversion: The power conferred by control of highly advanced AI systems should respect and improve, rather than subvert, the social and civic processes on which the health of society depends.
18) AI Arms Race: An arms race in lethal autonomous weapons should be avoided.
Longer-term Issues
19) Capability Caution: There being no consensus, we should avoid strong assumptions regarding upper limits on future AI capabilities.
20) Importance: Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources.
21) Risks: Risks posed by AI systems, especially catastrophic or existential risks, must be subject to planning and mitigation efforts commensurate with their expected impact.
22) Recursive Self-Improvement: AI systems designed to recursively self-improve or self-replicate in a manner that could lead to rapidly increasing quality or quantity must be subject to strict safety and control measures.
23) Common Good: Superintelligence should only be developed in the service of widely shared ethical ideals, and for the benefit of all humanity rather than one state or organization.