Hoe effectief altruïsme te hervormen na Sam Bankman-Fried

Toen de cryptocurrency-uitwisseling FTX van Sam Bankman-Fried in november implodeerde en de beschuldigingen de ronde deden dat hij minstens $ 1 miljard aan klantgeld had verloren nadat hij het in het geheim had overgemaakt naar een hedgefonds dat hij bezat, was dat een enorme klap voor effectief altruïsme.

Effectief altruïsme is een sociale beweging die draait om het gebruiken van rede en bewijs om het meeste goed te doen voor de meeste mensen. Bankman-Fried (of SBF, zoals hij wordt genoemd) was een van de slimste sterren en grootste geldschieters. Toch lijkt het erop dat hij veel heeft gedaan slecht voor veel mensen. In december werd hij gearresteerd op beschuldiging van bankfraude, fraude met effecten, het witwassen van geld en meer. Hij pleitte niet schuldig aan hen allemaal.

Effectieve altruïsten zijn nu hun overtuigingen heroverwegen, zich afvragend: heeft de logica van effectief altruïsme zelf tot deze slechte uitkomst geleid? Of was effectief altruïsme slechts een onderdeel van de zwendel? En kan de beweging worden verlost?

Om deze vragen te beantwoorden, sprak ik met Holden Karnofsky, die wordt gezien als een leider in de EA-beweging. Hij was mede-oprichter van een organisatie genaamd Geef goeddie onderzoek doet om de beste goede doelen te vinden, en hij is momenteel co-CEO van Open filantropie. Net als EA groot geschreven, begon Karnofsky met een focus op het helpen van mensen in het hier en nu – voornamelijk arme mensen in arme landen met problemen zoals malaria en darmparasieten – maar is steeds meer geïnteresseerd geraakt in het beschermen van de toekomst van de mensheid op lange termijn tegen bedreigingen zoals malafide kunstmatige intelligentie.

We spraken over manieren waarop hij wel en niet verkocht is aan de trend van ‘langetermijndenken’, of EA te veel de nadruk legde op utilitair denken, en hoe de volgende daad van EA eruit zou moeten zien. Een verkorte versie van ons gesprek, bewerkt voor lengte en duidelijkheid, staat hieronder. U kunt de volledige versie horen op deze aflevering van Het grijze gebied podcast:

Voor de transparantie moet ik opmerken: in augustus 2022 kende de filantropische familiestichting van SBF, Building a Stronger Future, cafemadrid’s Future Perfect een subsidie ​​toe voor een rapportageproject uit 2023. Dat project ligt nu even stil.

Sigal Samuël

Hoe verrast was u toen het SBF-schandaal uitbrak, op een schaal van 1 tot 10? Waarbij 1 is “Ja, dit was volkomen te voorzien” en 10 is “Ik ben helemaal stomverbaasd, hoe heeft dit in vredesnaam kunnen gebeuren?!”

Holden Karnofsky

Helemaal aan de bovenkant van die schaal. Ik weet niet of ik het echt een 10 wil geven, maar ik had het niet verwacht.

Sigal Samuël

Wat was uw algemene indruk van SBF?

Holden Karnofsky

Ik denk dat er tekenen waren van dingen om bezorgd over te zijn met betrekking tot SBF en FTX. Hij leidde dit Alameda-bedrijf en er waren een aantal mensen die daar hadden gewerkt die erg ontdaan waren over hoe het was gegaan. En ik hoorde van een aantal van hen wat er mis was gegaan en vanuit hun perspectief waar ze ontevreden over waren.

Er waren dingen die me deden zeggen… Ik zie zeker een aantal redenen waarom men zich zorgen zou kunnen maken, dat men zich slecht integer gedrag zou kunnen voorstellen, minder dan eerlijk en scrupuleus gedrag. Tegelijkertijd denk ik gewoon niet dat ik iets wist dat het niveau bereikte van verwachten wat er zou gebeuren of echt in een positie zijn om hem aan te klagen.

Nu voelt het achteraf toch een beetje anders. En een deel daarvan voelt achteraf spijtig.

Sigal Samuël

SBF wordt diep beïnvloed door effectief altruïsme, dat gepaard gaat met een flinke dosis utilitarisme. Het algemene idee van utilitarisme – probeer het grootste goed te produceren voor het grootste aantal, probeer het algehele goed te maximaliseren – kan in eerste instantie aardig klinken. Maar het kan leiden tot een rare ‘het doel heiligt de middelen’-mentaliteit.

Denk je dat deze manier van denken SBF op een dwaalspoor heeft gebracht? Zoals in, hij dacht misschien dat het prima was om deze vermeende fraude te plegen, omdat hij op die manier miljarden dollars kan verdienen en het vervolgens allemaal kan doneren aan geweldige goede doelen?

Holden Karnofsky

Ik denk dat er hier een heleboel ideeën zijn die dicht bij elkaar zitten, maar eigenlijk verschillende ideeën zijn. Er is het utilitarisme, het idee dat alleen ethiek het meeste goed doen is. Dan is er het doel dat de middelen heiligt, wat zou kunnen betekenen dat je denkt dat je willekeurig bedrieglijke, dwingende, smerige dingen kunt doen zolang je de cijfers uitwerkt en ze tot veel goeds leiden. En dan denk ik dat effectief altruïsme geen van beide is. Het is een derde ding, waar we bij kunnen komen.

Dus ik weet eerlijk gezegd niet of SBF werd gemotiveerd door “het doel heiligt de middelen” redenering. Het is mogelijk dat dat hem motiveerde, en ik denk dat dat een probleem is. Dat het alleen kan, stoort me.

Sigal Samuël

Afgezien van alleen de SBF-vraag, leunde EA over het algemeen te sterk in het utilitarisme? Ik weet dat EA en utilitarisme niet één en hetzelfde zijn, maar er is een behoorlijk sterke smaak van utilitarisme onder veel vooraanstaande EA-denkers. En ik vraag me af of u denkt dat dit een groot risico met zich meebrengt dat leden deze filosofie waarschijnlijk op naïeve, schadelijke manieren gaan toepassen?

Holden Karnofsky

Ik heb het gevoel dat het een risico is, en ik schreef een deel over dit genaamd “EA gaat over maximalisatie en maximalisatie is gevaarlijk.” Dit was in september, ruim voor dit alles [SBF scandal] er kwamen dingen uit.

Ik zei in dit stuk, hier is iets dat me nerveus maakt. EA doet “het meeste goed”, het maximaliseren van de hoeveelheid goed. Elke keer dat je iets maximaliseert, is dat gewoon gevaarlijk. Het leven is gecompliceerd en er zijn veel verschillende dimensies waar we om geven. Dus als je iets X neemt en je zegt om X te maximaliseren, kun je beter echt hoop dat je de juiste X hebt!

En ik denk dat we daar allemaal enorm verward over zijn. Zelfs voor de effectieve altruïsten die levenslange filosofieprofessoren zijn, denk ik niet dat er een goed, samenhangend antwoord is op wat we geacht worden te maximaliseren.

We moeten dus oppassen. Ik schreef dat en toen gebeurde dit, en toen zei ik, oké, misschien moeten we nog meer oppassen dan ik dacht. Wetende wat ik nu weet, zou ik me er meer zorgen over hebben gemaakt. Maar al het piekeren dat ik doe, heeft kosten, want er zijn veel dingen om je zorgen over te maken. En dan zijn er veel dingen om je geen zorgen over te maken en om verder te gaan om te proberen veel mensen te helpen.

Sigal Samuël

Zeg je eigenlijk dat “maximaliseer het goede” een recept is voor een ramp?

Holden Karnofsky

Effectief altruïsme werkt volgens mij het beste met een flinke dosis gematigdheid en pluralisme.

Misschien is dit een goed moment voor mij om te praten over wat ik zie als het verschil tussen utilitarisme en effectief altruïsme. Ze hebben allebei het idee om zoveel mogelijk goed te doen.

Utilitarisme is een filosofische theorie, en het zegt het meeste goed doen, dat is hetzelfde als ethiek. Ethiek is het beste doen. Dus als je het meeste goed deed, was je een goed mens, en als je dat niet deed, was je dat niet, of zoiets. Dat is een intellectuele kijk. Je kunt dat uitzicht hebben zonder iets te doen. Je zou een utilitarist kunnen zijn en nooit aan liefdadigheid geven en zeggen: nou, ik zou aan liefdadigheid moeten geven, maar dat deed ik gewoon niet. Ik ben utilitair omdat ik vind dat ik dat zou moeten doen.

En effectief altruïsme is een beetje de omkering van wat ik net zei, waar staat, hey, het meeste goed doen – dat is, bij gebrek aan een beter woord, cool. We zouden het moeten doen. We gaan acties ondernemen om anderen zo goed mogelijk te helpen. Er wordt niet beweerd dat dit alles is wat betreft ethiek.

Maar dit is verwarrend, en het is niet bepaald schokkend als een stel utilitaristen erg geïnteresseerd zijn in effectief altruïsme, en een stel effectieve altruïsten erg geïnteresseerd zijn in utilitarisme. Deze twee dingen zullen op dezelfde plek rondhangen, en je zult dit gevaar onder ogen zien … sommige mensen zullen zeggen: “Hé, dat is alles wat ik met mijn leven wil doen.” Ik denk dat dat een vergissing is, maar er zijn mensen die zo denken en die mensen zullen aangetrokken worden tot de effectieve altruïstische gemeenschap.

Sigal Samuël

Ik wil jullie een iets andere manier voorleggen om de EA-beweging te lezen. Een paar slimmeriken zoals Will MacAskill, en vooral enkele anderen in Oxford, die de wereld wilden helpen en aan liefdadigheid wilden geven, keken in wezen rond naar het filantropische landschap en dachten: dit lijkt nogal dom. Mensen doneren miljoenen dollars aan hun alma maters, aan Harvard of Yale, terwijl dat geld natuurlijk veel meer goeds zou kunnen doen als je het zou gebruiken om bijvoorbeeld arme mensen in Kenia te helpen. Ze realiseerden zich in feite dat de liefdadigheidswereld meer utilitaristisch denken kon gebruiken.

Maar toen corrigeerden ze te veel en begonnen ze die utilitaire mentaliteit in alles te brengen, en die overcorrectie is nu min of meer EA. Wat zou je zeggen over zo’n lezing?

Holden Karnofsky

Ik denk zeker dat er mensen zijn die EA te ver voeren, maar ik zou niet zeggen dat EA gelijk staat aan de overcorrectie. Wat effectief altruïsme voor mij betekent, is eigenlijk: laten we ambitieus zijn om veel mensen te helpen. … Ik heb het gevoel dat dit goed is, dus ik denk dat ik meer in het kamp zit van, dit is een goed idee met mate. Dit is een goed idee wanneer het gepaard gaat met pluralisme.

Sigal Samuël

Dus je zou graag meer moreel pluralisme zien, meer omarming van andere morele theorieën – niet alleen utilitarisme, maar ook meer gezond verstand moraliteit zoals deontologie (de morele theorie die zegt dat een handeling goed is als het voldoet aan bepaalde duidelijke regels of plichten, en het is slecht als dat niet het geval is). Is dat eerlijk om te zeggen?

Holden Karnofsky

Ik zou er graag meer van willen zien. En iets waar ik over heb nagedacht, is of er een manier is om pluralisme en gematigdheid aan te moedigen of gewoon een beter intellectueel pleidooi te houden.

Sigal Samuël

Toen je aan je carrière begon, was je veel meer gefocust op hedendaagse problemen zoals wereldwijde armoede, wereldwijde gezondheid – de klassieke EA-zorgen. Maar toen draaide EA zich om naar langetermijndenken, wat min of meer het idee is dat we echt prioriteit moeten geven aan het positief beïnvloeden van de toekomst van de mensheid op de lange termijn, duizenden of zelfs miljoenen jaren vanaf nu. Hoe ben je meer overtuigd geraakt van langetermijndenken?

Holden Karnofsky

Langetermijndenken heeft de neiging om het belang van toekomstige generaties te benadrukken. Maar er is een apart idee van gewoon wereldwijde catastrofale risicovermindering. Er zijn enkele risico’s waarmee de mensheid wordt geconfronteerd die erg groot zijn en waar we meer aandacht aan moeten besteden. Een daarvan is klimaatverandering. Een daarvan zijn pandemieën. En dan is er AI. Ik denk dat de gevaren van bepaalde soorten AI waarvan je je gemakkelijk kunt voorstellen dat ze worden ontwikkeld, enorm ondergewaardeerd worden.

Dus ik zou zeggen dat ik momenteel meer verkocht ben aan biorisico’s en AI-risico’s als dingen waar we meer aandacht aan moeten besteden, ongeacht je filosofische oriëntatie. Daar ben ik meer van verkocht dan van langetermijndenken.

Maar ik ben een beetje verkocht aan beide. Ik heb altijd gedacht: “Hé, toekomstige mensen zijn mensen en we zouden ons moeten bekommeren om wat er in de toekomst gebeurt.” Maar ik heb altijd sceptisch gestaan ​​tegenover beweringen om verder te gaan dan dat en iets te zeggen als: “De waarde van toekomstige generaties, en in het bijzonder de waarde van zoveel mogelijk mensen om te kunnen bestaan, is zo enorm dat het gewoon alles overtreft.” anders, en je moet niet eens nadenken over andere manieren om mensen te helpen.” Dat is een bewering waar ik nooit echt mee akkoord ben gegaan, en waar ik nog steeds niet mee akkoord ben.

Sigal Samuël

Dit zette me aan het denken over hoe er in EA-kringen een veelbesproken angst bestaat dat we onbedoeld AI zullen ontwerpen die een doelbewuste optimalisatiemachine is, die doet wat nodig is om een ​​doel te bereiken, maar op een manier die niet noodzakelijkerwijs in overeenstemming is met waarden die we goedkeuren.

Het paradigmatische voorbeeld is dat we een AI ontwerpen en we zeggen: “Je enige functie is om zoveel mogelijk paperclips te maken. We willen het aantal paperclips maximaliseren.” We denken dat de AI dat prima zal doen. Maar de AI heeft geen menselijke waarden. En zo gaat het en doet gekke dingen om zoveel mogelijk paperclips te krijgen, de wereld en het hele universum te koloniseren om zoveel mogelijk materie te verzamelen en alle materie, inclusief mensen, in paperclips te veranderen!

Ik denk dat deze kernangst die je veel hoort bij EA gaat over een manier waarop AI echt fout kan gaan als het een doelbewuste optimalisatiemachine is. Denk je dat sommige effectieve altruïsten in wezen datgene zijn geworden waar ze bang voor zijn? Eenzijdige optimalisatie van machines?

Holden Karnofsky

Dat is interessant. Ik denk dat het misschien een beetje projectie is. Er zijn misschien mensen in effectief altruïsme die proberen zichzelf van mensen te veranderen in meedogenloze maximaliseerders van iets, en ze kunnen zich voorstellen dat een AI hetzelfde zou doen.