Insights Investing
Kapitalallokering, bolagsstyrning och risk i ekosystemet för AI-säkerhet: en analys av Vitalik Buterins filantropiska ramverk
Podd · Lyssna (22 min)
Innehåll
- 1. Den effektiva altruismens utveckling: Från global hälsa till AI-säkerhet
- 2. Kapitalallokeringens dynamik: Kryptovinster och filantropisk styrning
- 3. Laboratoriernas dynamik och marknadsstruktur: OpenAI, Anthropic och säkerhet med öppen källkod
- 4. Ideologiska ramverk och riskhantering: e/acc kontra d/acc
- 5. Viktiga siffror
- 6. Vad som skulle förändra vår syn
- 7. Källor
Denna artikel analyserar den historiska utvecklingen av rörelsen för effektiv altruism (EA), kapitalkoncentrationen inom finansieringsnätverk för AI-säkerhet och de styrningsmekanismer som driver laboratorier för den mest avancerade artificiella intelligensen, med direkt utgångspunkt i insikter som Ethereums medgrundare Vitalik Buterin delade i Silicon Valley 101. Vi drar slutsatsen att extremt koncentrerad kapitalallokering och slutna styrningsstrukturer i laboratorier skapar allvarlig institutionell skörhet, risker för att särintressen tar kontroll över regleringen och försvagade ekonomiska vallgravar, vilket gör decentraliserade försvarsmekanismer (d/acc) avgörande för ekosystemets långsiktiga motståndskraft. För värdeorienterade teknikinvesterare ger förståelsen av dessa strukturella förhållanden ett avgörande analytiskt perspektiv för att prissätta katastrofala svansrisker, utvärdera kapitalallokeringens effektivitet och bedöma den långsiktiga operativa hållbarheten hos företag i teknikens framkant.
1. Den effektiva altruismens utveckling: Från global hälsa till AI-säkerhet
Rörelsen för effektiv altruism (EA) har sedan starten genomgått en grundläggande förändring av sitt paradigm för kapitalallokering. Rörelsen var inledningsvis förankrad i empiriska ramverk för mycket mätbara insatser – såsom GiveWells utvärderingar av kostnadseffektiva globala hälsoinitiativ, däribland Against Malaria Foundations (AMF) finansiering av myggnät – och strävade efter att maximera den direkta avkastningen i mänsklig välfärd per spenderad dollar. Avgörande för denna tidiga kapitalbildning var filosofin ”Tjäna för att ge”, som uppmuntrade högpresterande individer att söka lukrativa karriärer på Wall Streets finansmarknader och hos traditionella kapitalallokerare, för att omvandla privata finansiella inkomster till särskilda finansieringskanaler för filantropiska bidrag. Med tiden genomgick rörelsen fyra tydliga historiska faser:
- Global hälsa och utveckling: Prioritering av evidensbaserade, mycket kvantifierbara insatser för att lindra global fattigdom och sjukdom.
- Långsiktighetsetik: Breddning av synen på den etiska diskonteringsräntan för att fokusera på skyddsmekanismer för framtida generationer och begränsning av globala katastrofrisker.
- Krisen för institutionellt förtroende: En allvarlig trovärdighetschock efter kollapsen för Sam Bankman-Fried (SBF) och FTX, en framträdande finansiär av EA-institutioner, som blottlade strukturella sårbarheter i styrningen inom ekosystemets finansieringskanaler.
- Fokus på säkerhet för den mest avancerade AI:n: Omprioritering av kapital och mänskliga resurser till begränsning av existentiella risker ($P(\text{doom})$) och teknisk forskning om anpassning av AI till mänskliga mål.
Centrala intellektuella personer styrde denna filosofiska och strukturella utveckling. William MacAskill, tidigare docent i filosofi vid Oxfords universitet, var medgrundare till Giving What We Can och 80,000 Hours och blev en central förespråkare för långsiktighetsetik. Toby Ord, en australisk filosof och medgrundare till Giving What We Can, utvecklade tidiga EA-ramverk genom rigorösa studier av global fattigdom och existentiella hot mot mänsklighetens långsiktiga potential. Samtidigt försköt Eliezer Yudkowsky, medgrundare till Machine Intelligence Research Institute (MIRI) och en grundläggande tänkare inom den rationalistiska nätgemenskapen LessWrong, gemenskapens analytiska fokus mot kognitiva bias, rationellt beslutsfattande och katastrofala risker vid anpassning av AI till mänskliga mål.
Allokeringen av humankapital inom detta ekosystem omsattes i praktiken främst genom 80,000 Hours, en ideell karriärrådgivningsinstitution som grundades av MacAskill och Benjamin Todd. Namnet syftar på det ungefärliga antalet arbetstimmar under en persons yrkesliv. 80,000 Hours vägledde systematiskt högkvalificerade talanger inom teknik och matematik bort från traditionell företagsfinansiering och mot forskning om anpassning av AI till mänskliga mål, säkerhetsteknik och teknikpolitik, vilket skapade en intellektuell rekryteringskanal mellan talanger i Silicon Valley och ideella säkerhetsinitiativ.
2. Kapitalallokeringens dynamik: Kryptovinster och filantropisk styrning#
Inflödet av icke-traditionellt kapital förändrade dramatiskt incitamentsstrukturerna och verksamhetens omfattning hos organisationer för AI-säkerhet. Ethereums medgrundare Vitalik Buterin beskrev en stor förändring när han oväntat fick en enorm tilldelning av memkryptovalutor (Dogecoin och Shiba Inu-token). Genom att omvandla dessa volatila tillgångar frigjorde Buterin hundratals miljoner dollar i likvida medel för filantropi.
Dessa oväntade resurser fördelades till olika områden: * Future of Life Institute (FLI): En framträdande ideell organisation med fokus på att begränsa risker från avancerad teknik, medgrundad av Skypes medgrundare Jaan Tallinn, som fick betydande kapital från Buterin. * CryptoRelief: Ett initiativ som lanserades av Polygons medgrundare Sandeep Nailwal under COVID-19-krisen i Indien och finansierades med Buterins kryptotillgångar. * Balvi Fund: Ett specialiserat finansieringsinstrument under Buterins ledning som stödde PopVax, ett indiskt bioteknikföretag som utvecklar öppna vaccinplattformar och immunterapier mot cancer.
Buterin uttryckte dock strategiska motsättningar kring sitt finansiella stöd till FLI. När FLI flyttade sitt institutionella fokus från grundläggande forskning om tekniska risker till aktivt påverkansarbete inom AI-politik och statliga regleringsingripanden omprövade Buterin sina finansieringsåtaganden. Att utvärdera direkt marginalavkastning blir i sig svårare när man övergår från verifierbara insatser för mänsklig välfärd (t.ex. vaccinutveckling eller sjukdomsförebyggande arbete) till politisk lobbying och politiskt inflytande.
Denna förändring speglar bredare frågor om kapitalkoncentration inom det filantropiska landskapet för AI-säkerhet. Ekosystemet domineras av stora givarnätverk – såsom Dustin Moskovitz (medgrundare till Facebook och Asana) och Cari Tunas nätverk Good Ventures / Coefficient Giving (tidigare Open Philanthropy), tillsammans med Jaan Tallinns Survival and Flourishing Fund (SFF) – och uppvisar en extrem kapitalkoncentration. Tallinns dubbla roll som medgrundare till FLI och central finansiär av SFF belyser särskilt hur koncentrerat det underliggande givarnätverket faktiskt är.
Ur en värdeinvesterares perspektiv skapar denna koncentration kraftigt avtagande marginalavkastning på kapital – en filantropisk försämring av ROIC. När kapital flyttas från teknisk anpassning av AI till mänskliga mål till politisk lobbying inom mättade områden faller marginalnyttan av ytterligare dollar kraftigt, samtidigt som exponeringen mot politiska låsningar ökar. För att utforska alternativa organisationsstrukturer deltog Buterin i praktiska styrningsexperiment, bland annat genom att vara medarrangör för Zuzalu i Montenegro 2023. Zuzalu fungerade som ett tillfälligt samhällsexperiment för att testa decentraliserad samordning, frivillig styrning och snabb resursallokering utanför centraliserade företags- eller statsinstitutioner, vilket direkt påverkade Buterins syn på kapitalallokeringens effektivitet.
3. Laboratoriernas dynamik och marknadsstruktur: OpenAI, Anthropic och säkerhet med öppen källkod
Den kommersiella frontlinjen inom artificiell intelligens uppvisar tydliga strukturella skillnader i bolagsstyrning, säkerhetsåtaganden och konkurrensmässiga ekonomiska vallgravar:
- OpenAI: Övergick från sina ursprungliga rötter som en öppen, ideell forskningsinstitution till ett kommersiellt drivet företag som balanserar kommersiell snabbhet mot sina ursprungliga uppdrag avseende säkerhet och öppenhet.
- Anthropic: Grundades med ett strukturellt fokus på säkerhet och AI-tolkbarhet. Anthropics medgrundare Chris Olah ledde särskilt banbrytande forskning om mekanistisk tolkbarhet, med målet att klarlägga komplexa modellers interna mekanismer och neurala representationer.
Denna verksamhetsmiljö präglas av återkommande motsättningar mellan marknadskonkurrens, snabb kommersiell driftsättning, säkerhetsutvärderingar och spridning av modeller med öppen källkod. Aggressiv kommersiell konkurrens mellan laboratorier i framkant undergräver systematiskt frivilliga säkerhetsåtaganden. Denna strukturella spänning underströks i september 2026, när säkerhetsforskaren Jacob Coxon – som tidigare hade bedrivit forskning hos både OpenAI och Anthropic – lämnade forskningen vid laboratorier i framkant och utfärdade en offentlig varning om kapplöpningsdynamik och konkurrenstryck som påskyndar riskerna vid driftsättning.
Samtidigt har systemet för tillsyn genom tredje part utsatts för intensiv granskning. Nätkommentatorn Kevin Bass uppmärksammade offentligt finansiella och personliga nätverk som förbinder kommersiella laboratorier som Anthropic, externa säkerhetsutvärderare och stora givarinstitutioner. Ideella utvärderingsorgan som METR (modellutvärdering och hotforskning) befinner sig i centrum för potentiella risker för att särintressen tar kontroll över regleringen och för intressekonflikter. När utvärderingsprocesser, finansieringsflöden och regleringsförslag kontrolleras av ett tätt sammanlänkat nätverk av givare och laboratorier med proprietära modeller ökar risken för institutionell partiskhet betydligt.
För värdeorienterade teknikinvesterare skapar beroendet av slutna laboratoriers styrning och lobbying på statlig nivå allvarlig ”skörhet inför regleringschocker” och ”försvagning av ekonomiska vallgravar”. Ekonomiska vallgravar som bygger på att särintressen kontrollerar regleringen eller på skyddad företagshemlighet är sårbara; om modeller med öppen källkod når likvärdig kapacitet eller decentraliserade försvarsmekanismer får genomslag kommer slutna laboratoriers kommersiella ekonomiska vallgravar snabbt att eroderas av konkurrenskrafterna på marknaden.
4. Ideologiska ramverk och riskhantering: e/acc kontra d/acc#
Debatten om införandet av teknik har organiserats i motsatta ideologiska läger: * Effektiv accelerationism (e/acc): Förespråkar obegränsad teknisk utveckling och förlitar sig på marknadsmekanismer och snabba innovationscykler för att hantera efterföljande risker. * Paus-/inbromsningsrörelsen (t.ex. PauseAI): En gräsrotsrörelse som förespråkar internationella förbud mot eller stopp för utveckling av den mest avancerade AI:n tills säkerhet och demokratisk tillsyn kan säkerställas.
Vitalik Buterin erbjuder ett alternativt ramverk kallat d/acc (defensiv accelerationism, eller försvarsprioriterad accelerationism). I stället för att förlita sig på statliga begränsningar uppifrån eller okontrollerad acceleration prioriterar d/acc snabb utveckling av decentraliserad, defensiv teknik som är utformad för att skydda samhället mot katastrofala sårbarheter utan att koncentrera makt.
För att illustrera d/acc hänvisar Buterin till folkhälsa och pandemiförsvar: i stället för att enbart förlita sig på tvång uppifrån eller centraliserade nedstängningar utrustar ett effektivt biologiskt försvar individer och samhällen med diagnostikverktyg med öppen källkod, luftfiltreringssystem och decentraliserade vaccinplattformar (såsom PopVax). Tillämpat på artificiell intelligens förespråkar d/acc decentraliserade försvarsverktyg, granskningsbarhet genom öppen källkod samt institutionella kontrollmekanismer och maktbalanser. I stället för att sätta villkorslös tillit till ett slutet oligopol av företagslaboratorier förlitar sig d/acc på flera konkurrerande, ofullkomliga system som övervakar varandra för att förhindra enskilda institutionella felpunkter.
Ett avgörande krav i d/acc-ramverket är epistemisk ödmjukhet – att erkänna de grundläggande gränserna för vår kunskap när vi gör prognoser för komplexa, framväxande tekniska system. Epistemisk ödmjukhet fungerar som en central disciplin inom riskhantering och motverkar överdrivet beroende av dogmatiska teknikprognoser eller centraliserad planering. För långsiktiga investerare ger analysen av dessa styrningsstrukturer ett tydligt ramverk för att bedöma företags hållbarhet. Företag som förlitar sig på slutna företagsstrukturer och särintressens kontroll över regleringen möter betydande risker för lagstiftningschocker, negativa reaktioner från allmänheten och operativa fel i enskilda kritiska punkter. Omvänt uppvisar organisationer som bygger robusta försvarsförmågor, öppna arkitekturer och motståndskraftig styrning genom flera system högre operativ hållbarhet under påfrestningar. Läsarna inbjuds att utforska fler företagsanalyser om öppen källkod på DeepValues Researchs webbplats eller kontrollera en akties inneboende värde i DeepValues-appen.
5. Viktiga siffror#
- 28 oktober 2026: Publiceringsdatum för avsnitt E257 av Silicon Valley 101 med Vitalik Buterin.
- 1 timme 53 minuter: Intervjuavsnittets totala speltid.
- September 2026: Datum då AI-säkerhetsforskaren Jacob Coxon lämnade laboratorier för den mest avancerade AI:n.
- 2023: Året då Vitalik Buterin var medarrangör för det tillfälliga samhällsexperimentet Zuzalu i Montenegro.
- 80,000 Hours: Karriärrådgivningsmått som representerar det ungefärliga antalet timmar under en persons yrkesverksamma liv.
- Hundratals miljoner USD: Uppskattat värde av den oväntade kryptodonation som Vitalik Buterin omvandlade till filantropiskt kapital.
6. Vad som skulle förändra vår syn
- Krav på oberoende säkerhetsgranskning: Standardiserat införande av rättsligt bindande modellutvärderingar genom tredje part, utförda av ideella organisationer som är helt oberoende av riskkapitalfinansiering eller ägarband till laboratorier.
- Likvärdig kapacitet för öppen källkod: Kommersiella modeller med öppen källkod når likvärdig kapacitet med de främsta proprietära modellerna, vilket gör centraliserade laboratoriers ekonomiska vallgravar föråldrade och flyttar fokus till defensiva d/acc-verktyg.
- Omallokering av filantropiskt kapital: Stora finansieringsnätverk (t.ex. Coefficient Giving, Survival and Flourishing Fund) flyttar betydande kapital från politisk lobbying tillbaka till verifierbar teknisk forskning om anpassning av AI till mänskliga mål eller global biosäkerhet.
- Regleringsmässigt genomdrivande av laboratoriers ansvar: Införande av strikta rättsliga ansvarsramverk som gör utvecklare av AI-modeller juridiskt ansvariga för efterföljande katastrofala fel eller säkerhetsbrister.
7. Källor
E257|Samtal med Vitalik: De filosofiska idéerna bakom AI-säkerhet – hur påverkar effektiv altruism Silicon Valley?, med Yiwen och Hongjun som programledare och Vitalik Buterin och Afra som gäster, podden Silicon Valley 101 (28 oktober 2026)
Se
Källänkar
- E257|对话Vitalik:AI安全背后的哲学思想,有效利… - 硅谷101 - Apple Podcasts
Se & lyssna
- Meme Coin Millions Funded AI Doomsday. Who Audits It? YouTube · EN
- 誰在決定AI的百億資本支出?矽谷哲學家與P(doom)的權力遊戲 YouTube · 中文
- Meme Coin Millions Funded AI Doomsday. Who Audits It? Podd · EN
- 誰在決定AI的百億資本支出?矽谷哲學家與P(doom)的權力遊戲 Podd · 中文