Anthropic navrhuje, aby popredné svetové spoločnosti v oblasti umelej inteligencie prišli s koordinovaným spôsobom, ako pozastaviť vývoj pokročilých systémov AI, pričom varuje, že technológia sa zlepšuje tak rýchlo, že existuje riziko, že ľudia stratia kontrolu.
Spoločnosť stojaca za chatbotom Claude vo štvrtok vo svojom blogovom príspevku uviedla, že keďže špičková umelá inteligencia je čoraz rýchlejšia pri vykonávaní úloh, „pre svet by bolo dobré mať možnosť spomaliť alebo dočasne pozastaviť“ jej vývoj.
Spoločnosť Anthropic uviedla, že jej interný výskumný inštitút plánuje preskúmať tento problém v spolupráci s ostatnými a „podniknúť kroky“ na pomoc pri budovaní systémov pre dôveryhodné spomalenie alebo prestávku, bez toho, aby bol konkrétnejší.
Antropický rival OpenAI v správe zverejnenej v stredu tvrdil, že „demokratické vlády – nie súkromné spoločnosti konajúce samostatne – musia v konečnom dôsledku určiť pravidlá, záruky a mechanizmy zodpovednosti“.
„Náš názor je, že rozhodnutia o tempe inovácií AI by sa nemali ponechať na žiadne laboratórium, spoločnosť alebo špeciálnu záujmovú skupinu,“ povedal.
Modely AI sú stále rýchlejšie, s rýchlym nárastom toho, ako rýchlo dokážu samostatne vykonávať softvérové úlohy, ako je kódovanie, uviedol Anthropic vo svojom príspevku. Na základe súčasných trendov a s dostatočným výpočtovým výkonom by systém AI mohol byť schopný navrhnúť a vyvinúť svojho vlastného nástupcu, čo je známe ako „rekurzívne sebazlepšovanie“.
Vlastná umelá inteligencia by bola významným technologickým míľnikom, ktorý by priniesol výhody vo vede, zdravotníctve a ďalších oblastiach, povedal Anthropic, ale „môže tiež zvýšiť riziko straty kontroly ľudí nad systémami AI“.
Niektoré čísla z technologického priemyslu už dlho varujú pred takýmto scenárom.
Príspevok Anthropic prichádza po inom varovaní tento týždeň od tímu výskumníkov z University of Toronto, ktorí ukázali, ako možno nástroje AI použiť na vytvorenie nového druhu „červa“ AI, ktorý prispôsobuje svoju hackerskú stratégiu, keď sa šíri zo zariadenia na zariadenie a preberá rozsiahlu výpočtovú sieť.
„Myslím si, že je skutočne dôležité, aby ľudia pochopili, že obavy o bezpečnosť nevyvolávajú len najväčšie a najvýkonnejšie jazykové modely,“ povedal v rozhovore vedúci výskumu Nicolas Papernot.
Autori príspevku Anthropic, spoluzakladateľ spoločnosti Jack Clark a Marina Favaro, vedúca jeho výskumného inštitútu, uviedli, že pauza sa využije na to, aby umožnila „výskumom spoločenských štruktúr a zosúladenia“ držať krok s pokrokmi AI. Zosúladenie je priemyselná skratka na zabezpečenie toho, aby technológia zodpovedala ľudským hodnotám a zámerom.
Navrhovaná koordinácia by umožnila pokročilým laboratóriám AI overiť, že globálni rivali skutočne zastavili alebo spomalili svoju prácu, „a že zlý herec by nemohol využiť záštitu koordinovaného spomalenia na to, aby tajne poskočil vpred“.
Spoločnosť uviedla, že je potrebný koordinovaný globálny mechanizmus, pretože bez neho by spomalenie vývoja AI mohlo umožniť „najmenej opatrným“ hráčom dobehnúť ich a zvýšiť tlak na spoločnosti a vlády, pretože robia ťažké rozhodnutia o bezpečnosti AI.
Obavy, že pokročilé systémy AI sa môžu vymknúť ľudskej kontrole a spôsobiť spoločenskú ujmu, sa zvýšili, pretože technológia sa stáva čoraz schopnejšou. Vlastný model Mythos od spoločnosti Anthropic vyvolal začiatkom tohto roka šokové vlny naprieč odvetviami vrátane bankovníctva a softvéru vďaka svojej schopnosti nájsť zraniteľné miesta v existujúcom kóde.
Regulácia je však pomalá, najmä v USA, kde sídli väčšina popredných laboratórií AI. Výkonný príkaz Trumpovej administratívy zo začiatku tohto týždňa uvalil OSN na samotné laboratóriá a požiadal ich, aby pred zverejnením dobrovoľne predložili svoje najschopnejšie modely na vládne testovanie kybernetickej bezpečnosti.
Zameranie na bezpečnosť
Výskumníci AI tiež predtým vyzvali na prestávku, ale mali malý úspech. Elon Musk, ktorý vlastní laboratórium AI xAI, bol medzi podporovateľmi snahy neziskového inštitútu Future of Life z roku 2023 zastaviť vývoj AI na šesť mesiacov, aby sa vytvoril čas na bezpečnostné zábradlia.
Antropic sa už dlho stavia ako laboratórium umelej inteligencie zamerané na bezpečnosť. Začiatkom tohto roka odmietla dovoliť americkej armáde používať jej modely na domáce sledovanie a plne autonómne zbrane, čo vyvolalo odpor vlády, ktorá ju zaradila na čiernu listinu národnej bezpečnosti, ktorá vstúpi do platnosti neskôr v roku 2026.
Príspevok spoločnosti Anthropic prichádza v čase, keď sa spoločnosť a výrobca ChatGPT OpenAI pretekajú v predaji akcií na akciovom trhu v rámci IPO, ktoré by mohlo oceniť Anthropic na takmer bilión dolárov.
Spoločnosť Papernot informovala kanadské úrady pre kybernetickú bezpečnosť pred zverejnením svojej správy, ktorá ukazuje, ako výskumníci vyvinuli červa v laboratóriu pomocou nástroja AI s otvoreným zdrojom, ku ktorému môžu vývojári softvéru ľahko pristupovať a upravovať ho.
„V minulosti sa kybernetickí útočníci zameriavali na ciele, ktoré majú veľmi vysokú hodnotu,“ povedal. „Bankové systémy, nemocnice, elektrické siete, systémy úpravy vody, školy.“
Spoločnosť Papernot súhlasila s tým, že by mala existovať väčšia spolupráca medzi spoločnosťami, vládnymi agentúrami a akademickými výskumníkmi s cieľom vyvinúť protiopatrenia, pretože hackerské nástroje poháňané AI prehlbujú vyhľadávanie počítačových zraniteľností.
„Ten starý laptop, ktorý máte v pivnici a pravidelne ho nekontrolujete, sa nezdá byť veľmi cenným cieľom, ale dá sa použiť ako štartovacia rampa na útoky na tieto ciele s vyššou hodnotou,“ povedal. „Všetko, čo je pripojené k internetu, je teraz ohrozené, pretože náklady na uskutočnenie týchto kybernetických útokov sú nízke.“
