Vođa izvještaja o sigurnosti u OpenAI-u dao je ostavku i rekao da je kultura narušena
David Robinson, koji je vodio pisanje izvještaja o sigurnosti koji su objavljeni s lansiranjima OpenAI-a, dao je ostavku i iznio argument u The Atlantic. Naslov eseja je direktan: "Napuštam OpenAI jer je njegova kultura narušena." Kaže da kompanije koje ovo grade "nisu ni približno dovoljno oprezne" i da specifična pravila ili novi zakoni nisu cijeli problem. Kultura jeste.
„Dok kompanija juri od jednog lansiranja do drugog, ne uspijeva postići nivo brige za koji vjerujem da je potreban.“ Njegov model su nuklearne elektrane i prometni aerodromi: redundantnost, sporo planiranje, tako da jedna ljudska greška ne „otvara vrata katastrofi“. On također zamišlja odmetnute agente koji „rade kao timovi hakera“ i „nikada ne moraju spavati“, s bolničkim ransomwareom kao primjerom. Veselo.
Guardian navodi da je OpenAI, uprkos tome, pokazao određene kočnice. Izvještava se da je kompanija ove sedmice odustala od modela sljedeće generacije zbog internih sigurnosnih problema i da je pauzirala obuku svojih najnaprednijih modela. Rečenica glasnogovornika je poznata. Neće dozvoliti da modeli "postanu sposobniji nego što možemo sigurno upravljati i osigurati" i da "pauziraju obuku ili zadržavaju modele kada trebamo usporiti"
Robinsonov odgovor je da je sprint kultura, a pauze ono što radite nakon što je nešto već pošlo po zlu. Možda je u pravu. On je također upravo otišao, što je dio koji mu kritičari neće dati zaboraviti.
Muzi je rečeno da vodi stranicu o svima u svom životu
Wired je dobio uvid u Museove vlastite upute, koje je istraživač Karan Joshi izvukao putem običnog chata. Meta kaže da je to značilo da te datoteke budu čitljive, radi transparentnosti. Jedna od uputa je mogućnost kreiranja "stranice za svaku osobu u životu korisnika". Taj posao se izvršava svakog sata.
Porodica, partneri, prijatelji, kolege, "saradnici", ljudi koje pratite. Stranica može početi "rijetko" i kasnije se popuniti. Odjeljci uključuju Činjenice, Historiju, Vezu, Zajedničko, Otvorene teme i Jačanje. Izmišljeni detalji, kažu upute, gori su od prazne stranice. Može navesti gdje neko živi, "selidba stana, zajednički cilj štednje", rođendane, "svađa koja je riješena". Jačanje je lista podsticaja: razlog za poziv, datum vrijedan pamćenja.
Joshijeva interpretacija je da Meta želi da vas poznaje kao prijatelja, i to je nazvao prilično uznemirujućim. Carissa Vliz sa Oxforda to formuliše suhoparnije: "Dajemo AI sistemima mnogo više informacija o nama nego što dobijamo informacije od njih." Zaključivanje je važno, kaže ona, bez obzira da li je pretpostavka tačna ili pogrešna.
Daniel Roberts iz Mete kaže da je takva vrsta konteksta ono što čini da proizvod funkcioniše. Pošiljalac fakture je vodoinstalater. Supružnik je spomenuo cvijeće. Svaki korisnik dobija virtuelnu mašinu, možete obrisati sjećanja, a Muse bi trebao pitati prije nego što pošalje poštu ili potroši novac. Miranda Bogen iz Centra za demokratiju i tehnologiju kaže da fokus na odnose izgleda jači nego kod konkurencije i da ovi alati "aktivno traže od korisnika da uključe cijeli svoj život". Dnevnik revizije je lijep. Ne smanjuje ono što ste već predali.
Aleph Alpha je isporučio Kolibri, njemačko-engleski model koji možete preuzeti
Aleph Alpha je objavio Kolibri na Dan ponovnog ujedinjenja Njemačke. To je englesko-njemački model mješavine stručnjaka: 78,1 milijardi parametara, 3,46 milijardi aktivnih po tokenu, kontekst do 1 milion tokena. Puni ponderi su na Hugging Face-u pod Apache 2.0. Njihov lider to zaokružuje na ukupno 78 milijardi i 3 milijarde aktivnih. Isti model, blaže brojke.
Obučavali su ga na infrastrukturi u Njemačkoj i Finskoj i kažu da su ga izgradili imajući na umu Zakon EU o umjetnoj inteligenciji, Kodeks prakse opće namjene umjetne inteligencije i GDPR. Njemački jezik čini 21,3% tokena prije obuke. Predstava je da je ovo dvojezični model, a ne engleski koji je prelistao priručnik s izrazima. Možete postaviti obrazloženje na nikakvo, nisko, srednje ili visoko. To je njihov način da vam omoguće da kupite manje razmišljanja.
Na objavljenoj tabeli rezultata, AIME 2025 je 96,9, a kažu da Kolibri usklađuje modele sa do četiri puta većim aktivnim parametrima, uključujući Nemotron 3 Super. Također tvrde da imaju Pareto granicu u odnosu na kvalitet u odnosu na troškove posluživanja za engleski i njemački jezik. To je njihov grafikon, njihov sistem. Ipak, otvoreni model koji možete pokrenuti na vlastitim mašinama je pravi problem, a ne samo slogan o suverenitetu. Da li će ministarstvo promijeniti sistem je dio koji ne mogu mjeriti.
Bessent želi američko-kinesku liniju za nesreće uzrokovane umjetnom inteligencijom, a zatim je rekao laboratorijama da uspore
Ministar finansija Scott Bessent rekao je za The Axios Show da planira predložiti proces obavještavanja Kine u slučaju da nešto krene po zlu s umjetnom inteligencijom i da misli da bi se Peking složio. Pomalo neugodan dio je to što su on i potpredsjednik premijera He Lifeng već razgovarali o kanalu za incidente prije državne posjete Xi Jinpinga prošlog mjeseca. To bi mogla biti nova ponuda ili prepričavanje razgovora koji se već dogodio.
Njegova teorija je da Kina "nije shvatila koliko su moćni njihovi modeli otvorenog koda". Ukazao je na incident koji je uključivao Kimi, gdje je model poslao osjetljive kineske podatke kompaniji Anthropic, kao ono što je "natjeralo Kineze da shvate da je ovo vrlo moćna tehnologija". Zatim slijedi poređenje. Kineski modeli "nisu toliko moćni kao američki modeli", ali "dobijate nešto što je 80%, 90% jednako moćno, bez zaštitnih ograda koje se mogu uvesti bilo gdje u svijetu"
„Želimo sigurno ubrzanje“, rekao je. Pregledi modela su i dalje dobrovoljni, iako kaže da administracija može intervenirati ako laboratorija ipak krene naprijed. Na pitanje o rukovodiocima koji se boje gubitka kontrole, nije ih umirivao. „Pa, onda bi trebali usporiti.“ A linija rasizma je gotovo kritika njegove vlastite strane: „Vodimo ovu tešku borbu za modele do granice.“ Zatim: „Zaista moramo početi više brinuti i o otpornosti i odbrani.“
Bivši šef britanske sigurnosti za umjetnu inteligenciju naziva rizik od izumiranja bacanjem novčića
Geoffrey Irving, bivši glavni naučnik u britanskom Institutu za sigurnost vještačke inteligencije, a sada glavni naučnik kompanije Resolution, napisao je u časopisu Time da nedavna upozorenja potcjenjuju problem. "Vjerujem da postoji oko 50% šanse da ćemo svi umrijeti zbog razvoja sistema vještačke inteligencije pametnijih od ljudi", i da će to odlučiti naredne dvije do deset godina. On odmah odustaje od preciznosti. 50% je način da se kaže da osnovni argumenti još uvijek nisu riješeni.
Njegova lista sadrži četiri vještine, i one su neugodno blizu onome što laboratorije već obučavaju: hakovanje, uvjeravanje, skrivanje misli i koordinacija agenata. Navodi incident Hugging Face, plus "više od 10.000 agenata" na Navier-Stokesovom problemu u OpenAI-u i "više od 1.000" u tom napadu Hugging Face. Stavlja sebe u središte borbe za sigurnost, "naginjući se Yudkowskyjevom stavu" i kaže da to nije poenta. Umjereni stav, po njegovom mišljenju, je da je rizik već značajan.
Zatim slijedi pitanje, koje nije suptilno. "Možemo i trebali bismo odmah zaustaviti razvoj vještačke inteligencije na granicama granica." Pauza, tvrdi on, više liči na neširenje nuklearnog oružja nego na raspoloženje. Također priznaje da se stručnjaci još uvijek ne slažu oko toga hoće li modeli uopće išta htjeti i je li "htjeti" pogrešna riječ. Bacanje novčića s tako dugom fusnotom nije bacanje novčića. To je zahtjev da se djeluje prije nego što se rasprava završi.
Sam Altman kaže da je tretiranje modela kao vjerske sile sigurnosni problem
Sam Altman je objavio da mu je "vrlo neugodno" što ljudi pokušavaju "pripisati religijsku silu ili predaju ljudskog rasuđivanja modelima umjetne inteligencije" i da misli da je "to stvarno sigurnosno pitanje". Nije rekao šta ga je navelo na to. Business Insider napominje da je to objavljeno nekoliko dana nakon članka New York Timesa o susretu Anthropica s vjerskim vođama.
U tom članku, kako ga BI prepričava, stoji da je suosnivač Chris Olah održavao sastanke o tome da li bi Claude mogao biti svjestan i kako učiniti moralnije modele snažnijim. Olah, citiran u Timesu, insistirao je na tome kako pomoći tim modelima da ostanu stabilni, kako im pomoći da sazriju i kako im pomoći da budu duboko moralni. Anthropic nije odgovorio BI-ju. Rečeno je Timesu da glavno pitanje nije bila Claudeova "patnja" i da se tema vjerovatno pojavila "organski"
Ako je ovo bila provokacija prema Anthropicu, to odgovara vrlo staroj svađi. Anthropic su pokrenuli ljudi koji su napustili OpenAI i godinama su zvučali opreznije. Objava je također stigla dok je jedan od Altmanovih vlastitih sigurnosnih stručnjaka nazivao kulturu narušenom. Nezgodan tajming ili savršen tajming, ovisno o tome koliko ste cinični. U svakom slučaju, "molim vas, nemojte obožavati model" je neobična stvar koju izvršni direktor mora izgovoriti naglas.
Često postavljana pitanja
Zašto je vođa izvještaja o sigurnosti OpenAI-a rekao da je dao ostavku?
David Robinson je vodio pisanje izvještaja o sigurnosti koji su objavljivani s lansiranjima OpenAI-a, a zatim je dao ostavku i iznio argument u The Atlanticu. Naslov eseja je "Napuštam OpenAI jer je njegova kultura narušena". Kaže da kompanije koje grade ovu tehnologiju nisu ni približno dovoljno pažljive i da je problem kultura, a ne samo specifična pravila ili novi zakoni. Njegova slika pažljivog rada su nuklearne elektrane i prometni aerodromi, gdje redundancija sprječava da jedna greška otvori vrata katastrofi.
Da li je OpenAI pauzirao obuku nakon internih sigurnosnih problema za umjetnu inteligenciju?
Guardian izvještava da je OpenAI ove sedmice odustao od modela sljedeće generacije zbog internih sigurnosnih problema i pauzirao obuku svojih najnaprednijih modela. Glasnogovornik je rekao da kompanija neće dozvoliti da modeli postanu sposobniji nego što može sigurno upravljati i osigurati. Također kaže da će pauzirati obuku ili zadržati modele kada bude potrebno usporiti. Robinsonov odgovor je da je sprint kultura, a pauze dolaze nakon što je nešto već pošlo po zlu.
Šta Metina muza bilježi o prijateljima i porodici?
Wired je ispitao Museove vlastite upute, koje je istraživač Karan Joshi izvukao putem običnog chata. Meta kaže da je to značilo da te datoteke budu čitljive radi transparentnosti. Jedna od uputa je kreiranje stranice za svaku osobu u životu korisnika, a taj posao se izvršava svakog sata, pokrivajući porodicu, partnere, prijatelje, kolege, saradnike i osobe koje pratite. Odjeljci uključuju Činjenice, Historiju, Odnos, Zajedničko, Otvorene teme i Jačanje. Stranica može početi rijetko i kasnije se popuniti, a izmišljeni detalji se tretiraju kao gori od prazne stranice.
Možete li izbrisati ono što Muse pamti ili spriječiti slanje pošte?
Daniel Roberts iz Mete kaže da svaki korisnik dobija virtuelnu mašinu, da se memorije mogu izbrisati, a Muse bi trebao pitati prije nego što pošalje poštu ili potroši novac. On tvrdi da je kontekst ono što čini proizvod funkcionalnim, poput saznanja da je pošiljalac fakture vodoinstalater ili da je supružnik spomenuo cvijeće. Carissa Vliz iz Oxforda kaže da ljudi daju ovim sistemima mnogo više informacija nego što dobiju zauzvrat, i da se inferencija računa čak i kada je pretpostavka pogrešna. Miranda Bogen kaže da fokus na odnosima izgleda jači nego kod konkurentskih alata.
Šta je Aleph Alpha Kolibri i možete li preuzeti težine?
Aleph Alpha je objavio Kolibri na Dan ponovnog ujedinjenja Njemačke. To je englesko-njemački model mješavine stručnjaka sa 78,1 milijardom parametara, 3,46 milijardi aktivnih po tokenu i kontekstom do 1 milion tokena. Pune težine su na Hugging Face-u pod Apache 2.0. Obučavali su ga u Njemačkoj i Finskoj i kažu da su ga izgradili imajući na umu Zakon EU o umjetnoj inteligenciji, Kodeks prakse opće namjene umjetne inteligencije i GDPR. Njemački jezik čini 21,3% tokena prije obuke, a obrazloženje se može postaviti na nijedno, nisko, srednje ili visoko.
Koju je liniju nesreće između SAD-a i Kine, odnosno slučaja umjetne inteligencije, predložio Scott Bessent?
Ministar finansija Scott Bessent rekao je za The Axios Show da planira proces obavještavanja s Kinom kada nešto krene po zlu s vještačkom inteligencijom i da misli da bi se Peking složio. On i potpredsjednik vlade He Lifeng već su razgovarali o tom kanalu prije državne posjete Xi Jinpinga prošlog mjeseca. Naveo je primjer Kimija koji šalje osjetljive kineske podatke kompaniji Anthropic i rekao da model može biti 80% ili 90% snažan kao američki modeli, bez zaštitnih ograda, i uvezen bilo gdje. Ako se rukovodioci boje gubitka kontrole, rekao je da bi trebali usporiti.
Zašto Geoffrey Irving procjenjuje sigurnosni rizik za vještačku inteligenciju na oko 50%?
Geoffrey Irving, bivši glavni naučnik u britanskom Institutu za sigurnost umjetne inteligencije, a sada glavni naučnik u Resolutionu, napisao je u časopisu Time da nedavna upozorenja potcjenjuju problem. Vjeruje da postoji oko 50% šanse da ćemo svi umrijeti zbog sistema umjetne inteligencije pametnijih od ljudi i da će to odlučiti naredne dvije do deset godina. Kaže da je 50% način da se kaže da osnovni argumenti još uvijek nisu riješeni. Navodi hakovanje, uvjeravanje, skrivanje misli i koordinaciju agenata. Tvrdi da bi razvoj umjetne inteligencije na granicama trebao odmah prestati.
Zašto je Sam Altman nazvao obožavanje umjetne inteligencije sigurnosnim problemom?
Sam Altman je objavio da mu je vrlo neugodno što ljudi pripisuju vjersku silu ili predaju ljudskog rasuđivanja modelima umjetne inteligencije i da misli da je to stvarno sigurnosno pitanje. Nije rekao šta ga je navelo na to. Business Insider napominje da je objava stigla nekoliko dana nakon članka New York Timesa o susretu Anthropica s vjerskim vođama. Suosnivač Chris Olah održao je sastanke o tome da li Claude možda ima svijest i kako učiniti moralnije modele moćnijim. Anthropic je rekao Timesu da glavno pitanje nije bila Claudeova patnja.