Šta je AI podatkovni centar? [Video i kviz]

Kratak odgovor: AI podatkovni centar je visoke gustoće gdje su napajanje, hlađenje, fabric i pohrana podataka usmjereni na obuku i opsluživanje modela, a ne na serversku sobu s dodatnim GPU-ima. Čipovi dobijaju slavu; zgrada odlučuje hoće li raditi. Ako slike ne mogu otići, preuredite malu ćeliju; većina timova bi trebala iznajmiti.

Ključne zaključke:

Čipovi protiv izgradnje: Napajanje, hlađenje, materijali i skladištenje odlučuju da li akceleratori rade.

Mjesta, a ne palate: Naknadno opremite dva racka kada podaci ne mogu da odu; nemojte kupovati kampus.

Prosjek u odnosu na medijanu: Na osam mjerenja, medijana se ponovo pokreće; koristite 18-satnu srednju vrijednost.

Otpornost na zloupotrebu: Ne navoditi PUE za dva regala u miješanoj hali.

Ilustrativni rezultati: Osam prolaza je mala mapa, a ne ušteda u proizvodnji od 50%.

Članci koje biste možda željeli pročitati nakon ovog:

🔗 Da li je vještačka inteligencija pouzdana? Video i kviz
Istražite pouzdanost vještačke inteligencije kroz zanimljiv video i interaktivni kviz.

🔗 Kako koristiti vještačku inteligenciju u svakodnevnom životu
Otkrijte praktične načine na koje vještačka inteligencija može pojednostaviti svakodnevne zadatke i rutine.

🔗 Kako koristiti vještačku inteligenciju na poslu
Naučite praktične načine korištenja vještačke inteligencije za pametniju produktivnost na radnom mjestu.

🔗 Može li vještačka inteligencija samostalno razmišljati?
Shvatite da li vještačka inteligencija zaista može samostalno razmišljati ili rasuđivati.

Po čemu se razlikuje od "normalnog" podatkovnog centra

Tradicionalne hale optimiziraju mješovita opterećenja i vrijeme rada za mnogo malih usluga. Brinete o redundantnosti, naravno, i o PUE kao konceptu - dodatnoj energiji koju zgrada sagorijeva da bi isporučila vat računarske snage. Obično ne dizajnirate svaki hodnik oko racka koji se ponaša kao farma prijenosnih grijača.

Vještačka inteligencija mijenja omjere. Gustoća raste. Mreža postaje tkanina bez koje obuka ne može funkcionirati. Skladištenje podataka mora održavati kontrolne točke u pokretu ili akceleratore koji stoje neaktivni, poput trkaćih konja u prometnoj gužvi.

Postoji i kulturološka razlika. Operacije za preduzeća razmišljaju o tiketima i prozorima za promjene. Operacije za vještačku inteligenciju razmišljaju o redovima čekanja i mučnom osjećaju kada čvor prestane s radom na duge staze. Pretpostavljam da biste i dalje mogli oboje nazvati "centrima podataka" jer to i jesu. Oznaka samo skriva vodovodne instalacije.

Nije moralna rang lista. Različite mašine, isto prezime.

Grafičke kartice, akceleratori i rack koji troši energiju

Prošetajte tradicionalnim podignutim podom i regali izgledaju gotovo pristojno. Prošetajte redom umjetne inteligencije i izgledat će kao da žele progutati zgradu.

Istaknuti hardver nije pametni CPU. To je akceleratorski dio: GPU-ovi ili drugi AI čipovi, spakovani u servere, zatim u rackove, a zatim u redove koji dijele fabricu visoke propusnosti. GPU-ovi međusobno povezuju čipove u nešto što se može pretvarati da je jedan gigantski akcelerator; klaster fabric radi isti trik na nivou reda. Paralelno treniranje funkcioniše samo ako te veze ostanu debele i predvidljive. Izgubite to i vaš "klaster" je gomila skupih radnih stanica koje dijele poštanski broj.

Snaga prati čipove. Ne glomazni kancelarijski PDU. Megavati IT opterećenja kada se dvorana napuni - neću izmišljati broj. Gustina po racku je preokret u radnji. Manje rackova. Svaki od njih je mala peć. Ograničavajući faktor je često trafostanica, a ne lista želja za GPU-ima. Znate kako je: nabavka želi više akceleratora; elektroprivreda želi dug razgovor i vrlo veliki ček.

Jedna pomalo glupa metafora koje se ne mogu riješiti: vješalica je gladna životinja. Možete uzgojiti bržu. I dalje je morate hraniti i i dalje morate ublažiti vrućinu. Preskočite bilo koju od njih i ona postaje vrlo skupa prepapirna težina.

Problem sa strujom, grijanjem i hlađenjem

Struja unutra. Grijanje vani. To je cijela religija.

Regali visoke gustoće ispuštaju toplinu na način na koji se od zraka nikada nije tražilo. Možete jače potisnuti zrak - izmjenjivači topline na stražnjim vratima, topliji prolazi, pametno zadržavanje - i to funkcionira do određene točke. Tada se pojavljuje tekućina:

• Direktno hlađenje čipa

• Petlje rashladnog sistema koje čine da prostorija sa postrojenjem izgleda kao hemijska fabrika

• Uronjenost u nekoliko dizajna, što i dalje iznenađuje ljude koji misle da voda i serveri ne bi trebali dijeliti rečenicu

Ništa od ovoga nije glamurozno. Sve je to proizvod, jer gas koji smanjuje gas je onaj za koji ste već platili i ne možete ga u potpunosti koristiti.

PUE je i dalje bitan. To je omjer, a ne ličnost. Operateri ga jure jer svaki vat potrošen na ventilatore i pumpe je vat koji nije otišao u GPU. Neću navoditi "tipičnu" brojku; klima i način na koji povlačite granicu to mijenjaju, a lažna preciznost je gora nego nikakva. Voda je također prisutna u priči. Neke biljke pijuckaju. Neke gutaju. Isparavajuće hlađenje je efikasno sve dok rijeka ili suša ne učine da bude političko.

Umrežavanje: zašto je tkanina jednako važna kao i čipovi

Ljudi fotografišu grafičke procesore. Trebali bi fotografisati i prekidače.

Trening je razgovor. Hiljade akceleratora razmjenjuju gradijente, parametre, fragmente modela, u bliskoj sinhronizaciji. Ako se struktura (fabric) trese, cijeli posao čeka na najsporiji skok. Zato su AI dvorane opsjednute umrežavanjem visokog propusnog opsega, niskom latencijom i topologijama koje se ne prepolovljuju kada veza zakaže. InfiniBand strukture, Ethernet u istoj ulozi, GPU međusobne veze unutar kutije, kablovi koji moraju biti ispravni iz prvog pokušaja.

Zaključivanje je druga priča. Usluživanje modela brine o latenciji repa - sporom odgovoru, a ne o prosječnom. Grupno naspram realnog vremena dijeli ličnost. Klaster za obuku želi debeo, kolektivan, sve-prema-svima pokret. Uslužna flota želi mnogo manjih zahtjeva i izolaciju, bez gužve u uravnoteživaču opterećenja.

Promašaj, dok sam već ovdje: ljudi tretiraju mrežu kao vodovod, a čips kao restoran. U ovoj zgradi vodovod je restoran. Promašite li to, kupit ćete kuhinju koja ne može primiti dostavu.

Obuka nasuprot zaključivanju: dvije zgrade, ponekad doslovno

Obuka je kampanja. Sastavljate klaster, u njega unosite podatke, redovno ga kontrolišete, pokrećete ga satima ili sedmicama i molite se da struktura ostane bez ikakvih događaja. Grupno, gladno propusnog opsega, tiho strpljivo - dok neki otkazani čvor ne pretrpi gubitak vremena. Jedan neispravan akcelerator u čvrsto povezanom poslu može zaustaviti cijeli hor.

Zaključivanje je kao izlog. Modeli su već obučeni, sada odgovaraju na pitanja, klasifikuju slike, generišu tekst. Latencija je bitna. Nešto stariji akcelerator blizu kupca može pobijediti glamurozni akcelerator na drugom kontinentu.

Dakle, dobijete podjelu. Kampusi za obuku jure moć, zemljište i gustoću. Lokacije za zaključivanje jure latenciju i prisutnost. Postoje i hibridne dvorane, jer kapital nije beskonačan. Pa - ne uvijek dvije zgrade. Ponekad jedna dvorana sa baršunastim užetom i dvije rashladne petlje.

Ovdje se također dijele kolokacija, hiperskalirani kampusi i lokalni kampusi. Hiperskaleri grade na razmjerima koji nas ostale čine kao da slažemo namještaj. Kolo kampusi prodaju gustoću po policama. Lokalni kampusi se i dalje događaju kada podaci ne mogu otići.

Propusnost skladišta, kontrolne tačke i "hladni čipovi"

Niko ne stavlja paralelni sistem datoteka na korice brošure.

Podaci za obuku moraju stizati dovoljno brzo da GPU-ovi ne bi bili previše aktivni. Kontrolne tačke moraju se uspostaviti kako pad sistema ne bi oduzeo sedmicu. Težine modela moraju se učitati prije nego što se servirajuća replika pokrene. Propusnost memorije - ne samo kapacitet - je tiho usko grlo. Možete potrošiti bogatstvo na akceleratore i izgladnjivati ​​ih jednostavnim nizom dizajniranim za virtuelne mašine.

Uzorak je poznat: sjajni klaster, red čekanja poslova i čekanje na ulaz/izlaz koji gledaju unatrag poput grube fakture. Grupiranje računanja bez grupiranja putanje podataka je način na koji dobijate vrlo skup mirovanje. Održavajte čipove punjenim ili priznajte da ste kupili skulpturu.

Softver, orkestracija i neprivlačni operativni sloj

Hardver je glavna zvijezda. Planeri obavljaju posao.

AI podatkovni centar je beskoristan ako poslovi ne mogu pronaći GPU-ove, ako dva tima ne mogu dijeliti klaster bez tuče, ako se neuspjeli rang ne može zamijeniti, ako firmver drifta sve dok se fabrica ne pokvari u usporenom snimku. Orkestracija, uočljivost, ograničavanje snage - neglamurozni operativni sloj, koji je ono što vam daje do znanja da je važan.

Imam slabost za ovaj sloj. Također, tamo gdje pogrešno konfigurirana mrežna kartica predstavlja problem s hlađenjem cijelo popodne... to otkrijete na teži način.

Kada čvor prestane raditi tokom izvršavanja

Čvor umire. Prozori za promjene i dalje se kolidiraju s izvršavanjima obuke koja ne mare za vaš kalendar. Grupno raspoređujete velike poslove, ograđujete inferencijalne bazene, pišete runbookove za kvarove koji izgledaju kao "posao je spor" sve dok ne izgledaju kao "posao je mrtav". Redundancija je i dalje važna - napajanje, hlađenje, putanje, pohrana - ali način kvara je manje uredan od starog slajda s devetkama neprekidnog rada. Inferencija: replika, isprazni bolesni čvor, nastavi odgovarati. Obuka želi kontrolne tačke, a ne optimizam.

Lokacija, voda, električna mreža i susjedi

Ne ispuštaš jedno od ovih pored vikendice zbog pogleda.

Priključak na mrežu je često pravi proces odabira lokacije. Zemljište je lakše u poređenju sa trafostanicom i komunalnim preduzećem koje ima i druge kupce. Voda za hlađenje, ako je koristite, postaje problem sa susjedima čim kiša postane nemilosrdna. Buka. Vizuelno povećanje obima. Toplina na graničnoj ogradi. Planerski odbori otkrivaju mišljenja o "oblaku" u trenutku kada mu zatrebaju polje i rijeka.

Latencija vuče u drugom smjeru. Inferencija voli biti blizu korisnika i međusobnih veza. Obuka se može sakriti na jeftinijim tržištima energije i hladnijim klimama. Industrija govori kao da postoji jedno savršeno mjesto. Ne postoji. Postoji kompromis sa saopštenjem za javnost.

Preostala toplina i nepozvana peć

Brošure obožavaju ovaj dio. Cjevovodom usmjerite otpadnu toplinu u domove, bazene, staklenike; to je lijepa rečenica. Ponekad je okružna petlja istinita. Ponekad je kampus na pogrešnom mjestu, a toplina i dalje odlazi u zrak. Skeptičan sam prema verziji iz brošure; nisam skeptičan prema fizici.

Kome je potreban (i ko bi trebao iznajmiti)

Većina ljudi ne mora posjedovati jednu od ovih dvorana.

Kratka lista:

• Hiperskaleri, jer je proizvod flota

• Laboratorije, kada je vrijeme čekanja u redu usko grlo ili podaci ne mogu izaći

• Banka, bolnička grupa, vlada ili proizvođač sa tajnim skupom podataka - lokalno ili u privatnom kolo kavezu - može biti racionalan, čak i ako je u pitanju greška

Svi ostali bi trebali iznajmiti. Kolokacija s gustoćom spremnom za vještačku inteligenciju. Rezervacija u oblaku. Upravljani klaster. Dobijate akceleratore, a da istovremeno ne postanete operater elektrane. Romansa blijedi prvi put kada neko pita ko je dežurni za rashladnu petlju u 3 ujutro.

Moram priznati da postoji i ponos. Posjedovanje klastera osjeća se kao posjedovanje sredstava za predviđanje. Onda stigne račun za struju i ponos nestaje.

Čemu služi zgrada

Dakle, šta je AI podatkovni centar? Specijalizirani kampus visoke gustoće gdje su akceleratori, napajanje, hlađenje, tkanina i skladištenje organizirani oko modela obuke i opsluživanja - nije IT opće namjene s GPU-om u uglu. Izgleda kao skladište. Ponaša se kao elektrana koja radi matematiku.

Ako se ničega drugog ne sjećate: čipovi dobijaju slavu; trafostanica, rashladna tekućina i mreža odlučuju da li su ti čipovi bili dobra ideja. Obuka i zaključivanje mogu dijeliti krov; i dalje žele različite manire. Većina organizacija bi trebala iznajmljivati. Nekoliko bi trebalo graditi. Susjedi će primijetiti u svakom slučaju.

Oblak je oduvijek imao zgradu. Ovih dana zgrada ima mišljenja.

Primjer iz stvarnog svijeta: Dvostruka ćelija za obuku kada slike ne mogu izaći

Scenarij

Tomos je voditelj infrastrukture u Kestrel Precisionu, proizvođaču sa 400 zaposlenika u West Midlandsu. Već imaju malu lokalnu halu: ERP, dijeljenje datoteka, virtualne mašine, miješano susjedstvo s kojim je ovaj članak započeo. Zračno hlađenje. Obični Ethernet. SAN koji je savršeno pristojan za uredske diskove.

Tim za mašinski vid treba da obuči model inspekcije na fabričkim fotografijama. Fotografije ne mogu napustiti lokaciju. One prikazuju proces koji kompanija neće staviti na cloud disk, čak ni na privatni. Rješenje nabavke su četiri servera sa dvostrukim akceleratorom i slajd pod nazivom "naš AI podatkovni centar". Serveri se smještaju u dva postojeća racka, jer ima prostora, a prostor se činio kao ograničenje.

Nije. U roku od dvije sedmice, GPU-i zvuče zauzeto, a zatim se tiho usporavaju. Poslovi se usporavaju kada kontrolna tačka dođe do SAN-a. Čvor se ugasi u jedanaest sati i rad je jednostavno... nestao. Tomos nije propustio kupiti čipove. Kupio je gomilu skupih radnih stanica koje dijele poštanski broj. Zgrada je i dalje bila poslovna hala.

Ne treba im kampus, nova trafostanica ili rijeka. Potrebna im je mala ćelija koja se ponaša kao minijaturni podatkovni centar umjetne inteligencije: napajanje koje police mogu zadržati, toplina koja izlazi bez zagrijavanja čipova, tkanina koju obuka može koristiti, pohrana koja može preuzeti kontrolnu točku i priručnik za slučaj da čvor prestane raditi. Budući da slike ne mogu izlaziti, iznajmljivanje kolo kaveza udaljenog četrdeset minuta nije rješenje. Naknadna ugradnja dva police jeste.

Šta je ćeliji potrebno

• Izmjereni budžet napajanja u tom redu, od PDU-ova, a ne sa liste želja za GPU-om. Ako slobodni kapacitet ne može napajati četiri servera pri opterećenju treninga, razgovor se tu zaustavlja i oni razmatraju gušću boju, a ne čudo

• Hlađenje zraka nikada nije bilo potrebno za ovu gustoću: izmjenjivači topline na stražnjim vratima ako ih dvorana može podnijeti, ili mala tekuća petlja ako to može podnijeti. Ako nijedno od toga, serveri se ne ugrađuju

• Namjenska visokopropusna mreža između četiri čvora, a ne kancelarijski Ethernet. Ako dobavljač ima samo 10 Gb switch u katalogu, to nije klaster

• Lokalna brza pohrana za kontrolne točke i fragmente za obuku, ne VM SAN

• Planer, interval kontrolnih tačaka i pisana putanja ponovnog pokretanja. Hardver je glavna zvijezda. Ovaj sloj je posao

• Ograđena kutija za zaključivanje za fabričku liniju, odvojena od treninga, jer posluživanje zahtijeva latenciju repa i izolaciju, a ne kolektivnu

• Dozvola za evidentiranje napajanja, GPU taktova, događaja gasa i zidnog takta posla. Ako ih ne mogu pregledati, fotografirat će GPU-ove i propustiti prekidače

Primjer upute

Tomos to navodi u opisu objekta, jednostavnim jezikom:

Ne nazivajte ovo kampusom za vještačku inteligenciju. Izgradite ćeliju za obuku sa dva racka u postojećoj hali za četiri servera sa dva akceleratora. Fabričke slike ostaju na lokaciji. Uspjeh je: četiri čvora završavaju recept za inspekciju i obuku od 12 epoha bez termalnog prigušivanja, pišu kontrolnu tačku za nekoliko minuta, a ne za desetine minuta, i nastavljaju od te kontrolne tačke kada namjerno uništimo rang. Hlađenje mora održavati GPU-ove na njihovim taktovima za obuku. Umrežavanje mora biti struktura koju te četiri kutije dijele, a ne put kroz kancelarijski stek. Skladištenje mora hraniti čipove. Ako izmjenjivači toplote na zadnjim vratima ne odgovaraju, recite to i stanite. Nemojte navoditi PUE za dva racka u mješovitoj hali. Taj broj bi bio pozorište.

Zatim ovo stavlja u sam posao obuke:

Kontrolna tačka svakih 30 minuta do lokalnog brzog bazena. Ako igrač na poziciji umre, ponovo počnite od posljednje kompletne kontrolne tačke. Nemojte čekati na SAN. Nemojte nastavljati trening dok su sati pali od zagrijavanja. Zabilježite to i zaustavite kako bismo mogli vidjeti štand.

Dobar sat izgleda ovako: svih osam GPU-a na taktovima za obuku, datoteka kontrolne tačke je u toku, posao je i dalje usklađen. Loš sat izgleda ovako: ventilatori rade punom parom, taktovi su usporeni, kontrolna tačka je ispisana na 2% nakon deset minuta, a neko u kancelariji kaže "klaster je pokrenut". Pokrenut nije trening.

Kako to testirati

Oni pišu test prije adaptacije, što je i cijela poenta nepovjerenja demo verziji.

• Isti recept iz 12 epoha, istih 120.000 inspekcijskih fotografija, osam snimanja

• Vremensko mjerenje je zidni sat do završenog recepta, uključujući i svako ponovno pokretanje, mjereno od slanja zadatka do posljednje kontrolne tačke epohe 12

• Preskakanje toplote: Taktovi GPU-a ostaju na ciljanoj vrijednosti za trening tokom izvršavanja. Događaj smanjenja brzine je neuspjeh čak i ako se zadatak na kraju završi

• Propust za pohranu: vrijeme pisanja na kontrolnoj tački, medijan i najgori, iz dnevnika posla

• Preskakanje strukture: posao ne stoji u kolektivnom čekanju dok je čin zdrav. Ako ne vide to čekanje, instrumentacija nije završena

• Dva od osam trčanja namjerno gube rang u fiksnom koraku kako bi se testirao put ponovnog pokretanja

• Inferencija je zaseban test od 200 slika, od fabričke linije do ograđene kutije za serviranje. Uspjeh u treningu se ne računa kao uspjeh u serviranju

• Oni bilježe snagu rack-a iz PDU-ova u uzorcima od 15 minuta tako da niko ne mora izmišljati megavat

Prihvatanje nazivanja ćelije "AI-spremnom": 8 od 8 recepata je završeno; 0 od 8 pokazuje termalni gas; oba ugašena izvršavanja se nastavljaju; kontrolne tačke ostaju za nekoliko minuta. Ako to propuste, i dalje imaju serversku sobu sa fensi grafičkim karticama.

Rezultat

Ilustrativni rezultat, iz izmišljenog testa od osam ponavljanja, a ne objavljene Kestrelove slike.

Pretpostavke: četiri servera sa dvostrukim akceleratorom u dva racka; jedan model inspekcije; 120.000 fotografija; osam pokretanja fiksnog recepta od 12 epoha; zidni sat uključuje ponovna pokretanja dok se recept ne završi; ograničenje znači zabilježeni pad sata za obuku; vrijeme kontrolne tačke je pisanje, a ne želja; napajanje racka su uzorci PDU-a, a ne PUE iz kampusa.

Prije adaptacije, GPU-ovi u običnim zračnim hlađenim rackovima na kancelarijskom Ethernetu i VM SAN-u:

• 5 od 8 trčanja završeno je iz prvog pokušaja. Prosječno vrijeme na zidu među tih pet: 14 sati

• 3 od 8 su morala ponovo pokrenuti nakon zastoja oko 11 sati (dva nakon što je čvor prestao raditi sa zastarjelom kontrolnom tačkom, jedan nakon što je kontrolna tačka popunila SAN). Trenutni ponovni pokušaj, bez čekanja preko noći u satu: 11 sati izgubljeno plus 14 sati drugog pokušaja, ili 25 sati do završenog recepta na ta tri

• Prosječno vrijeme potrebno za završetak recepta za svih osam, uključujući ponovna pokretanja: 18 sati. (Pet sa 14, tri sa 25. Medijana svih osam je i dalje 14, što bi sakrilo ponovna pokretanja. Zato je ovdje prosjek osnovna vrijednost.)

• Termalni gas je zabilježen u 7 od 8 pokušaja. Srednje vrijeme na smanjenom taktu: 3 sata u 14-satnom pokušaju

• Pisanje na kontrolnoj tački: medijan 22 minute

• Ubijanje rangom nije bio test koji su mogli proći. Nisu imali priručnik s pravilima. Dvije slučajne smrti bile su otkriće

• Vršno IT opterećenje na dva racka tokom treninga: oko 18 kW. Red je imao dovoljno vati. Nije imao hlađenje niti materijal

Nakon izmjenjivača topline na stražnjim vratima na ta dva racka, namjenske strukture između četiri čvora, malog NVMe bazena za kontrolne točke, 30-minutnog kontrolnog testiranja i runbooka za ponovno pokretanje:

• 8 od 8 je završilo iz prvog pokušaja. Srednje vrijeme na zidnom satu: 9 sati

• Termalni gas: 0 od 8

• Pisanje na kontrolnoj tački: medijan 90 sekundi. Najgore u setu: 3 minute

• Dva namjerna ubistva u rangu su nastavljena od posljednje 30-minutne kontrolne tačke. Dodatno vrijeme na te dvije runde: oko 40 minuta svaka, uključujući dijagnozu, tako da su te dvije runde sjedile blizu 9 sati i 40 minuta. Prosječno vrijeme nakon osam rundi mirovanja je 9 sati

• Vršno IT opterećenje je i dalje oko 18 kW. Isti čipovi. Različito ponašanje zgrade

U ovom uzorku, prosječno vrijeme do završetka recepta palo je sa 18 sati na 9 sati, ili 9 sati po receptu, 72 sata u osam ciklusa. Broj završenih iz prvog pokušaja pao je sa 5 od 8 na 8 od 8. Broj gasa pao je sa 7 od 8 na 0 od 8. Taj posljednji broj govori da li su kupili akceleratore ili utege za papir. Neće promjenu vremena nazvati uštedom od 50% u proizvodnji. Osam ciklusa je mali, jednostavan skup.

Ove brojke su primjer procjene zasnovane na navedenom testu, malom uzorku, jednom modelu i jednoj mješovitoj sali. One nisu PUE, nisu megavat na kampusu, niti dokaz da bi Kestrel trebao izgraditi poligon za obuku na polju. Pregled zapisnika je trajao unutar 9 sati; nisu to sakrili. Brojka od 18 kW je zaokruženo očitanje PDU-a, a ne račun za komunalne usluge. Nisu pretvorili 72 sata u trošak, jer bi fabrička mješovita cijena električne energije bila lažna poslovna osnova.

Provjera serviranja bila je odvojena i manja: 200 linijskih slika do ograđenog prostora, sve na licu mjesta. To je zaključivanje, a ne trening. Miješanje ta dva bi bila greška hibridne dvorane u malom.

Šta može poći po zlu

• Nabavka stalno naziva četiri servera "AI podatkovnim centrom". Oznaka skriva vodovodne instalacije, a sljedeća kupovina su još GPU-a za isti bolesni prolaz

• Izmjenjivači na stražnjim vratima se uključuju, a niko ne pušta u rad stranu s vodom. Ventilatori i dalje viču. Satovi i dalje otkucavaju

• Fabric je jedan prekidač bez rezervne putanje. Jedan link koji je u kvaru i "klaster" se opet sastoji od četiri radne stanice

• Kontrolne tačke ostaju na SAN-u jer je NVMe bazen bio u "fazi dva". Faza dva ne stiže prije sljedećeg neaktivnog čvora

• Navode PUE za dva regala u miješanoj hali. Klima, granice i ostatak ERP reda čine taj omjer kostimom

• Obuka i opsluživanje dijele strukturu. Poplava kontrolnih tačaka tjera fabričku liniju da čeka. Latencija repa je proizvod tamo, a ne gustoća

• Čvor se ugasi, a neko ga tretira kao tiket za vrijeme rada umjesto ponovnog pokretanja kontrolne tačke. Operateri za preduzeća i operateri za vještačku inteligenciju razgovaraju jedno preko drugog cijelo popodne

• Mogli su iznajmiti kavez, ali slike ne mogu otići. Zaboravljajući to ograničenje, upuštaju se u razgovor u oblaku u kojem će se morati opustiti

Praktična informacija

Ono što je AI podatkovni centar, u ovom obliku, nije skladište i nije faktura za GPU. To je ćelija koja omogućava akceleratorima da završe proces: snaga koju mogu zadržati, toplina koja izlazi, tkanina, kontrolna tačka i neko ko je odgovoran kada određeni rang umre. Kestrelu nije bio potreban kampus. Trebala su im dva racka da prestanu da se pretvaraju. Većina timova bi trebala iznajmiti takvo ponašanje. Nekoliko njih, sa tajnim skupom podataka i dvoranom koja može podnijeti toplinu, trebalo bi da izgradi ćeliju i odbije tobogan.

Često postavljana pitanja

Šta je AI podatkovni centar?

Računarska lokacija visoke gustoće gdje su napajanje, hlađenje, umrežavanje i pohrana usmjereni na paralelno treniranje i posluživanje modela, a ne na uredne redove servera opće namjene. Dizajnirana je tako da ogroman broj akceleratora može trenirati i posluživati ​​modele bez "topljenja", zastoja na mreži ili čekanja na disku. Obična poslovna hala je mješovito susjedstvo. Hala za umjetnu inteligenciju je monokultura čija je jedinica vrijednosti akcelerator, poput GPU-a ili čipova u TPU stilu. Izgleda kao skladište, a ponaša se kao elektrana koja radi matematiku.

Po čemu se AI podatkovni centar razlikuje od običnog podatkovnog centra?

Tradicionalne dvorane optimiziraju mješovita opterećenja i vrijeme rada za mnogo malih usluga. AI lokacije mijenjaju omjere: gustoća raste, mreža postaje tkanina bez koje posao obuke ne može funkcionirati, a pohrana podataka mora održavati kontrolne točke u pokretu ili akceleratore neaktivnima. Korporativne operacije razmišljaju o tiketima i prozorima za promjenu. AI operacije razmišljaju o redovima čekanja za poslove i mučnom osjećaju kada čvor prestane s radom na duge staze. I dalje biste mogli pozvati oba podatkovna centra. Oznaka samo skriva vodovodne instalacije.

Zašto podatkovni centri umjetne inteligencije troše toliko energije?

Istaknuti hardver nije pametni CPU. To je akceleratorski dio: GPU-ovi ili drugi AI čipovi, spakovani u servere, zatim u rackove, pa u redove koji dijele fabricu visoke propusnosti. Gustoća po racku je preokret u priči: manje rackova, svaki od njih je mala peć. Megavati IT opterećenja pojavljuju se kada se dvorana napuni, iako se ne isplati izmišljati tipičnu brojku. Ograničavajući faktor je često trafostanica, a ne lista želja za GPU-ovima.

Kako se hlade podatkovni centri umjetne inteligencije?

Rackovi visoke gustoće odvode toplinu na način na koji se od zraka nikada nije tražilo da se nosi. Možete jače potisnuti zrak pomoću izmjenjivača topline na stražnjim vratima, toplijih prolaza i pametnog zadržavanja. Zatim se pojavljuje tekućina: hlađenje direktno na čip, rashladne petlje i uranjanje u nekoliko dizajna. Akcelerator koji smanjuje potrošnju je onaj za koji ste već platili i ne možete ga u potpunosti iskoristiti. PUE je i dalje važan jer svaki vat potrošen na ventilatore i pumpe je vat koji nije otišao u GPU. Voda je također u priči: neke biljke pijuckaju, neke gutaju.

Zašto je umrežavanje toliko važno kao i grafički procesori (GPU)?

Trening je razgovor: hiljade akceleratora razmjenjuju gradijente, parametre i fragmente modela u bliskoj sinhronizaciji. Ako se struktura (fabric) pokvari, cijeli posao čeka na najsporiji skok. Zato su AI dvorane opsjednute umrežavanjem visoke propusnosti, niskom latencijom, InfiniBand strukturama ili Ethernetom u istoj ulozi, te topologijama koje se ne prepolovljuju kada veza zakaže. Inferencija brine o latenciji repa, mnogim manjim zahtjevima i izolaciji. U ovoj zgradi, vodovod je restoran.

Za šta se koristi AI Data Center: za obuku ili zaključivanje?

Obuka je kampanja: sastavite klaster, unesite podatke, redovno ga kontrolišite i radite satima ili sedmicama. Inferencija je izlog: modeli su već obučeni, sada odgovaraju, s latencijom koja je bitna. Kampusi za obuku jure snagu, zemljište i gustinu. Lokacije za inferenciju jure latenciju i prisustvo. Hibridne hale postoje jer kapital nije beskonačan, ponekad jedna hala s dvije petlje hlađenja. Nešto stariji akcelerator u blizini kupca može pobijediti glamurozni akcelerator na drugom kontinentu.

Zašto je skladištenje podataka važno u podatkovnom centru s umjetnom inteligencijom?

Podaci za obuku moraju stizati dovoljno brzo da GPU-ovi ne bi bili previše aktivni. Kontrolne tačke moraju se uspostaviti kako pad sistema ne bi bacio sedmicu. Težine modela moraju se učitati prije nego što se servirajuća replika pokrene. Propusnost memorije, ne samo kapacitet, je tiho usko grlo. Možete potrošiti bogatstvo na akceleratore i izgladnjivati ​​ih jednostavnim nizom dizajniranim za virtuelne mašine.

Šta se dešava kada čvor prestane sa radom usred procesa?

Jedan neaktivni akcelerator u čvrsto povezanom zadatku obuke može zaustaviti cijeli hor. Obuka traži kontrolne tačke, a ne optimizam. Inferencija iscrpljuje bolesni čvor, održava repliku u odgovoru i ostaje aktivna. Prozori promjena i dalje se kolidiraju sa izvršavanjima obuke koja ne mare za vaš kalendar. Redundancija je i dalje važna za napajanje, hlađenje, putanje i pohranu, ali način kvara je manje uredan od starog slajda sa devet minuta neprekidnog rada.

Kakav je uticaj AI podatkovnog centra na mrežu, vodu i susjede?

Priključak na mrežu je često pravi proces odabira lokacije. Zemljište je lakše u poređenju sa trafostanicom i komunalnim preduzećem koje ima druge kupce. Voda za hlađenje, ako je koristite, postaje problem sa susjedima čim kiša postane nekontrolisana, zajedno sa bukom, vizuelnim zapreminama i toplotom na graničnoj ogradi. Obuka se može sakriti na jeftinijim tržištima električne energije i hladnijim klimama. Inferencija voli biti blizu korisnika. Ne postoji jedna savršena lokacija. Postoji kompromis sa saopštenjem za javnost.

Da li moram posjedovati podatkovni centar zasnovan na umjetnoj inteligenciji ili bih trebao iznajmiti?

Većina ljudi ne mora posjedovati jednu od ovih hala. Hiperskaleri grade jer je proizvod flota. Laboratorije grade kada je vrijeme čekanja usko grlo ili podaci ne mogu otići. Banka, bolnica, vlada ili proizvođač s tajnim skupom podataka mogu učiniti lokalni ili privatni kolo-kavez racionalnim. Svi ostali bi trebali iznajmiti: kolokaciju spremnu za umjetnu inteligenciju, rezervaciju u oblaku ili upravljani klaster. Dobijate akceleratore bez da postanete operater elektrane.

Reference

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Zelena mreža - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Institut za neprekidni rad - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Pronađite najnoviju umjetnu inteligenciju u službenoj trgovini AI Assistant

O nama