Kako implementirati AI modele

Kako implementirati AI modele

Kratak odgovor: Implementacija AI modela znači odabir obrasca posluživanja (u realnom vremenu, u serijama, streaming ili na rubu mreže), a zatim omogućavanje reproducibilnosti, vidljivosti, sigurnosti i reverzibilnosti cijele putanje. Kada sve verzirate i mjerite latenciju p95/p99 na produktivnim resursima, izbjegavate većinu grešaka tipa "radi na mom laptopu".

Ključne zaključke:

Obrasci implementacije: Odaberite implementaciju u realnom vremenu, serijsku implementaciju, streaming ili implementaciju na rubu mreže prije nego što se odlučite za alate.

Reproducibilnost: Verzirajte model, funkcije, kod i okruženje kako biste spriječili pomicanje.

Uočljivost: Kontinuirano pratiti repove latencije, greške, zasićenost i distribucije podataka ili izlaza.

Sigurna uvođenja: Koristite canary, blue-green ili shadow testiranje s automatskim pragovima vraćanja.

Sigurnost i privatnost: Primijenite autorizaciju, ograničenja brzine i upravljanje tajnama te minimizirajte PII u zapisnicima.

Kako implementirati AI modele? Infografika

Članci koje biste možda željeli pročitati nakon ovog: 

🔗 Kako mjeriti performanse umjetne inteligencije
Naučite metrike, referentne vrijednosti i provjere iz stvarnog svijeta za pouzdane rezultate umjetne inteligencije.

🔗 Kako automatizirati zadatke pomoću umjetne inteligencije
Pretvorite repetitivne poslove u tokove rada pomoću uputa, alata i integracija.

🔗 Kako testirati AI modele
Dizajnirajte evaluacije, skupove podataka i bodovanje kako biste objektivno uporedili modele.

🔗 Kako razgovarati sa vještačkom inteligencijom
Postavljajte bolja pitanja, postavite kontekst i brzo dobijte jasnije odgovore.

1) Šta "implementacija" zaista znači (i zašto to nije samo API) 🧩

Kada ljudi kažu "implementirati model", mogu misliti na bilo šta od ovoga:

Dakle, implementacija je manje "učiniti model dostupnim" a više kao:

To je kao otvaranje restorana. Kuhanje odličnog jela je važno, sigurno. Ali i dalje vam je potrebna zgrada, osoblje, hlađenje, jelovnici, lanac snabdijevanja i način da se nosite sa žurbom za večerom bez plakanja u zamrzivaču. Nije savršena metafora... ali shvatate. 🍝

2) Šta čini dobru verziju priručnika „Kako implementirati AI modele“ ✅

"Dobro raspoređivanje" je dosadno na najbolji način. Ponaša se predvidljivo pod pritiskom, a kada se ne ponaša tako, možete to brzo dijagnosticirati.

Evo kako obično izgleda "dobro":

  • Reproducibilne verzije
    Isti kod + iste zavisnosti = isto ponašanje. Nema jezivih vibracija "radi na mom laptopu" 👻 ( Docker: Šta je kontejner? )

  • Jasan ugovor interfejsa.
    Definisani su ulazi, izlazi, sheme i granični slučajevi. Nema iznenađujućih tipova u 2 ujutro. ( OpenAPI: Šta je OpenAPI?, JSON shema )

  • Performanse koje odgovaraju stvarnosti
    Latencija i propusnost mjerene na hardveru sličnom produkcijskom i realističnim korisnim opterećenjima.

  • Praćenje zubima
    Metrike, logovi, tragovi i provjere pomaka koje pokreću akciju (ne samo kontrolne ploče koje niko ne otvara). ( SRE knjiga: Praćenje distribuiranih sistema )

  • Strategija sigurne implementacije:
    Canary ili plavo-zelena, jednostavno vraćanje na prethodno stanje, verzioniranje koje ne zahtijeva "molitve". ( Canary izdanje , plavo-zelena implementacija )

  • Svijest o troškovima
    "Brzo" je odlično sve dok račun ne izgleda kao broj telefona 📞💸

  • Sigurnost i privatnost ugrađeni u
    upravljanje tajnama, kontrolu pristupa, rukovanje PII podacima i mogućnost revizije. ( Kubernetes Secrets , NIST SP 800-122 )

Ako to možete raditi dosljedno, već ste ispred većine timova. Budimo iskreni.

3) Odaberite pravi obrazac implementacije (prije nego što odaberete alate) 🧠

Zaključivanje API-ja u realnom vremenu ⚡

Najbolje kada:

  • Korisnicima su potrebni trenutni rezultati (preporuke, provjere prevara, chat, personalizacija)

  • odluke se moraju donijeti tokom zahtjeva

Oprez:

Grupno bodovanje 📦

Najbolje kada:

  • predviđanja mogu biti odložena (preko noći bodovanje rizika, predviđanje odliva, obogaćivanje ETL-a) ( Amazon SageMaker Batch Transform )

  • Želite isplativost i jednostavnije operacije

Oprez:

  • svježina podataka i dopunjavanja

  • održavanje logike funkcija u skladu s obukom

Zaključivanje o streamingu 🌊

Najbolje kada:

  • Kontinuirano obrađujete događaje (IoT, clickstreamovi, sistemi za praćenje)

  • Želite odluke gotovo u stvarnom vremenu bez strogog sistema zahtjeva i odgovora

Oprez:

Implementacija na rubu mreže 📱

Najbolje kada:

Oprez:

Prvo odaberite uzorak, a zatim odaberite stek. U suprotnom ćete završiti tako da kvadratni model bude prisiljen u okrugli model. Ili nešto slično. 😬

4) Pakovanje modela kako bi preživio kontakt s proizvodnjom 📦🧯

Ovdje većina „jednostavnih implementacija“ tiho umire.

Verzija svega (da, svega)

  • Artefakt modela (težine, graf, tokenizator, mape oznaka)

  • Logika karakteristika (transformacije, normalizacija, enkoderi)

  • Inferencijski kod (prethodna/naknadna obrada)

  • Okruženje (Python, CUDA, sistemske biblioteke)

Jednostavan pristup koji funkcioniše:

  • tretirajte model kao artefakt izdanja

  • pohranite ga s oznakom verzije

  • zahtijeva datoteku metapodataka u obliku kartice modela: shema, metrike, bilješke o snimcima podataka za obuku, poznata ograničenja ( Kartice modela za izvještavanje o modelu )

Kontejneri pomažu, ali ih nemojte obožavati 🐳

Kontejneri su odlični jer:

Ali i dalje morate upravljati:

  • ažuriranja osnovnih slika

  • Kompatibilnost drajvera za grafičku procesorsku karticu

  • sigurnosno skeniranje

  • veličina slike (niko ne voli "zdravo svijete" od 9 GB) ( najbolje prakse za izgradnju Dockera )

Standardizirajte interfejs

Odlučite se unaprijed o formatu ulaza/izlaza:

  • JSON radi jednostavnosti (sporiji, ali prijateljski) ( JSON shema )

  • Protobuf za performanse ( Pregled protokolnih bafera )

  • korisni sadržaji zasnovani na datotekama za slike/audio (plus metapodaci)

I molimo vas da validirate unose. Nevažeći unosi su glavni uzrok tiketa tipa "zašto vraća besmislene poruke". ( OpenAPI: Šta je OpenAPI?, JSON Schema )

5) Opcije posluživanja - od "jednostavnog API-ja" do servera s punim modelom 🧰

Postoje dvije uobičajene rute:

Opcija A: Aplikacijski server + inferencijski kod (pristup u stilu FastAPI-ja) 🧪

Pišete API koji učitava model i vraća predviđanja. ( FastAPI )

Prednosti:

  • lako se prilagođava

  • odlično za jednostavnije modele ili proizvode u ranoj fazi

  • jednostavna autorizacija, usmjeravanje i integracija

Nedostaci:

  • vlastito podešavanje performansi (batching, threading, iskorištenost GPU-a)

  • Izmislit ćeš neke stvari ponovo, možda loše u početku

Opcija B: Model servera (pristup u stilu TorchServe / Triton) 🏎️

Specijalizovani serveri koji obrađuju:

Prednosti:

  • bolji obrasci performansi odmah po instalaciji

  • jasnije razdvajanje između posluživanja i poslovne logike

Nedostaci:

  • dodatna operativna složenost

  • Konfiguracija može djelovati... nezgodno, kao podešavanje temperature tuša

Hibridni uzorak je vrlo uobičajen:

6) Tabela poređenja - popularni načini implementacije (sa iskrenim vibracijama) 📊😌

U nastavku slijedi praktičan pregled opcija koje ljudi zapravo koriste kada pokušavaju shvatiti kako implementirati AI modele .

Alat / Pristup Publika Cijena Zašto to funkcioniše
Docker + FastAPI (ili slično) Mali timovi, startupi Slobodno Jednostavno, fleksibilno, brzo za isporuku - ipak ćete "osjetiti" svaki problem skaliranja ( Docker , FastAPI )
Kubernetes (uradi sam) Platformski timovi Infra-zavisno Kontrola + skalabilnost… također, mnogo dugmadi, neka od njih su ukleta ( Kubernetes HPA )
Platforma za upravljano ML (usluga ML u oblaku) Timovi koji žele manje operacija Plaćanje po korištenju Ugrađeni tokovi rada za implementaciju, hookovi za praćenje - ponekad skupi za krajnje tačke koje su uvijek uključene ( implementacija Vertex AI-a , SageMaker zaključivanje u realnom vremenu )
Serverless funkcije (za lagano zaključivanje) Aplikacije vođene događajima Plaćanje po korištenju Odlično za gužve u saobraćaju - ali hladni startovi i veličina modela mogu vam pokvariti dan 😬 ( AWS Lambda hladni startovi )
NVIDIA Triton Inference Server Timovi usmjereni na performanse Besplatan softver, troškovi infrastrukture Odlična iskorištenost GPU-a, batching, višemodelni - konfiguracija zahtijeva strpljenje ( Triton: Dinamičko batching )
TorchServe Timovi koji koriste najviše PyTorcha Besplatni softver Pristojni zadani obrasci posluživanja - možda će biti potrebno podešavanje za veliku skalu ( TorchServe dokumentacija )
BentoML (ambalažu + serviranje) Inženjeri strojnog učenja Besplatno jezgro, dodaci variraju Glatko pakovanje, ugodno iskustvo za programere - i dalje su vam potrebni izbori infrastrukture ( BentoML pakovanje za implementaciju )
Ray Serve Ljudi koji se bave distribuiranim sistemima Infra-zavisno Horizontalno skaliranje, dobro za cjevovode - osjeća se "veliko" za male projekte ( dokumentacija Ray Servea )

Napomena za stolom: "Besplatno" je terminologija iz stvarnog života. Jer nikad nije besplatno. Uvijek negdje postoji račun, čak i ako je u pitanju vaš san. 😴

7) Performanse i skaliranje - latencija, propusnost i istina 🏁

Podešavanje performansi je mjesto gdje implementacija postaje vještina. Cilj nije "brzo". Cilj je konzistentno dovoljno brzo .

Ključne metrike koje su važne

Uobičajene poluge za povlačenje

  • Grupno objedinjavanje
    Kombinujte zahtjeve kako biste maksimalno iskoristili GPU. Odlično za propusnost, ali može smanjiti latenciju ako pretjerate. ( Triton: Dinamičko grupiranje )

  • Kvantizacija
    Niža preciznost (kao INT8) može ubrzati zaključivanje i smanjiti memoriju. Može neznatno smanjiti tačnost. Ponekad ne, iznenađujuće. ( Kvantizacija nakon obuke )

  • Kompilacija / optimizacija
    ONNX izvoza, optimizatori grafova, tokovi slični TensorRT-u. Moćno, ali debuggiranje može biti začinjeno 🌶️ ( ONNX , optimizacije ONNX Runtime modela )

  • Keširanje
    Ako se unosi ponavljaju (ili možete keširati ugrađene dijelove), možete mnogo uštedjeti.

  • Automatsko skaliranje
    Skaliranje na osnovu iskorištenosti CPU/GPU-a, dubine reda čekanja ili brzine zahtjeva. Dubina reda čekanja je podcijenjena. ( Kubernetes HPA )

Čudan, ali istinit savjet: mjerite s veličinama korisnog tereta sličnim produkcijskim. Sitni testni korisni tereti vas lažu. Oni se pristojno osmjehuju, a kasnije vas izdaju.

8) Praćenje i mogućnost posmatranja - nemojte letjeti naslijepo 👀📈

Praćenje modela nije samo praćenje vremena rada. Želite znati da li:

Šta pratiti (minimalni održivi skup)

Stanje usluge

Ponašanje modela

  • distribucije ulaznih karakteristika (osnovne statistike)

  • norme ugrađivanja (za modele ugrađivanja)

  • distribucije rezultata (pouzdanost, mješavina klasa, rasponi rezultata)

  • detekcija anomalija na ulazima (smeće na ulazu, smeće na izlazu)

Pomjeranje podataka i pomjeranje koncepata

Zapisivanje, ali ne pristup "zapisivanje svega zauvijek" 🪵

Zapisnik:

Budite oprezni s privatnošću. Ne želite da vaši logovi postanu izvor curenja podataka. ( NIST SP 800-122 )

9) CI/CD i strategije implementacije - tretirajte modele kao prava izdanja 🧱🚦

Ako želite pouzdane implementacije, izgradite cjevovod. Čak i jednostavan.

Čvrst tok

  • Jedinični testovi za prethodnu i naknadnu obradu

  • Integracijski test sa poznatim "zlatnim skupom" ulazno-izlaznih parametara

  • Osnovna linija testa opterećenja (čak i lagana)

  • Izgradnja artefakta (kontejner + model) ( Najbolje prakse za izgradnju Dockera )

  • Implementiraj u pripremno stanje

  • Puštanje kanarinca u mali dio prometa ( Puštanje kanarinca )

  • Postepeno povećavajte

  • Automatsko vraćanje na prethodne vrijednosti na ključnim pragovima ( Plavo-zelena implementacija )

Uzorci za razradu koji će vam sačuvati razum

I verzionirajte svoje krajnje tačke ili rute prema verziji modela. Budućnost će vam biti zahvalna. Sadašnjost će vam također biti zahvalna, ali tiho.

10) Sigurnost, privatnost i "molim vas, nemojte otkrivati ​​​​stvari" 🔐🙃

Osiguranje ima tendenciju da se pojavi kasno, kao nepozvani gost. Bolje ga je pozvati ranije.

Praktična kontrolna lista

  • Autentifikacija i autorizacija (ko može pozvati model?)

  • Ograničavanje brzine (zaštita od zloupotrebe i slučajnih oluja) ( usporavanje API Gateway-a )

  • Upravljanje tajnama (nema ključeva u kodu, nema ključeva ni u konfiguracijskim datotekama...) ( AWS Secrets Manager , Kubernetes Secrets )

  • Mrežne kontrole (privatne podmreže, politike između servisa)

  • Zapisnici revizije (posebno za osjetljiva predviđanja)

  • Minimizacija podataka (pohranjujte samo ono što morate) ( NIST SP 800-122 )

Ako model dodiruje lične podatke:

  • identifikatori za redigovanje ili hashiranje

  • izbjegavajte zapisivanje sirovih korisnih podataka ( NIST SP 800-122 )

  • definirajte pravila zadržavanja

  • protok podataka dokumenata (dosadno, ali zaštitno)

Također, promptno ubrizgavanje i zloupotreba izlaza mogu biti važni za generativne modele. Dodajte: ( OWASP Top 10 za LLM aplikacije , OWASP: Prompt Injection )

  • pravila za sanitizaciju unosa

  • filtriranje izlaza gdje je to prikladno

  • zaštitne ograde za pozivanje alata ili akcije u bazi podataka

Nijedan sistem nije savršen, ali ga možete učiniti manje krhkim.

11) Uobičajene zamke (tj. uobičajene zamke) 🪤

Evo su klasici:

Ako ovo čitate i mislite „da, radimo dva takva“, dobrodošli u klub. Klub ima grickalice i blagi stres. 🍪

12) Zaključak - Kako implementirati AI modele bez gubitka razuma 😄✅

Implementacija je mjesto gdje vještačka inteligencija postaje pravi proizvod. Nije glamurozno, ali se time stiče povjerenje.

Kratak pregled

I da, kako implementirati AI modele u početku može izgledati kao žongliranje zapaljenim kuglama za kuglanje. Ali kada se vaš proces stabilizuje, postaje čudno zadovoljavajuće. Kao da konačno organizujete pretrpanu ladicu... samo što je ladica proizvodni promet. 🔥🎳

Često postavljana pitanja

Šta znači implementirati AI model u produkciji

Implementacija AI modela obično uključuje mnogo više od pukog izlaganja API-ja za predviđanje. U praksi, to uključuje pakovanje modela i njegovih zavisnosti, odabir obrasca posluživanja (u realnom vremenu, u serijama, streamingu ili na rubu mreže), skaliranje s pouzdanošću, praćenje stanja i drifta, te postavljanje sigurnih putanja implementacije i vraćanja na prethodno stanje. Čvrsta implementacija ostaje predvidljivo stabilna pod opterećenjem i ostaje dijagnosticirana kada nešto pođe po zlu.

Kako odabrati između implementacije u realnom vremenu, grupne implementacije, strimovanja ili implementacije na rubu mreže

Odaberite obrazac implementacije na osnovu toga kada su potrebna predviđanja i ograničenja pod kojima radite. API-ji u realnom vremenu odgovaraju interaktivnim iskustvima gdje je latencija bitna. Grupno bodovanje najbolje funkcioniše kada su kašnjenja prihvatljiva, a isplativost vodeća. Streaming odgovara kontinuiranoj obradi događaja, posebno kada semantika isporuke postane zahtjevna. Implementacija na rubu mreže idealna je za rad van mreže, privatnost ili zahtjeve za ultra niskom latencijom, iako ažuriranja i varijacije hardvera postaju teže za upravljanje.

Koju verziju treba koristiti da bi se izbjegle greške pri implementaciji koje zahtijevaju funkciju "radi na mom laptopu"

Verzija je više od samih težina modela. Obično ćete htjeti verzionirani artefakt modela (uključujući tokenizatore ili mape oznaka), logiku predprocesiranja i funkcija, kod za zaključivanje i potpuno okruženje za izvršavanje (Python/CUDA/sistemske biblioteke). Tretirajte model kao artefakt izdanja s označenim verzijama i laganim metapodacima koji opisuju očekivanja sheme, bilješke o evaluaciji i poznata ograničenja.

Da li implementirati s jednostavnim servisom u stilu FastAPI-ja ili s namjenskim modelnim serverom

Jednostavan aplikacijski server (pristup u stilu FastAPI-ja) dobro funkcionira za rane proizvode ili jednostavne modele jer zadržavate kontrolu nad usmjeravanjem, autorizacijom i integracijom. Model server (u stilu TorchServe ili NVIDIA Triton) može odmah pružiti jače batching, konkurentnost i efikasnost GPU-a. Mnogi timovi se odluče na hibrid: model server za inferenciju plus tanki API sloj za autorizaciju, oblikovanje zahtjeva i ograničenja brzine.

Kako poboljšati latenciju i propusnost bez narušavanja tačnosti

Počnite mjerenjem latencije p95/p99 na hardveru sličnom produkcijskom okruženju s realističnim korisnim opterećenjima, budući da mali testovi mogu zavarati. Uobičajene poluge uključuju batching (bolji protok, potencijalno lošija latencija), kvantizaciju (manje i brže, ponekad sa skromnim kompromisima u pogledu tačnosti), tokove kompajliranja i optimizacije (slično ONNX/TensorRT) i keširanje ponovljenih ulaza ili ugrađivanja. Automatsko skaliranje zasnovano na dubini reda čekanja također može spriječiti porast latencije repa.

Kakav je monitoring potreban pored "krajnja tačka je aktivna"

Samo vrijeme rada nije dovoljno, jer usluga može izgledati zdravo dok kvalitet predviđanja opada. Minimalno, pratite količinu zahtjeva, stopu grešaka i distribuciju latencije, plus signale zasićenja poput CPU/GPU/memorije i vremena čekanja u redu. Za ponašanje modela, pratite distribuciju ulaza i izlaza zajedno s osnovnim signalima anomalija. Dodajte provjere drifta koje pokreću akciju umjesto bučnih upozorenja i evidentirajte ID-ove zahtjeva, verzije modela i ishode validacije sheme.

Kako sigurno uvesti nove verzije modela i brzo se oporaviti

Tretirajte modele kao puna izdanja, s CI/CD cjevovodom koji testira prethodnu i naknadnu obradu, pokreće provjere integracije u odnosu na "zlatni skup" i uspostavlja osnovnu liniju opterećenja. Za implementacije, Canary izdanja postepeno povećavaju promet, dok blue-green održava stariju verziju aktivnom za trenutni povratak. Shadow testiranje pomaže u procjeni novog modela na stvarnom prometu bez utjecaja na korisnike. Vraćanje na prethodno stanje treba biti mehanizam prve klase, a ne naknadna misao.

Najčešće zamke prilikom učenja implementacije AI modela

Neravnomjerna veza između obuke i produkcije je klasičan slučaj: predobrada se razlikuje između obuke i produkcije, a performanse se tiho smanjuju. Još jedan čest problem je nedostatak validacije sheme, gdje promjena uzvodno suptilno prekida ulazne podatke. Timovi također potcjenjuju latenciju repa i previše se fokusiraju na prosjeke, zanemaruju troškove (neaktivni GPU-ovi se brzo zbrajaju) i preskaču planiranje vraćanja na prethodno stanje. Praćenje samo vremena rada je posebno rizično, jer "aktivan, ali pogrešan" može biti gore od pada.

Reference

  1. Amazon Web Services (AWS) - Amazon SageMaker: Zaključivanje u realnom vremenu - docs.aws.amazon.com

  2. Amazon Web Services (AWS) - Amazon SageMaker Batch Transform - docs.aws.amazon.com

  3. Amazon Web Services (AWS) - Amazon SageMaker Model Monitor - docs.aws.amazon.com

  4. Amazon Web Services (AWS) - Ograničavanje zahtjeva API Gateway-a - docs.aws.amazon.com

  5. Amazon Web Services (AWS) - AWS Secrets Manager: Uvod - docs.aws.amazon.com

  6. Amazon Web Services (AWS) - Životni ciklus okruženja za izvršavanje AWS Lambda - docs.aws.amazon.com

  7. Google Cloud - Vertex AI: Implementacija modela na krajnju tačku - docs.cloud.google.com

  8. Google Cloud - Pregled praćenja Vertex AI modela - docs.cloud.google.com

  9. Google Cloud - Vertex AI: Praćenje nakrivljenosti i pomjeranja karakteristika - docs.cloud.google.com

  10. Google Cloud Blog - Protok podataka: načini strimovanja tačno jednom u odnosu na barem jednom - cloud.google.com

  11. Google Cloud - Načini strimovanja protoka podataka u oblaku - docs.cloud.google.com

  12. Google SRE knjiga - Praćenje distribuiranih sistema - sre.google

  13. Google istraživanje - Rep u velikoj mjeri - research.google

  14. LiteRT (Google AI) - LiteRT pregled - ai.google.dev

  15. LiteRT (Google AI) - LiteRT zaključivanje na uređaju - ai.google.dev

  16. Docker - Šta je kontejner? - docs.docker.com

  17. Docker - Najbolje prakse za izgradnju Dockera - docs.docker.com

  18. Kubernetes - Kubernetes Secrets - kubernetes.io

  19. Kubernetes - Automatsko skaliranje horizontalnog pod-a - kubernetes.io

  20. Martin Fowler - Izdanje za kanarince - martinfowler.com

  21. Martin Fowler - Plavo-zeleno raspoređivanje - martinfowler.com

  22. OpenAPI inicijativa - Šta je OpenAPI? - openapis.org

  23. JSON shema - (lokacija referencirana) - json-schema.org

  24. Protokolni baferi - Pregled protokolnih bafera - protobuf.dev

  25. FastAPI - (referencirana stranica) - fastapi.tiangolo.com

  26. NVIDIA - Triton: Dinamičko grupiranje i istovremeno izvršavanje modela - docs.nvidia.com

  27. NVIDIA - Triton: Istovremeno izvršavanje modela - docs.nvidia.com

  28. NVIDIA - Dokumentacija za Triton Inference Server - docs.nvidia.com

  29. PyTorch - TorchServe dokumentacija - docs.pytorch.org

  30. BentoML - Pakovanje za implementaciju - docs.bentoml.com

  31. Ray - Ray Poslužuje dokumente - docs.ray.io

  32. TensorFlow - Kvantizacija nakon treninga (Optimizacija modela TensorFlow) - tensorflow.org

  33. TensorFlow - Validacija podataka TensorFlow-a: otkrivanje nagiba prilikom obuke i posluživanja - tensorflow.org

  34. ONNX - (lokacija navedena) - onnx.ai

  35. ONNX Runtime - Optimizacije modela - onnxruntime.ai

  36. NIST (Nacionalni institut za standarde i tehnologiju) - NIST SP 800-122 - csrc.nist.gov

  37. arXiv - Kartice modela za izvještavanje o modelu - arxiv.org

  38. Microsoft - Shadow testiranje - microsoft.github.io

  39. OWASP - OWASP Top 10 za prijave na LLM - owasp.org

  40. OWASP GenAI sigurnosni projekat - OWASP: Brzo ubrizgavanje - genai.owasp.org

Pronađite najnoviju umjetnu inteligenciju u službenoj trgovini AI Assistant

O nama

Nazad na blog