ServiceNow-ov AutoSynthData pretvara neuspjehe agenata u zlato za obuku

Kratak odgovor: ServiceNow CoreAI-jev AutoSynthData pretvara neuspjehe agenata i uspjehe nastavnika u validirane sintetičke SFT zadatke kada preduzećima treba kompetencija u okruženju, a ne samo široki rezultati. On sanira praznine u kartice sa specifikacijama sposobnosti, množi provjerljiv rad, a zatim provjerava kvalitet prije finog podešavanja. Autor izvještava da su rezultati EnterpriseOps Gym dizanja važeći ako se snaga nastavnika, kvalitet verifikatora i vjernost okruženju poklapaju.

Ključne zaključke:

Kartice mogućnosti: Sanitizirajte greške u kartice tako da generatori nikada ne vide originalne ID-ove.

Provjerljivost verifikatora: Preferirajte SQL provjere konačnog stanja koje odbacuju mutirane pogrešne ishode.

Razred težine: Trenirajte samo zadatke koje ciljna osoba rijetko rješava, a nastavnik ih obično rješava.

Ljudski pregled: Održavajte ljudski pregled politika visokog rizika i nepovratnih radnji prije ponovne obuke.

Pomjeranje granice: Nakon SFT-a, ponovo procijenite i pomaknite Ciljnu fazu prema preostalim prazninama.

Agenti umjetne inteligencije u preduzećima rijetko ne uspijevaju jer im nedostaje općeg znanja. Ne uspijevaju jer je okruženje specifično: politike tiketa, neobičnosti shema, ugovori o alatima, baze podataka s početnim podacima, članci znanja i međusistemski tokovi rada koji ne izgledaju kao demonstracije iz udžbenika. Model koji dobro postiže na otvorenim testovima i dalje može zastati kada sljedeći korak mora poštovati prozor za promjene, CMDB odnos ili verifikator koji provjerava konačno stanje umjesto tečnog chata.

ServiceNow CoreAI / ServiceNow-AI su objavili AutoSynthData kako bi direktno popunili tu prazninu. Imenovani autor Esakkivel Esakkiraja opisuje proces koji pretvara neuspjehe ciljnog agenta - zajedno s uspjesima boljeg nastavnika - u validirane sintetičke zadatke obuke prilagođene poslovnim okruženjima. Poenta nije u prikupljanju više zapisa o chatu. Poenta je umnožiti težak, provjerljiv rad koji vježba istu sposobnost pod novim uvjetima, tako da nadzirano fino podešavanje može zatvoriti rupe specifične za okruženje.

Ovaj članak prolazi kroz osnovnu ideju, apstrakciju zadataka, petlju generiranja i kontrole kvalitete, zajedničku arhitekturu i rezultate koje je autor prijavio o EnterpriseOps Gymu u hibridnim i ITSM okruženjima. Ostaje pri onome što istraživanje opisuje: pokretni kurikulum sintetičkih zadataka, a ne tvrdnja da je bilo koje poduzeće odjednom riješeno.

Zašto je ekološka kompetencija bolja od širokih sposobnosti

Preduzećima su potrebni agenti koji rade u njihovom okruženju - njihovim sistemima, pravilima i stanju podataka. Široke mogućnosti nisu isto što i kompetencija u okruženju. Agent može znati kako obično funkcioniše upravljanje IT uslugama, a ipak propustiti lokalnu politiku koja zabranjuje određene prijelaze ili alat koji ažurira povezanu tabelu tek nakon što postoji preduvjetni zapis.

Pojedinačni neuspjesi su informativni, ali slabi poput podataka za obuku. Jedna prekinuta putanja pokazuje slabost; ne pruža desetine obližnjih situacija koje bi naučile model da se oporavi pod varijacijama. Timovima je potrebno mnogo novih zadataka koji na drugačiji način vježbaju istu sposobnost, ostaju dovršivi unutar okruženja, djeluju realistično kada korisnik zatraži i ostaju provjerljivi u odnosu na provjere ishoda.

To je dizajnerski pritisak koji stoji iza AutoSynthData. Neuspjesi postaju signali za kartice sposobnosti. Kartice postaju generatori novih zadataka. Jači nastavnik demonstrira uspješne putanje. Filteri i verifikatori odlučuju šta ulazi u nadzirani skup za fino podešavanje. Nakon obuke, evaluacija pomiče granicu prema preostalim prazninama. Petlja je oblikovana u skladu s nastavnim planom i programom, a ne kao jednokratni ispust podataka.

Uokviravanje je važno za praktičare. Ako pohranjujete samo neuspješne upite, riskirate pretjerano prilagođavanje tim tačnim entitetima i frazama. Ako generirate samo neograničene sintetičke upite, riskirate zadatke koji su nemogući, nerealni ili neprovjerljivi. AutoSynthData se nalazi između tih krajnosti: sanitizira ono što nije uspjelo u specifikaciju mogućnosti, a zatim regenerira zadatke koji zadržavaju čvrstu jezgru dok mijenjaju oblik površine i kontrolirane dimenzije.

Oblik praktičnog zadatka: sistem, prompt, verifikator

Prikladna apstrakcija za agentski rad je: zadatak jednak je sistemskoj specifikaciji, korisničkom upitu i verifikatoru. Svaki dio nosi ograničenja koja održavaju sintetičke podatke utemeljenima i pouzdanima.

Specifikacija sistema pokriva ograničenja, politike i početno stanje - na primjer, početne vrijednosti baze podataka i članke znanja. Mora ostati kompatibilna s dostupnim alatima i stanjem. Proizvoljna ograničenja težine koja ignoriraju ugovore alata ili realizam početnih vrijednosti imaju tendenciju stvaranja krhkih zadataka koji uče pogrešnu lekciju.

Kvalitet korisničkog upita ima tri aspekta. Izvodljivost pita da li postoji validna putanja. Realizam pita da li bi korisnik uvjerljivo to zatražio. Težina pita da li zadatak otkriva trenutnu slabost agenta, a ne nešto što meta već pouzdano rješava. Upit koji je trivijalan za metu rasipa budžet za obuku; upit koji je nemoguć rasipa povjerenje u evaluaciju.

Kvalitet verifikatora zavisi od konzistentnosti, ispravnosti i potpunosti. Previše labave i slabe trajektorije prolaze. Previše ograničavajuće na jednu trajektoriju i validna alternativna rješenja ne uspijevaju. Poslovna okruženja često preferiraju provjere ishoda zasnovane na SQL-u ili stanju jer one ocjenjuju svijet nakon što agent djeluje, a ne tačnu putanju tokena koju je agent prošao.

AutoSynthData se oslanja na ovu trijadu tako da generirani rad ostaje utemeljen. Generatori ne izmišljaju slobodno plutajuće kvizove. Oni proizvode zadatke koji se mogu izvršiti u adapteru okruženja i koje mogu procijeniti verifikatori koji vode računa o potrebnim svojstvima konačnog stanja.

Od dijagnostičke evaluacije do kartica sa specifikacijama mogućnosti

Proces počinje dijagnostičkom evaluacijom ciljnog agenta i jačeg nastavnika unutar okruženja. Uporedni pregledi otkrivaju gdje ciljni agent ne uspijeva, a gdje nastavnik uspijeva. Ti kontrastni slučajevi su sirovina za dizajn nastavnog plana i programa.

Sljedeća je destilacija u pročišćene kartice sa specifikacijama sposobnosti. Kartica bilježi testiranu sposobnost, relevantne alate ili oblik toka rada, gdje cilj ne uspijeva, a nastavnik uspijeva, potrebna svojstva konačnog stanja i dimenzije koje se mogu mijenjati kada se izmisle novi zadaci. Ključno je da generator ne prima originalne upute, entitete, trajektorije ili detalje verifikatora - samo kartice.

To čišćenje je namjerni potez protiv preopterećenja. Ako bi generator vidio tačne brojeve neuspjelih tiketa, ID-ove članaka znanja ili tragove nastavnika, bio bi u iskušenju da parafrazira istu epizodu. Kartice forsiraju apstrakciju: podučavaju sposobnost pod kontrolisanom varijacijom, a ne memorisanu instancu.

Nakon što kartice postoje, sistem generira nove zadatke iz njih. Nastavnik zatim demonstrira uspješne putanje za nadzirano fino podešavanje. Te demonstracije nisu savjeti u slobodnom obliku; to su uspjesi zasnovani na okruženju koji prolaze istu vrstu provjere koja je važna nastavnom planu i programu.

Dvofazna struktura skale. Ciljna faza fokusira se na uzorke provjerene u jezgru oko praznina - zadaci s najvišim signalom blizu mjesta gdje slabi agent pukne. Faza množenja stvara nove varijante prihvaćenih ciljeva. Umnoženi uzorci ne mogu dalje posijati runde množenja, što ograničava pomicanje. To pravilo je malo, ali važno: neograničena rekurzivna varijacija može odlutati od mogućnosti koju je kartica imenovala.

Dijeljeni kontroler, adapter okruženja i pokretna granica

Što se tiče arhitekture, AutoSynthData koristi zajednički kontroler plus adapter za okruženje. Kontroler orkestrira dijagnozu, kardiranje, generiranje, demonstracije za nastavnike, provjeru kvalitete i serijsku analizu. Adapter povezuje te korake s konkretnim poslovnim okruženjem - alatima, stanjem, politikama i verifikatorima - tako da ista kontrolna petlja može ciljati na različite domene bez prepisivanja logike nastavnog plana i programa od nule.

Nakon nadziranog finog podešavanja, cjevovod se ponovo evaluira. Nastavni plan i program se zatim pomiče prema preostalim prazninama: pokretnoj granici, a ne statičkom skupu podataka. Eksperimenti opisani u radu fokusiraju se na nadzirano fino podešavanje. Ista petlja bi kasnije mogla podržati učenje s potkrepljenjem; taj smjer se navodi kao planiran, a ne tvrdi se da je završen.

Za poslovne timove, lekcija o arhitekturi je modularna. Kontroleri ne bi trebali fiksno kodirati shemu jedne karte. Adapteri bi trebali otkriti dovoljno stanja i pouzdanosti alata da verifikatori mogu biti smisleni. Nastavni plan i program treba tretirati rezultate evaluacije kao sljedeći unos, a ne kao jednokratnu tabelu rezultata.

EnterpriseOps Gym je okruženje u kojem je ovaj pristup ilustrovan. To je veliko okruženje za agente preduzeća sa oko 1.150 zadataka koje su kreirali stručnjaci u 8 domena, otprilike 512 alata, oko 164 tabele baze podataka, kontejnerizovanim izvršavanjem, verifikacijom ishoda zasnovanom na SQL-u, operacijama upravljanim politikama, hibridnim scenarijima između domena, testiranjem neizvodljivosti i odbijanja, te dugoročnim trajektorijama sa stanjem. AutoSynthData nije predstavljen kao izmišljač te teretane; teretana je poligon za testiranje opterećenja za petlju sinteze.

Kontrola kvaliteta na nivou uzorka koja održava sintetičke zadatke pouzdanim

Generiranje bez kapija je način na koji podaci sintetičkih agenata mogu krenuti po zlu. AutoSynthData opisuje kontrolu kvalitete na nivou uzorka s nekoliko komplementarnih provjera.

Filter težine rješavača usmjerava skup prema zadacima koji su teški za ciljnu grupu, a rješivi za nastavnika. Opisana konfiguracija favorizira zadatke koje ciljna grupa rješava u najviše jednom od tri pokušaja, dok nastavnik uspijeva u najmanje dva od tri. U tom opsegu nadzirane demonstracije mogu naučiti nešto što slab model već ne posjeduje.

Pozitivna verifikacija zahtijeva da referentna putanja prođe verifikator. Negativna verifikacija zahtijeva da mutirani pogrešni ishodi propadnu. Zajedno, oni testiraju i prihvatanje i odbacivanje provjeravača. Ako se provjeravaju samo pozitivni rezultati, permisivni verifikator može priznati "smeće". Ako se provjeravaju samo negativni rezultati, previše strog verifikator može odbaciti validan rad.

Petlja kritike i popravke, s ograničenjem ponovnog pokušaja, pokušava popraviti zadatke koji ne uspiju na kontrolnim vratima, umjesto da odmah odbaci svaki promašaj koji je gotovo promašen. Ograničenja ponovnog pokušaja su važna: beskrajne popravke mogu izmisliti sve vještačka ograničenja samo da bi se prošla kontrolna lista.

Meta-pregled na nivou serije zatim pregleda cijeli skup radi pokrivenosti, raznolikosti, redundantnosti i neuspješnih ciljeva. Uzorci održavaju pojedinačne stavke ispravnim; pregled serije sprječava grupiranje nastavnog plana i programa na jednom uskom načinu neuspjeha ili kloniranje gotovo duplikata.

Ove kontrole objašnjavaju zašto cjevovod može satima proizvoditi hiljade uzoraka bez tretiranja volumena kao zamjene za prilagođavanje. Brzina se razlikuje ovisno o domenu i veličini nastavnika, ali priča o kontroli kvalitete je konzistentna: opseg težine, pozitivna i negativna verifikacija, popravak s ograničenjima, a zatim meta-pregled.

Sirovi kvarovi u odnosu na kartice u odnosu na validirane SFT setove

Pomaže u poređenju za šta je svaki artefakt dobar. Sirovi zapisi o greškama su dijagnostički. Kartice mogućnosti su generativni ugovori. Validirani nadzirani setovi za fino podešavanje su ono na čemu se vježba u praksi.

U snimcima Hybrid i ITSM na EnterpriseOps Gym-u, autori su prijavili da su pokretanja koristila Gemma-4-26B-A4B-it kao cilj. Hybrid je upario taj cilj sa Qwen3.8-27B kao učiteljem i proizveo oko 2.000 hibridnih uzoraka za otprilike 18 sati, s najboljom kontrolnom tačkom u epohi 5. Prosječni Pass@1 porastao je za 7,2 procentna poena - oko 35 posto relativno - s uspjehom verifikatora koji se pomjerio sa 63,01 posto na 68,55 posto, zatvarajući oko 59 posto jaza Pass@1 u odnosu na referentni model.

ITSM je upario isti cilj sa DeepSeek-V4.1-Flash kao nastavnikom i proizveo oko 1.994 uzorka za otprilike 66 sati, što je dijelom duže zbog većeg nastavnika i zato što neke optimizacije protočnog procesa još nisu bile na mjestu. Prosječna prolaznost na 1 se pomjerila sa 18,77 posto na 27,18 posto.

Ove brojke shvatite kao rezultate istraživanja kompanije o ovoj teretani za testirane domene - ne kao nezavisnu replikaciju treće strane, niti kao univerzalnu garanciju preduzeća. Dobici se javljaju tamo gdje se snaga nastavnika, kvalitet verifikatora i vjernost okruženju poklapaju.

Šta praktičari trebaju kopirati iz petlje

Čak i ako vaš stek nije istraživački cjevovod ServiceNow-a, obrazac se prenosi. Počnite sa uparenom evaluacijom cilja sličnog proizvodnji i jačeg nastavnika u vjernom sandboxu. Pretvorite neuspjehe kontrasta u kartice sposobnosti koje uklanjaju identifikatore i trajektorije. Generirajte zadatke koji variraju dozvoljene dimenzije uz očuvanje potrebnih svojstava konačnog stanja. Neka nastavnik demonstrira uspjehe. Kontrolirajte s opsegom teškoće, pozitivnom i negativnom verifikacijom, ograničenim popravkom i pregledom raznolikosti serije. Fino podesite, ponovo procijenite i pomaknite granicu.

Obratite posebnu pažnju na dizajn verifikatora. Provjere ishoda SQL-a u stilu teretane u EnterpriseOps-u i operacije regulirane politikama ilustruju zašto su rubrike chata same po sebi slabe za rad sa stanjem. Ako vaš verifikator ne može razlikovati mutirane pogrešne ishode od ispravnih konačnih rezultata, sintetička skala će pojačati šum.

Također, poštujte duh pravila množenja: varijante prihvaćenih ciljeva ne bi trebale beskrajno sijati nove varijante bez vraćanja na provjerene jezgre. Drift je tih. Nastavni plan i program koji polako izmišlja egzotičnija ograničenja i dalje može proći plitke filtere, a pritom originalnu sposobnost ostaviti nedovoljno obučenom.

Konačno, tretirajte hibridni rad između domena kao prvoklasni stresni slučaj. Svakodnevni korisnici ne ostaju unutar jednog silosa alata. Hibridni zadaci, dugoročne putanje i testiranje odbijanja ili neizvodljivosti su mjesta gdje se kompetencija okruženja pokazuje - ili glasno ne uspijeva.

Upozorenja, ograničenja i pažljivo čitanje dobitaka

Rezultati koje su prijavili autori na EnterpriseOps Gym-u su informativni signali, a ne opšta garancija. Objavljeni hibridni i ITSM dobici primjenjuju se na te domene i uparivanja modela u opisanom okviru. Druge domene, slabiji nastavnici, bučniji verifikatori ili plića vjernost okruženju mogu smanjiti ili izbrisati korist.

Kvalitet zavisi od tri stuba koje nijedan marketinški sjaj ne može preskočiti. Snaga nastavnika postavlja plafon za demonstracije. Kvalitet verifikatora postavlja pouzdanost oznaka i filtera. Vjernost okruženju određuje da li naučena ponašanja preživljavaju kontakt sa produkcijskim sistemima, pravilima i stanjem podataka.

AutoSynthData eksperimenti naglašavaju nadzirano fino podešavanje. U radu koji se obrađuje učenje s potkrepljenjem navodi se kao moguća kasnija upotreba iste petlje, planirana, a ne isporučena. Čitaoci ne bi trebali miješati mehanizam podataka spreman za nastavni plan i program sa završenom tvrdnjom o RL obuci.

Čitaoci također ne bi trebali miješati sintetički cjevovod sa samom klupom. EnterpriseOps Gym pruža odabrane zadatke, alate, tabele, kontejnerizaciju i verifikacijsku strukturu. AutoSynthData koristi takvo okruženje da neuspjehe pretvori u zlato za obuku. Oba dijela treba tačno priznati: teretana napreže agente; cjevovod umnožava zadatke koje je moguće naučiti iz dijagnosticiranih nedostataka.

Također nema besplatnog ručka za vrijeme računanja i kalendara unutar sandboxa. Hibridna sinteza je završena u roku od nekoliko sati za oko dvije hiljade uzoraka; ITSM je trajao duže s većim brojem nastavnika i ranijim oblikom cjevovoda. Timovi bi trebali u budžetu imati troškove za zaključivanje nastavnika, ponovne pokušaje kritike ili popravke i ponovnu evaluaciju nakon svakog koraka u nastavnom planu i programu.

Razmišljanje o nastavnom planu i programu za timove agenata preduzeća

Najdublja ideja u AutoSynthData je kurikularna, a ne čisto generativna. Neuspjesi dijagnosticiraju. Kartice apstrahiraju. Generiranje množi. QC validira. SFT ažurira cilj. Re-eval pomiče granicu. Taj niz tretira poboljšanje agenta kao niz lekcija zasnovanih na okruženju, umjesto jednog offline dampa tragova.

Razmišljanje o nastavnom planu i programu mijenja način na koji lideri raspoređuju trud. Umjesto da tražite samo više tiketa ili više ljudskih bilješki, pitajte koje sposobnosti i dalje ne uspijevaju pod varijacijama, da li te sposobnosti imaju čista svojstva konačnog stanja i da li ih jači nastavnik može pouzdano demonstrirati. Ako nastavnik ne može dovoljno često uspjeti, sintetička SFT će podučavati nepouzdano ponašanje. Ako su svojstva konačnog stanja nejasna, verifikatori će se svađati s valjanim strategijama.

To također mijenja način na koji govorite o uspjehu. Zatvaranje dijela jaza u Pass@1 u odnosu na referentni model na Hybridu, ili podizanje ITSM Pass@1 sa visokih deset na visoke dvadeset u izvještajima autora, predstavlja napredak u mjerenoj kompetenciji okruženja. To nije dokaz da je svaki tijek rada, svaka politika ili svaki slučaj odbijanja riješen. Zadržite jezik pokretne granice: preostali praznine postaju sljedeća Target faza, a ne naknadna misao.

Za dizajn programa, uparite ovu petlju s ljudskim pregledom tamo gdje su ulozi visoki - sigurnosne politike, nepovratne akcije, regulirani podaci - dok istovremeno dopuštate automatiziranim kapijama da obavljaju kontrolu nad dobro definiranim provjerama stanja. Sintetički podaci najbolje funkcioniraju kada okruženje može reći da ili ne s jasnoćom sličnom SQL-u. Problem je kada je uspjeh subjektivan ukus.

Dizajnerske napomene o težini, realizmu i odbijanju

Ciljanje težine zaslužuje još jednu pažnju. Favoriziranje zadataka koje cilj rješava najviše u jednoj trećini vremena drži obuku dalje od trivijalnosti. Zahtjev da nastavnik uspije u najmanje dvije trećine vremena drži demonstracije dalje od bacanja novčića. Taj raspon je praktičan kompromis između izazova i lakoće učenja.

Realizam ostaje blaži kriterij, ali i dalje bitan. Poslovni korisnici traže stvari koje odgovaraju njihovim ulogama i sistemima. Generatori vođeni samo tvrdoćom mogu izmisliti složene zagonetke s više ograničenja koje nijedan operater ne bi tražio. Kartice sposobnosti koje navode varijabilne dimenzije pomažu, ali ljudi ili meta-pregledi i dalje moraju uhvatiti nadrealne upute.

Testiranje odbijanja i neizvodljivosti, prisutno u širem dizajnu EnterpriseOps Gyma, podsjeća timove da kompetencija uključuje i odbijanje. Cjevovod optimiziran samo za dovršljive zadatke može nedovoljno obučiti odbijanje. Prilikom proširenja petlji u stilu AutoSynthData, uključite kartice gdje je ispravno konačno svojstvo sigurno odbijanje prema politici, a ne samo uspješna mutacija stanja baze podataka.

Dugoročni statički trajektorije podižu još jednu dizajnersku notu. Demoi nastavnika moraju ostati koherentni kroz mnoge pozive alata. Verifikatori koji provjeravaju samo posljednji red tabele mogu propustiti međuprekide pravila. Potpunost u dizajnu verifikatora znači pokrivanje svojstava koja zaista definiraju uspjeh za tu sposobnost - uključujući ograničenja koja moraju ostati istinita tokom cijelog procesa, ne samo na kraju.

Završni sažetak

AutoSynthData, od ServiceNow CoreAI / ServiceNow-AI, čiji je autor u javnom članku Esakkivel Esakkiraja, je cjevovod koji pretvara neuspjehe ciljnih agenata i uspjehe nastavnika u validirane sintetičke zadatke obuke za poslovna okruženja. Apstrahuje neuspjehe u pročišćene kartice sa specifikacijama mogućnosti, generira nove zadatke bez curenja originalnih upita ili trajektorija, prikuplja demonstracije nastavnika i provodi kontrolu kvalitete na nivou uzorka i serije prije nadziranog finog podešavanja.

Praktični mentalni model je zadatak kao specifikacija sistema, korisnički upit i verifikator - sa izvodljivošću, realizmom i težinom držanim pod tenzijom, i sa verifikatorima koji nisu ni previše labavi ni vezani za jedan put. Faze Ciljaj, pa Množi, pravilo bez daljnjeg uvođenja za umnožene uzorke, zajednički kontroler plus adapter okruženja i ponovna evaluacija nakon SFT-a stvaraju pokretnu granicu preko preostalih praznina.

Na EnterpriseOps Gym-u, autor je prijavio hibridne rezultate sa Gemma-4-26B-A4B-it i Qwen3.8-27B koji pokazuju otprilike dvije hiljade uzoraka za oko osamnaest sati i značajno povećanje Pass@1 i uspjeha verifikatora, smanjujući veliki dio jaza u odnosu na referentni model. ITSM sa DeepSeek-V4.1-Flash kao nastavnikom pokazuje da Pass@1 raste sa 18,77 posto na 27,18 posto na oko 1.994 uzorka tokom dužeg perioda. Tretirajte te brojke kao istražene signale na specifičnim domenima, zavisnim od nastavnika, verifikatora i vjernosti okruženju - i zadržite učenje potkrepljenjem kao planirano proširenje petlje, a ne kao završenu tvrdnju.

Ako se sjećate jedne rečenice: poslovni agenti se poboljšavaju kada neuspjesi postanu apstrahirani, umnoženi, verificirani primjeri lekcija unutar sistema kojima moraju svakodnevno upravljati - ne kada timovi samo ponavljaju istu pokvarenu kartu.

Praktični primjer: Proširivanje teških ITSM slučajeva iz zamrznutog skupa neuspjeha u stilu teretane

Scenarij

Tim za platformu za preduzeća u Velikoj Britaniji - zamislite operativnu grupu za finansijske usluge srednje veličine koja koristi ITSM u stilu ServiceNow-a sa prozorima za promjene, CMDB odnosima i prelazima ograničenim politikama - ima agenta sličnog produkcijskom koji se stalno spotiče o istu klasu posla: ažuriranja između tabela koja moraju poštovati preduslov za odobrenje, pretrage članaka znanja koje su u sukobu sa lokalnim zamrzavanjima promjena i hibridni zahtjevi koji se ukrštaju sa ITSM-om u susjedne operativne alate.

Oni zamrzavaju privatni paket u stilu EnterpriseOps Gym-a (kontejnerizirani sandbox, provjere SQL ishoda, tabele sa začetcima, pravila politika) tako da su rezultati uporedivi iz sedmice u sedmicu. Dijagnostička pokretanja pokazuju da ciljni agent ne uspijeva tamo gdje jači nastavnik uspijeva. Rukovodstvo želi više signala za obuku bez ponavljanja istih brojeva tiketa i ID-ova entiteta. AutoSynthData (ili ekvivalentna petlja sinteze iz grešaka ako je istraživački cjevovod zatvoren u njihovom steku) je kandidat: pretvoriti neuspjehe kontrasta u pročišćene kartice sa specifikacijama sposobnosti, generirati nove zadatke, prikupiti demonstracije nastavnika, a zatim - kritično - ljudski pregledati sintetičke tragove prije bilo kakve ponovne obuke.

Ništa se ne isporučuje samo od sebe putem Gym Pass@1. Podaci o sintetizatorima se tretiraju kao kandidatski nastavni plan, a ne kao besplatna istina.

Šta je potrebno asistentu

• Pristup zamrznutom adapteru okruženja u stilu teretane: alatima, početnom stanju, politikama i SQL (ili ekvivalentnim verifikatorima zasnovanim na stanju).
• Spareni eval logovi: neuspjesi ciljeva u poređenju s uspjesima nastavnika na istim zadacima.
• Shema kartice koja obuhvata mogućnosti, oblik alata/toka rada, kontrast uspjeha/neuspjeha, potrebna svojstva konačnog stanja i dozvoljene dimenzije varijacija - bez originalnih uputstava, entiteta, trajektorija ili internih elemenata verifikatora.
• Pravila čišćenja ličnih podataka i politika (ID-ovi tiketa, korisnička imena, nazivi CI-jeva, regulirana polja) prije nego što bilo šta napusti sandbox ili uđe u prompt generatora.
• Red čekanja za ljudski pregled uzorkovanih sintetičkih zadataka i tragova nastavnika (izvodljivost, realizam, ispravnost verifikatora, slučajevi odbijanja/neizvodljivosti).
• Uslovi za brisanje zaustavljanja: Ciljanje, a zatim faze množenja; umnoženi uzorci ne zasijuju daljnje runde množenja.

Primjer upute

Vođa platforme za operatera nastavnog plana i programa (ili za asistenta za orkestraciju koji samo izrađuje nacrte kartica i pregledava pakete - ne vrši prekvalifikaciju niti promociju modela):

„Pokrenite dijagnostički Pass@1 na zamrznutim ITSM i Hybrid slojevima u odnosu na naš trenutni cilj i određenog nastavnika. Za svaku razliku gdje cilj ne uspije, a nastavnik uspije u najmanje dva od tri pokušaja, napravite pročišćenu karticu specifikacije sposobnosti: navedite sposobnost, navedite relevantne alate, navedite potrebna svojstva konačnog stanja i navedite kontrolisane dimenzije (opseg prioriteta, povezana CI klasa, zastavica prozora promjene, tip sukoba znanja). Uklonite brojeve karata, identifikatore korisnika, CI imena i sirove trajektorije. Generišite seriju novih zadataka u Ciljnoj fazi samo iz tih kartica. Neka nastavnik demonstrira uspjehe. Primijenite opseg težine (cilj ≤1/3, nastavnik ≥2/3), pozitivnu i negativnu verifikaciju i ograničenu kritiku/popravku. Napravite paket za pregled od 5% stratificiranih uzoraka plus svaku karticu odbijanja/neizvodljivosti. Ne započinjite SFT dok dva recenzenta ne potpišu paket i dok provjere čišćenja PII ne prođu. Nakon SFT-a na kontrolnoj tački kandidata, ponovo procijenite zamrznuti paket i na skupu tačnog podudaranja koji nikada nismo koristili za generisanje. Izvijestite o pokrivenosti klasom kvara i stopom regresije u odnosu na prethodnu kontrolnu tačku produkcije.“ ne može se sam po sebi promovirati na osnovu rezultata u teretani

Kako to testirati

1. Osnovno zaključavanje: Zabilježite stope uspjeha Pass@1 i verifikatora na zamrznutom paketu prema klasi kvara (preduvjetno naručivanje, odbijanje prozora za promjene, hibridni međualatni sistem, konflikt znanja). Održavajte paket i početne vrijednosti nepromjenjivima tokom ciklusa.
2. Revizija kartica: Nasumično provjerite da generatori nikada ne primaju originalne upute, entitete ili tragove nastavnika - samo kartice.
3. Primjer kontrole kvalitete: Potvrdite da pozitivne trajektorije prolaze verifikatore, a mutirani pogrešni ishodi ne prolaze. Odbacite zadatke koji su trivijalni za ciljnu skupinu ili bacanje novčića za nastavnika.
4. Ljudski pregled: Recenzenti označavaju svaki uzorak kao zadrži / popravi / odbaci na osnovu izvodljivosti, realizma i sigurnosti politika. Pratite međusobni dogovor recenzenata o zajedničkom podskupu.
5. Tačno podudaranje u zadržavanju: Nakon kandidatskog SFT-a, bodovajte zadržavanje stvarnih (ili prethodno zamrznutih) zadataka koji nikada nisu bili uneseni u kartovanje ili generiranje. Odvojeno bodovajte gotovo parafraze zadataka za obuku kako biste otkrili površno pamćenje.
6. Regresijska kapija: Svaka klasa kvara koja se pogorša u odnosu na prethodnu kontrolnu tačku produkcije blokira unapređenje dok se ne objasni ili ne popravi.

Rezultat

Nemojte ovdje izmišljati procente smanjenja kvaliteta. Koristite plan mjerenja i označite objavljene istraživačke podatke kao TVRDNJU ZA ČLANAK kada ih citirate.

Plan mjerenja (šta ovaj tim treba da prijavi):

• Pokrivenost klasom neuspjeha: udio dijagnosticiranih klasa nedostataka koje su proizvele ≥N prihvaćenih zadataka ciljne faze nakon kontrole kvaliteta (unaprijed definirajte N, npr. 20 prihvaćenih zadataka po klasi).
• Tačno podudaranje holdout-a: Pass@1 / uspjeh verifikatora na netaknutom holdout-u prije vs. poslije kandidatskog SFT-a (ista početna vrijednost, isti verifikator).
• Stopa regresije: broj klasa kvarova gdje Pass@1 pada u odnosu na prethodnu kontrolnu tačku proizvodnje; blokira se ako bilo koja sigurnosno kritična klasa nazaduje.
• Prinos pregleda: zadržite / popravite / stope ispadanja na paketu za ljudski pregled; ako stopa ispadanja poraste, pauzirajte. Množite i popravite karte ili verifikatore.
• Neuspješno čišćenje: broj uzoraka koji ne prođu provjere PII/pravila prije odobrenja za pregled (cilj: nula ne uspijeva u SFT skupu).

ČLANAK (izvještaj autora na EnterpriseOps Gym - nije izmjereni rezultat ovog tima): Hibridni testovi sa Gemma-4-26B-A4B-it kao metom i Qwen3.8-27B kao nastavnikom proizveli su oko 2.000 uzoraka za otprilike 18 sati, sa prosječnim Pass@1 porastom od oko 7,2 procentna poena i uspjehom verifikatora koji se pomjerio sa 63,01% na 68,55%. ITSM sa DeepSeek-V4.1-Flash kao nastavnikom pomjerio je prosječni Pass@1 sa 18,77% na 27,18% na oko 1.994 uzorka tokom dužeg perioda (~66 sati). Tretirajte ih kao istražene signale na specifičnim domenima i uparivanjima, a ne kao univerzalnu garanciju za produkcijski stek u Velikoj Britaniji.

Ilustrativni oblik programa (pretpostavke, a ne izmjereni dobici): Ako tim prihvati ~2.000 uzoraka kontroliranih kontrolom kvalitete za jedan ITSM ciklus, budžetira zaključivanje nastavnika plus pregled na 5% stratificiranog uzorkovanja i promovira samo kada zadržavanje ne nazaduje na sigurnosno kritične predmete, „rezultat“ koji mogu tvrditi ozbiljno je zrelost procesa - revidirani nastavni plan i program, pročišćeni tragovi i usporedive delte zamrznutih odjela - a ne obećano procentualno povećanje.

Šta može poći po zlu

• Tretiranje sintetizatora kao slobodne istine: Preskakanje ljudskog pregleda ili negativne verifikacije omogućava permisivnim verifikatorima da priznaju smeće u velikoj mjeri.
• Curenje entiteta: Unošenje originalnih ID-ova tiketa ili tragova nastavnika u generator dovodi do prekomjernog prilagođavanja parafrazama; kartice postoje da bi se to spriječilo.
• Neograničeno množenje: Dopuštanje da umnoženi uzorci počnu sjemenovati daljnje runde udaljava se od imenovane mogućnosti.
• Dostava rezultata iz teretane: Promocija jer je cijena frozen-suite Pass@1 porasla dok se promet u holdout ili produkcijskoj sjeni pogoršao.
• Slab limit za nastavnike: Ako nastavnik ne može preći granicu uspjeha ≥2/3, SFT podučava nepouzdane demonstracije.
• Nejasni verifikatori: Rubrike u chatu umjesto provjera zasnovanih na stanju ocjenjuju tečne pogrešne završne radove kao uspjeh.
• Odbijanje zbog nedovoljne obuke: Optimizacija samo za dovršive mutacije ostavlja prozor za promjene i odbijanje politika krhkim.
• PII izlaz: Sintetički upiti koji ponovo uvode stvarna CI ili korisnička imena nakon plitkog čišćenja.

Praktična informacija

Koristite petlje u stilu AutoSynthData - ili ekvivalentan obrazac sinteze iz grešaka ako ServiceNow CoreAI cjevovod nije dostupan u vašem zakupu - da biste umnožili teške, provjerljive ITSM slučajeve iz dijagnosticiranih praznina. Sanirajte u kartice mogućnosti, pristupite s teškoćom i pozitivnom/negativnom verifikacijom, pročistite PII i uzorke koje su pregledali ljudi prije SFT-a. Mjerite pokrivenost klasom kvara, tačno podudaranje zadržavanja i stopu regresije. Citirajte ČLANAK kao izvor informacija o teretani samo kao vanjski istraživački kontekst. Podaci o sintezi su gorivo za nastavni plan i program, a ne garancija: revidirajte uzorke, držite paket zamrznut radi pravedne usporedbe i nikada ne slati samo na osnovu rezultata teretane.

Često postavljana pitanja

Šta je AutoSynthData i koji problem rješava?

AutoSynthData je ServiceNow CoreAI / ServiceNow-AI cjevovod, koji je opisao Esakkivel Esakkiraja, a koji spaja neuspjehe ciljnog agenta zajedno s uspjesima jačeg nastavnika u validirane sintetičke zadatke obuke za poslovna okruženja. Fokusira se na kompetencije u okruženju - lokalne politike, sheme, alate i stanje - umjesto na široko opće znanje. Poenta je umnožiti težak, provjerljiv rad tako da nadzirano fino podešavanje može zakrpiti praznine specifične za okruženje umjesto ponavljanja iste pokvarene karte.

Zašto se kompetencija za okruženje razlikuje od širokih modelskih sposobnosti?

Agenti preduzeća često imaju problema jer je samo okruženje specifično: politike tiketa, specifičnosti shema, ugovori o alatima, baze podataka sa početnim postavkama i međusistemski tokovi rada. Model koji izgleda dobro na otvorenim testovima i dalje se može zamrznuti u prozoru promjena, CMDB odnosu ili verifikatoru koji provjerava konačno stanje. Široke mogućnosti nisu isto što i poznavanje kako se vaši sistemi, pravila i stanje podataka ponašaju pod prijelazima koje regulišu politike.

Koji je praktični oblik zadatka koji AutoSynthData koristi?

Izvodljiv oblik je zadatak jednak sistemskoj specifikaciji, korisničkom upitu i verifikatoru. Sistemska specifikacija sadrži ograničenja, politike i početno stanje kao što su početne vrijednosti baze podataka i članci znanja. Korisnički upiti se ocjenjuju na osnovu izvodljivosti, realizma i težine. Verifikatori se idealno oslanjaju na provjere ishoda zasnovane na SQL-u ili stanju, tako da ocjenjuju svijet nakon što agent djeluje, a ne samo tačan put tokena koji je agent prešao.

Kako dezinficirane kartice sa specifikacijama mogućnosti sprečavaju prekomjerno prilagođavanje?

Dijagnostika uspoređuje gdje cilj ne uspije, a nastavnik uspije, a zatim te slučajeve destilira u pročišćene kartice sa specifikacijama sposobnosti. Kartica bilježi oblik sposobnosti, alata ili toka rada, kontrast neuspjeha/uspjeha, potrebna svojstva konačnog stanja i dimenzije koje mogu varirati. Generator nikada ne vidi originalne upute, entitete, trajektorije ili detalje verifikatora - samo kartice - tako da novi zadaci pritiskaju jezgro bez parafraziranja naučene epizode.

Koje su faze Cilj i Množenje u cjevovodu?

Ciljana faza se koncentriše na provjerene uzorke oko praznina - zadatke sa najvišim signalom blizu mjesta gdje slabi agent pukne. Faza množenja stvara nove varijante prihvaćenih ciljeva. Umnoženi uzorci ne mogu sijati daljnje runde množenja, što kontrolira odstupanje od imenovane sposobnosti. Nakon nadziranog finog podešavanja, ponovna evaluacija pomjera nastavni plan i program prema preostalim prazninama kao pokretnoj granici, a ne statičnom odlagalištu.

Kako kontrola kvalitete na nivou uzorka održava sintetičke zadatke pouzdanim?

Filter težine rješavača favorizira zadatke koje cilj rješava u najviše jednom od tri pokušaja, dok nastavnik uspije u najmanje dva od tri. Pozitivna verifikacija zahtijeva referentnu putanju da bi prošla; negativna verifikacija zahtijeva mutirane pogrešne ishode da bi propala. Petlja kritike i popravke s ograničenjem ponovnog pokušaja pokušava popraviti promašaje, a meta-pregled na nivou serije provjerava pokrivenost, raznolikost, redundanciju i neuspješne ciljeve u cijelom skupu.

Koju arhitekturu AutoSynthData koristi u svim poslovnim domenima?

Spaja dijeljeni kontroler s adapterom okruženja. Kontroler pokreće dijagnozu, kardiranje, generiranje, demonstracije za nastavnike, provjeru kvalitete i grupni pregled. Adapter povezuje te korake u konkretni sandbox - alate, stanje, politike i verifikatore - tako da ista kontrolna petlja može ukazivati ​​na različite domene bez prepisivanja logike nastavnog plana i programa od nule.

Šta je EnterpriseOps Gym u ovom istraživačkom kontekstu?

EnterpriseOps Gym je veliki sistem za testiranje agenata preduzeća koji se koristi kao poligon za stresno testiranje, sa oko 1.150 zadataka koje su kreirali stručnjaci u 8 domena, otprilike 512 alata, oko 164 tabele baze podataka, kontejnerizovanim izvršavanjem, verifikacijom ishoda zasnovanom na SQL-u, operacijama upravljanim politikama, hibridnim scenarijima i dugoročnim trajektorijama sa stanjem. AutoSynthData se ne predstavlja kao izmišljanje tog sistema; sistem pokazuje petlju sinteze u akciji.

Koji se rezultati koje je prijavio autor pojavljuju za hibridna i ITSM podešavanja?

Na EnterpriseOps Gym-u, Hybrid programi sa Gemma-4-26B-A4B-it kao ciljem i Qwen3.8-27B kao nastavnikom proizveli su oko 2.000 uzoraka za otprilike 18 sati, sa prosječnim Pass@1 porastom od oko 7,2 procentna poena i uspjehom verifikatora koji se pomjerio sa 63,01% na 68,55%. ITSM sa DeepSeek-V4.1-Flash kao nastavnikom pomjerio je prosječni Pass@1 sa 18,77% na 27,18% na oko 1.994 uzorka tokom dužeg perioda. Tretirajte ih kao istražene signale na specifičnim uparivanjima, a ne kao univerzalnu garanciju produkcije.

Koje greške timovi trebaju izbjegavati prilikom korištenja petlji za sintezu iz grešaka?

Ne tretirajte sintetičke podatke kao besplatnu istinu niti preskačite ljudsku provjeru i negativnu verifikaciju. Izbjegavajte unošenje originalnih ID-ova tiketa ili tragova nastavnika u generator, dopuštanje umnoženih uzoraka da posiju daljnje runde ili samostalno promoviranje na Gym Pass@1 dok se promet u sjeni ili sjeni pogoršava. Također, obratite pažnju na slabe nastavnike ispod nivoa uspjeha, nejasne rubrike chata umjesto provjera stanja, slučajeve odbijanja zbog nedovoljne obučenosti i bijeg PII-a nakon plitkog čišćenja.

Reference

1. Zagrljaj lica — AutoSynthData — huggingface.co
2. EnterpriseOps teretana — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Teretana — github.com