Microsofts MAI-strategi kobler spesialiserte modeller med inferensinfrastruktur

Microsofts sikkerhetsoppdatering er et konkret eksempel på multimodelltilnærmingen. I arbeidsflyten for MDASH-sårbarhetsadministrasjon sier Microsoft at MAI-Cyber-1-Flash nådde 96 % på CyberGym, 12 poeng over Mythos, og reduserte kostnadene med nesten 50 % sammenlignet med konfigurasjonen på markedet. Den programvarehistorien ligger ved siden av Maia 200, Microsofts inferensakselerator. Dets redesignede minnesystem og Ethernet-baserte oppskaleringsdesign er ment å forbedre token-gjennomstrømning og driftseffektivitet i skyskala; Microsoft har invitert utviklere til å utforske sin optimaliserings-SDK. Den nyttige takeawayen er ikke et enkelt referansenummer. Bedrifter bør skille modellvalg fra infrastrukturvalg, måle kvalitet og kostnad per fullført oppgave, og beholde muligheten til å rute ulike arbeidsbelastninger til den best egnede spesialiserte modellen.