Microsofts MAI-strategi forbinder specialiserede modeller med inferensinfrastruktur

Microsofts sikkerhedsopdatering er et konkret eksempel på dens multi-model tilgang. I MDASH-sårbarhedsstyrings-workflowet siger Microsoft, at MAI-Cyber-1-Flash nåede 96 % på CyberGym, 12 point over Mythos, og reducerede omkostningerne med næsten 50 % i forhold til den konfiguration, der dengang var på markedet. Denne softwarehistorie ligger ved siden af ​​Maia 200, Microsofts inferensaccelerator. Dets redesignede hukommelsessystem og Ethernet-baserede opskaleringsdesign er beregnet til at forbedre token-gennemløb og driftseffektivitet i sky-skala; Microsoft har inviteret udviklere til at udforske deres optimerings-SDK. Den nyttige takeaway er ikke et enkelt benchmark-tal. Virksomheder bør adskille modelvalg fra infrastrukturvalg, måle kvalitet og omkostninger pr. udført opgave og bevare evnen til at dirigere forskellige arbejdsbelastninger til den bedst egnede specialiserede model.