Microsofts MAI-strategi kopplar samman specialiserade modeller med inferensinfrastruktur

Microsofts säkerhetsuppdatering är ett konkret exempel på dess tillvägagångssätt med flera modeller. I arbetsflödet för MDASH sårbarhetshantering säger Microsoft att MAI-Cyber-1-Flash nådde 96 % på CyberGym, 12 punkter över Mythos, och minskade kostnaderna med nästan 50 % jämfört med konfigurationen på marknaden då. Den mjukvaruhistorien ligger bredvid Maia 200, Microsofts inferensaccelerator. Dess omdesignade minnessystem och Ethernet-baserade uppskalningsdesign är avsedda att förbättra token-genomströmningen och driftseffektiviteten i molnskala; Microsoft har bjudit in utvecklare att utforska dess optimerings-SDK. Den användbara takeawayen är inte ett enda benchmarknummer. Företag bör separera val av modell från val av infrastruktur, mäta kvalitet och kostnad per utförd uppgift och behålla förmågan att dirigera olika arbetsbelastningar till den mest lämpliga specialiserade modellen.