Mixtral 8x7B
Mixtral 8x7B ni modeli ya lugha iliyoundwa na Mistral AI (Ufaransa), iliyotolewa 11 Desemba 2023.
Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.
Ina vigezo (parameters) bilioni 46.7.
Inatumiwa na watu au makampuni mengi.
Naweza kuiendesha mwenyewe?
Ndiyo, kwenye kompyuta yenye uwezo mkubwa au kifaa chenye uwezo mkubwa zaidi.
- SimuRAM ya GB 6–8
- Kompyuta mpakatoRAM ya GB 16
- Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
- Sevazaidi ya GB 64
Inahitaji takriban GB 29 za kumbukumbu (RAM) ikibanwa hadi biti 4.
Inahitaji kadi ya michoro (GPU) yenye kumbukumbu kubwa au kompyuta ya Mac yenye kumbukumbu ya GB 32–64.
Matokeo ya majaribio
113ECI
Nafasi ya 200 kati ya modeli 258 zilizopimwa.
Kipimo cha Uwezo cha Epoch (ECI) kinajumlisha matokeo ya majaribio mengi kuwa alama moja, kama alama ya mtihani mkuu. Alama ya juu zaidi ndiyo bora.
- Sayansi ngumu (GPQA Diamond)Maswali ya biolojia, fizikia na kemia ya kiwango cha shahada ya uzamivu. Ukibahatisha unapata 25%.
- 30.6%
- Maarifa ya jumla (MMLU)Maswali ya kuchagua jibu katika masomo 57, kutoka historia hadi sheria. Kipimo maarufu cha modeli za zamani.
- 70.6%