QMoE: compressed SwitchTransformer
QMoE: compressed SwitchTransformer ni modeli ya lugha iliyoundwa na Institute of Science and Technology Austria (ISTA) na Neural Magic (Austria, Marekani), iliyotolewa 25 Oktoba 2023.
Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.
Ina vigezo (parameters) trilioni 1.57.
Naweza kuiendesha mwenyewe?
Ndiyo, kwenye seva pekee.
- SimuRAM ya GB 6–8
- Kompyuta mpakatoRAM ya GB 16
- Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
- Sevazaidi ya GB 64
Inahitaji takriban GB 943.6 za kumbukumbu (RAM) ikibanwa hadi biti 4.
Ni kubwa mno kwa kompyuta ya kawaida: inaendeshwa kwenye seva zenye GPU nyingi, au kupitia kampuni zinazokodisha seva.