QMoE: compressed SwitchTransformer

QMoE: compressed SwitchTransformer ni modeli ya lugha iliyoundwa na Institute of Science and Technology Austria (ISTA) na Neural Magic (Austria, Marekani), iliyotolewa 25 Oktoba 2023.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) trilioni 1.57.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye seva pekee.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 943.6 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Ni kubwa mno kwa kompyuta ya kawaida: inaendeshwa kwenye seva zenye GPU nyingi, au kupitia kampuni zinazokodisha seva.