Cerebras-GPT-13B

Cerebras-GPT-13B ni modeli ya lugha iliyoundwa na Cerebras Systems (Marekani), iliyotolewa 6 Aprili 2023.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) bilioni 13.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye kompyuta mpakato au kifaa chenye uwezo mkubwa zaidi.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 8.8 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Programu kama Ollama au LM Studio zinapakua na kuendesha modeli kwenye kompyuta yako, bila intaneti.

Matokeo ya majaribio

49ECI

Nafasi ya 258 kati ya modeli 258 zilizopimwa.

Kipimo cha Uwezo cha Epoch (ECI) kinajumlisha matokeo ya majaribio mengi kuwa alama moja, kama alama ya mtihani mkuu. Alama ya juu zaidi ndiyo bora.

Maarifa ya jumla (MMLU)Maswali ya kuchagua jibu katika masomo 57, kutoka historia hadi sheria. Kipimo maarufu cha modeli za zamani.
26.2%

Modeli nyingine za Cerebras Systems

  1. Jais-30b (phase 1)Cerebras Systems, G42, Inception G42 na Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)Nov 2023Lugha
    Wazi30BKompyuta yenye uwezo mkubwa
  2. BTLM-3BCerebras SystemsSep 2023Lugha
    Wazi2.6BSimu
  3. JaisCerebras Systems, Inception G42 na Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)Ago 2023Lugha
    Wazi13BKompyuta mpakato
  4. GenSLMCalifornia Institute of Technology, Cerebras Systems, Harvard University, Nvidia, Technical University of Munich na University of ChicagoOkt 2022Biolojia
    Wazi25B