DistilBERT

DistilBERT ni modeli ya lugha iliyoundwa na Hugging Face (Marekani), iliyotolewa 2 Oktoba 2019.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) milioni 66.

Ni moja ya modeli zinazonukuliwa sana na watafiti.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye simu janja au kifaa chenye uwezo mkubwa zaidi.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 1 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Programu za simu zinazoendesha modeli bila intaneti (kwa mfano PocketPal) zinapakua toleo lililobanwa.

Modeli nyingine za Hugging Face

  1. INTELLECT-1Arcee AI, Hugging Face na Prime IntellectNov 2024Lugha
    Haijulikani10B
  2. Idefics2Hugging Face na Sorbonne UniversityMei 2024Data mseto, Lugha
    Wazi8BKompyuta mpakato
  3. Zephyr 141B-A39BArgilla, Hugging Face na Korea Advanced Institute of Science and Technology (KAIST)Apr 2024Lugha
    Wazi141BSeva
  4. StarCoder 2 15BBigCode, Hugging Face, Nvidia na ServiceNowFeb 2024Lugha
    Wazi, kwa masharti15BKompyuta yenye uwezo mkubwa
  5. StarCoder 2 3BBigCode, Hugging Face, Nvidia na ServiceNowFeb 2024Lugha
    Wazi, kwa masharti3BSimu
  6. StarCoder 2 7BBigCode, Hugging Face, Nvidia na ServiceNowFeb 2024Lugha
    Wazi, kwa masharti7BKompyuta mpakato