TinyLlama-1.1B (1T token checkpoint)

TinyLlama-1.1B (1T token checkpoint) ni modeli ya lugha iliyoundwa na Singapore University of Technology & Design (Singapuri), iliyotolewa 1 Oktoba 2023.

Uzito wake (weights) uko wazi: mtu yeyote anaweza kuipakua, kuiendesha na kuitumia hata kibiashara.

Ina vigezo (parameters) bilioni 1.1.

Naweza kuiendesha mwenyewe?

Ndiyo, kwenye simu janja au kifaa chenye uwezo mkubwa zaidi.

  1. SimuRAM ya GB 6–8
  2. Kompyuta mpakatoRAM ya GB 16
  3. Kompyuta yenye uwezo mkubwaGB 24 hadi 64 (kadi ya michoro au Mac yenye uwezo mkubwa)
  4. Sevazaidi ya GB 64

Inahitaji takriban GB 1.7 za kumbukumbu (RAM) ikibanwa hadi biti 4.

Programu za simu zinazoendesha modeli bila intaneti (kwa mfano PocketPal) zinapakua toleo lililobanwa.

Modeli nyingine za Singapore University of Technology & Design

  1. Sailor-7B-ChatSea AI Lab na Singapore University of Technology & DesignApr 2024Lugha
    Wazi7.7BKompyuta mpakato
  2. TinyLlama-1.1B (3T token checkpoint)Singapore University of Technology & DesignOkt 2023Lugha
    Wazi1.1BSimu
  3. SPN-4+KN5DSO National Laboratories na Singapore University of Technology & DesignSep 2014Lugha
    Haijatolewa5M