Tämä taulukko tarjoaa yleiskatsauksen likimääräisistä mallikooista (miljardeina parametreina), joita voidaan käyttää eri VRAM-kokoonpanoissa, sekä esimerkkejä tunnetuista malleista. Huomaa, että nämä ovat arvioita ja voivat vaihdella tiettyjen toteutusten, arkkitehtuurien ja optimointien mukaan.

Huomautuksia:

1. Voi ajaa täydellä tarkkuudella (FP32)
2. Edellyttää kvantisointia tai muita optimointitekniikoita

Muita huomioita:

• Näissä arvioissa oletetaan, että koko VRAM on mallin käytettävissä, mikä ei useinkaan pidä paikkaansa käytännössä, koska kehys, käyttöjärjestelmä ja muut prosessit käyttävät muistia.
• Mallin rinnakkaisuus ja muut edistyneet tekniikat voivat mahdollistaa jopa suurempien mallien käyttämisen jakamalla ne useille grafiikkasuorituksille.
• Päättäminen vaatii yleensä vähemmän muistia kuin harjoittelu, joten suurempia malleja voidaan usein käyttää päätelmien tekemiseen pienemmissä VRAM-kokoonpanoissa.
• Tarkat koot voivat vaihdella malliarkkitehtuurin, toteutustietojen ja käytettävien erityisten optimointien mukaan.

Keskeiset ostokset:

1. 16-24 Gt VRAM: Sopii useimpiin kuluttajatason tekoälytehtäviin ja pienempiin tutkimusmalleihin.
2. 48–96 Gt VRAM: Mahdollistaa työskentelyn keskisuurten ja suurten mallien kanssa, joita käytetään usein ammatti- ja tutkimusympäristöissä.
3. 128-256 Gt VRAM: Mahdollistaa joidenkin suurimpien julkisesti saatavilla olevien mallien käytön erilaisilla optimoinnilla.
4. 320-512 Gt VRAM: Tarjoaa kapasiteetin suurimmille nykyisille malleille ja tulevalle kehitykselle, joka usein saavutetaan usean grafiikkasuorittimen asetuksilla.

Tämä taulukko osoittaa kvantisoinnin ja muiden optimointitekniikoiden merkittävän vaikutuksen mahdollistaessaan suurempien mallien käytön rajoitetulla VRAM-muistilla. Tekoälyn edistyessä voimme odottaa mallien pakkaamisen ja muistitehokkaiden arkkitehtuurien uusien innovaatioiden työntävän näitä rajoja entisestään.

Ja odota... Se ei lopu muuntajiin...