Mallit

Mitä tässä kerroksessa tapahtuu

1. 01

   Esiopetus tuottaa perusmallin

   Malli oppii kieltä, asioiden välisiä yhteyksiä, maailmaa koskevia säännönmukaisuuksia ja jonkin verran ongelmanratkaisua.

2. 02

   Jälkiopetus ohjaa käyttäytymistä

   Esimerkkejä hyvistä vastauksista, vastausten vertailua, turvallisuusopetusta ja työkalujen käytön opettelua. Esiopetus antaa kyvyt, jälkiopetus suunnan.

3. 03

   Vastaus rakentuu palasista

   Teksti pilkotaan tokeneiksi, malli laskee seuraavan palasen todennäköisyydet ja valitsee sen. Sama toistuu, kunnes vastaus on valmis. Valmista vastausta ei haeta mistään taulukosta.

4. 04

   Perusmalli ei ole tietokanta

   Opittu tieto on hajallaan mallin lukuarvoissa, joten se ei osaa luotettavasti kertoa, mistä yksittäinen tieto on peräisin.

Yleinen harhaluulo

Inferenssi

Valmiin mallin käyttäminen. Jokainen kysymys ja vastaus kuluttaa laskentaa, ja siis rahaa.

Transformer

Verkkorakenne, jossa jokainen tokeni saa painottaa sitä, mitkä muut tokenit ovat sille merkityksellisiä.

Vastavirta-algoritmi

Tapa selvittää, kuinka paljon kukin mallin lukuarvo vaikutti virheeseen.

Oppimisnopeus

Kuinka suuria säätöjä painoihin tehdään yhden virheen perusteella.

Perusmalli

Esikoulutuksen tuloksena syntynyt yleiskäyttöinen malli, foundation model.

Kärkimalli (frontier model)

Uusin ja kyvykkäin mallisukupolvi kulloisellakin hetkellä.

Parametri eli paino

Koulutuksessa opittu lukuarvo mallin sisällä.

Token

Teksti pilkottuna pieniin palasiin. Malli lukee ja kirjoittaa niitä, ja niistä myös laskutetaan.

Konteksti-ikkuna

Tiedon määrä, jonka malli voi huomioida yhden suorituksen aikana.

Kvantisaatio

Mallin lukujen esittäminen pienemmällä tarkkuudella.

Tislaus

Suuren mallin kykyjen siirtäminen pienempään malliin.

Avoimet painot

Mallin painot ovat ladattavissa ja ajettavissa omalla raudalla.

Artikkelit tästä aiheesta