Nisam inženjer. A istrenirao sam vlastiti jezični model na MacBook Airu

Donedavno nisam znao što znači riječ deploy. Sada na mom laptopu radi model koji sam sam istrenirao. Evo kako je to išlo, gdje sam griješio i kako su me lijepe brojke zamalo prevarile.

Zašto

Imam osobnog AI asistenta, Pulsaru. Radi na vanjskim modelima i jednog sam se dana zapitao što se dogodi ako te modele ugase, ako poskupe ili jednostavno postanu lošiji. Asistent prestaje raditi, a ja ne mogu ništa.

Zato sam htio vlastiti model. Živi na mom računalu i nitko ga izvana ne može isključiti.

Drugi cilj bio je zanimljiviji. Nisam htio da model zna što piše u knjigama. Htio sam da zna čitati. Adler i Van Doren u knjizi Kako čitati knjigu opisuju metodu: prvo shvatiti kakav je to tekst i o čemu govori u jednoj rečenici, zatim rastaviti dijelove, pojmove i argumente, i tek onda raspravljati s njim. Znati knjigu znači moći je prepričati. Vladati metodom znači moći razraditi tekst koji nikad nisi vidio. Trebalo mi je ovo drugo.

Na čemu

MacBook Air M5 sa 16 GB memorije. Bez servera, bez grafičkih kartica.

Najveće što stane je Qwen3 s 8 milijardi parametara u komprimiranom obliku, 4,4 GB. Ništa veće ne stane, jer i samo treniranje treba memoriju. Nisam trenirao cijeli model, nego mali dodatak povrh njega (tehnika se zove LoRA). Osnovni model ostaje netaknut, mijenja se samo skup malih dodatnih matrica.

Prvi dan nisam proveo trenirajući. Proveo sam ga pokušavajući bilo što instalirati. Ispalo je da terminal na mom Macu radi u načinu kompatibilnosti sa starim Intelovim procesorima i biblioteka koja mi je trebala tamo se jednostavno nije dala instalirati. O takvim stvarima tutorijali ne pišu.

Podaci

Skupio sam 576 primjera za učenje. Oko 150 o samoj metodi, 160 razrada tekstova različitih žanrova, 120 o ponašanju (na primjer, što odgovoriti na pitanje je li model pročitao knjigu) i 110 običnih razgovora bez ikakvog Adlera.

Ta posljednja skupina bila je važna. Bez nje je model počeo primjenjivati metodu i na molbu za savjet kako skuhati kavu.

Četiri pokušaja

Prva verzija bila je oprezna, a rezultat slab: 13 od 35 obilježja metode na kontrolnim pitanjima. Model je prepoznavao Adlerovo ime, ali je tekstove razrađivao na svoj način.

U drugoj sam promijenio dvije postavke odjednom. Treniranje se srušilo na pola puta i nikad nisam saznao koja ga je od te dvije promjene ubila. Otada mijenjam jednu stvar odjednom.

Treća je dala 27 od 35. Metoda se počela prenositi na nepoznate tekstove. Ali model je samouvjereno tvrdio da je čitao knjige koje mu nikad nisu pokazane i donosio ocjene o onome što nije vidio.

U četvrtoj postavke uopće nisam dirao. Dodao sam samo 74 primjera o suzdržanosti u prosuđivanju. Rezultat 33 od 35, a lažne tvrdnje o pročitanom su nestale. Pokazalo se da u toj fazi podaci odlučuju više od parametara.

Gdje su brojke lagale

33 od 35 izgledalo je kao pobjeda. Onda sam sjeo i vlastitim očima pročitao odgovore, na stvarnim knjigama koje model nije vidio: Eric Berne i svježi broj Harvard Business Reviewa.

Slika je bila drugačija. Glavne misli model je prepričavao sasvim dobro, ali je dodavao detalje kojih u tekstu nema. O eksperimentu iz jednog članka napisao je da je polovica sudionika radila s AI-jem, a polovica bez. U članku toga nije bilo. Još je obećao da će se za tjedan dana vratiti s izvještajem, iako nema pamćenje između razgovora.

Moja automatska provjera tražila je u odgovoru obilježja metode: je li imenovana vrsta teksta, postoji li glavna misao u jednoj rečenici. Formu je vidjela. Istinu nije provjeravala.

Bilo je i gorih zamki. Server preko kojeg model odgovara tiho je gubio moj dodatak i odgovarao neistreniranim modelom. Ni greške, ni upozorenja, a odgovori su na oko izgledali pristojno. Uhvatio sam to samo zato što sam odgovore servera uspoređivao sa spremljenima riječ po riječ. Kasnije se pokazalo da model s ugrađenim dodatkom odgovara drugačije od istog modela s dodatkom koji se drži odvojeno. Pri ugradnji se težine ponovno komprimiraju i dio naučenog se gubi.

Što sam shvatio

Istrenirati model na laptopu danas je izvedivo i to nije najteži dio. Teško je provjeriti što je zapravo naučio.

Metrika koju stalno podešavaš prema rezultatu počinje pokazivati ono što želiš vidjeti. Zato ispitna pitanja sada pišem prije nego što model odgovori i držim ih odvojeno od materijala za učenje.

Mali model dobro preuzima manir i redoslijed rada. Pametniji ne postaje: 8 milijardi parametara nakon treniranja i dalje je 8 milijardi.

I o meni. Kod sam pisao zajedno s AI pomoćnicima, sam ga na toj razini ne bih napisao. Moj posao bio je drugdje: odlučiti što provjeravati, ne vjerovati ugodnim brojkama i sam čitati odgovore.

Što dalje

Sljedeća verzija bit će o točnosti: da se model oslanja na citate iz teksta i ne dopisuje ono čega tamo nema. Zatim ću ga spojiti s Pulsarom.

Ako i vi gradite nešto svoje s AI-jem bez inženjerskog obrazovanja, napišite mi gdje ste vi zapeli. Zanima me usporedba.

Česta pitanja o finom podešavanju malog modela na laptopu

Može li se jezični model fino podesiti na MacBook Airu?

Može. Na MacBook Air M5 sa 16 GB stane model s 8 milijardi parametara u komprimiranom obliku (oko 4,4 GB) zajedno s LoRA treniranjem. Veći modeli ne ostavljaju dovoljno memorije samom procesu treniranja.

Što je LoRA jednostavnim riječima?

Način da se model nauči nečemu bez mijenjanja samog modela. Osnovni model ostaje netaknut, a treniranje mijenja samo mali skup dodatnih matrica povrh njega. Zato sve stane u memoriju laptopa.

Koliko je podataka za učenje trebalo?

576 primjera: oko 150 o metodi, 160 razrada tekstova, 120 o ponašanju i 110 običnih razgovora. Dodatak od 74 primjera o suzdržanosti u prosuđivanju dao je više od bilo koje promjene postavki.

Zašto me automatska ocjena zavarala?

Provjera je tražila formu dobrog odgovora (imenovana vrsta teksta, glavna misao u jednoj rečenici), a ne je li sadržaj istinit. Čitanje odgovora na neviđenim knjigama pokazalo je izmišljene detalje koje ocjena nikad nije uhvatila.

Postaje li mali model pametniji nakon finog podešavanja?

Ne. Dobro preuzima manir i redoslijed rada, ali 8 milijardi parametara nakon treniranja i dalje je 8 milijardi. Sljedeći korak je oslanjanje odgovora na citate iz teksta.