Prije nekoliko dana moj partner Pablinux rekao sam im kako lokalno instalirati trendovski model umjetne inteligencije. U ovom postu ću navesti što smatram boljim modelima od DeepSeek-a i kako ih instalirati i pokrenuti na našem računalu.
Ostavljajući po strani bilo kakve političke simpatije ili antipatije, potez kineske vlade bio je remek-djelo diplomatskog marketinga dostojno Sun Tzua. Za razliku od "Elephant in the Chinaware" stila Donalda Trumpa, najavili su model koji nudi iste značajke kao ChatGPT besplatno i troši manje resursa. To znamo samo mi koji pratimo temu Dugo vremena postoje mnogi drugi modeli otvorenog koda (neki iz sjevernoameričkih tvrtki kao što je Meta), a izvedba DeepSeeka usporediva je s ChatGPT-om samo u najčešćih 5% upotreba.
Jezični modeli velikih razmjera
ChatGPT, DeepSeek i drugi nazivaju se Large Scale Language Models. U osnovi Omogućuju korisniku interakciju s računalom na jeziku sličnom onom koji se koristi za komunikaciju s drugim ljudskim bićem. Da bi to postigli, obučeni su s velikom količinom teksta i pravilima koja im omogućuju da proizvedu nove informacije iz onoga što već imaju.
Glavna namjena mu je odgovaranje na pitanja, sažimanje tekstova, prijevodi i reprodukcija sadržaja.
Bolji modeli od DeepSeek-a i kako ih instalirati lokalno
Kao Pablinux, koristit ćemo Ollamu. Ovo je alat koji nam omogućuje instalaciju, deinstalaciju i korištenje različitih modela otvorenog koda s Linux terminala. U nekim slučajevima preglednik se može koristiti kao grafičko sučelje, ali to nećemo obraditi u ovom članku.
Da bi Ollama pružio odgovarajuće korisničko iskustvo, najbolje je imati namjenski GPU.Pogotovo kod modela s više parametara. Međutim, oni manje snažni mogu se koristiti na Raspberry Piju i kada sam čak testirao modele sa 7 milijardi parametara na računalu sa 6 gigabajta i bez namjenskog GPU-a, računalo je radilo bez ikakvih smetnji. Isto se nije dogodilo s jednim od 13 milijardi.
Parametri su pravila koja model koristi za izgradnju odnosa i konstruiranje uzoraka među podacima. Što je više parametara i podataka, to će model biti moćniji; oni s manje parametara govore španjolski poput Tarzana.
Ollamu možemo instalirati pomoću naredbi
sudo apt install curl
curl -fsSL https://ollama.com/install.sh | sh
Model možemo instalirati naredbom:
ollama pull nombre_del modelo
I pokrenite ga s:
ollama run nombre_del_modelo
Deinstaliramo ga pomoću:
ollama rm nombre_del_modelo
Instalirane modele možemo vidjeti upisivanjem:
ollama list
Slijedi mali popis modela koji su mi najzanimljiviji: Potpuni popis dostupnih modela može se pronaći ovdje ovdje:
llama2-necenzurirano
Llama je model opće namjene koji je stvorila Meta. U ovoj su verziji uklonjena sva ograničenja koja su uveli programeri izvornog projekta iz pravnih ili političkih razloga.. Ima dvije verzije, laganu koja se snalazi s 8 GB i punu koja treba 64. Može se koristiti za odgovaranje na pitanja, pisanje tekstova ili kodiranje zadataka.
Instalira se sa:
ollama pull llama2-uncensored
I radi s:
ollama run llama2-uncensored
codegemma
CodeGemma je izbor laganih, ali moćnih predložaka koji vam omogućuju izvođenje raznih programskih zadataka kako dovršiti kod ili ga napisati od nule. Razumije prirodni jezik, može slijediti upute i matematički zaključivati.
Dolazi u 3 varijante:
- Poučiti: Pretvara prirodni jezik u kod i može slijediti upute:
- Kodirati: Dovršite i generirajte kod iz dijelova postojećeg koda.
- 2b: Zadatak bržeg dovršavanja koda.
Tynillama
Kao što mu ime govori, radi se o manjoj verziji originalnog modela Meta.. Dakle, neće imati tako dobre rezultate, ali ako želite vidjeti kako model umjetne inteligencije radi na skromnom hardveru, vrijedi pokušati. Ima samo 1100 milijardu parametara.
Lokalno korištenje modela ima prednosti privatnosti i pristupa necenzuriranim i nepristranim verzijama koje u nekim slučajevima na kraju ispadnu smiješne. Microsoftov AI odbio mi je stvoriti sliku jazavčara jer je izraz "kuja" smatrao uvredljivim. Najveći nedostatak su hardverski zahtjevi. Bit će to samo isprobati modele i pronaći onaj koji je dovoljno dobar za ono što trebate i može raditi na opremi koju imate.