Od pojave ChatGPT-a pojavilo se mnogo alata čije je poštivanje privatnosti korisnika upitno. Srećom, pojavilo se nekoliko projekata otvorenog koda koji su to ispravili. Ollama AI je alat za korištenje umjetne inteligencije u terminalu
Aplikacija hoće omogućuje vam korištenje popisa LLM-a na vašem računalnom terminalu ili uređaju s jednom pločom sve dok je vaš hardver dovoljno snažan. Dobra stvar je što njihova biblioteka ima mogućnosti za sve veličine.
LLM (Large Scale Language Models) koriste se za razumijevanje generiranja i prevođenja jezika na razini koja je bliska prirodnom jeziku. Istrenirani su s ogromnim količinama tekstualnih podataka. Ovi se modeli mogu koristiti za širok raspon zadataka povezanih s jezikom, kao što je odgovaranje na pitanja, sažimanje teksta, prevođenje na druge jezike, stvaranje koherentnog i kreativnog sadržaja, završavanje rečenica i pronalaženje jezičnih obrazaca.
Izraz "velikih razmjera" odnosi se i na golemu količinu podataka (milijarde) i na parametre koje model koristi za uspostavljanje odnosa i pronalaženje obrazaca među podacima.
Parametri su faktor koji treba uzeti u obzir. Iako ima onih koji navode da su koristili Ollama AI na Raspberry Pi 4, ne mogu se koristiti svi modeli ako nemate dovoljno memorije. Koristio sam modele sa 7 milijardi parametara sa 6 GB RAM-a i bez grafičke kartice bez ikakvog utjecaja na performanse sustava, ali nije mogao podnijeti onaj s 13.
Modeli s manje parametara govore španjolski na razini Yankee turističke parodije i nisu baš precizni u svojim odgovorima, stoga treba biti oprezan s njima.
Ollama AI: Koristite umjetnu inteligenciju u terminalu
Prije nastavka, počnimo s kratkim objašnjenjem. LlaMa je algoritam strojnog učenja koji omogućuje umjetnoj inteligenciji da nauči prepoznavati i klasificirati slike objekata.
Za ovu vrstu modela Oni se obučavaju s označenim slikama kako bi naučili prepoznavati specifične karakteristike kao što su tekstura, oblik i boja koje im omogućuju da budu identificirani u drugim kontekstima.
Budući da se ime algoritma izgovara isto kao i ime životinje, neke su knjižnice dobile ime po sličnim vrstama poput vikune (Vicuña u jezicima koji ne koriste ñ) ili alpake.
Vratimo se na Ollama AI, Omogućuje nam preuzimanje i pokretanje različitih modela otvorenog koda s terminala naše distribucije Linuxa. Instalira se naredbom:
curl https://ollama.ai/install.sh | sh
Za pokretanje modela napišemo naredbu:
ollama run nombre_del_modelo
Možemo vidjeti popis modela ovdje
Na primjer, za instaliranje TinyLlaama, modela s nešto više od terabajta parametara, koristimo naredbu:
ollama run tinyllama
Prvi put kada se ova naredba izvrši, model se preuzima na računalo. Imajte na umu da neki zauzimaju nekoliko gigabajta prostora na disku.
Model možete izbrisati naredbom:
ollama rm nombre_del modelo
Za pregled popisa instaliranih modela koristite naredbu:
ollama popis
Informacije o svakom od instaliranih modela možete vidjeti pomoću:
ollama show
Zanimljiva opcija iz biblioteke Ollama modela su takozvani “Uncensored”.. Najpoznatiji modeli umjetne inteligencije postavljaju ograničenja na određene vrste pitanja kako bi bili u skladu ne samo sa zakonom već i s društvenim pritiscima političke korektnosti.
Sjećam se da sam davno zamolio Copilota, Microsoftovog asistenta baziranog na ChatGPT-u, da mi priča viceve o santi leda, a on mi je rekao da su ekološke katastrofe preozbiljna tema da bi se o njima šalili.
Necenzurirani modeli Oni identificiraju slučajeve kada AI odbijaju odgovoriti ili daju pristrane odgovore iz osnovnih modela, uklanjaju ih i treniraju sustav da ispravno odgovori.
Morao bih napraviti više testova da znam koliko Ollama AI može biti koristan na računalima s ograničenom količinom RAM-a i bez namjenske grafičke kartice. U svakom slučaju, dobro je znati da alternative otvorenog koda probijaju put i dopuštaju eliminaciju cenzure.