AILab Howest

De meeste AI-tools vandaag werken volgens een cloudmodel. Je stuurt een vraag naar een externe server en het model genereert daar een antwoord.

Dit heeft duidelijke voordelen: krachtige modellen, geen installatie en een eenvoudige start.

Maar voor sommige toepassingen zijn er ook nadelen:

• data verlaat je toestel
• afhankelijkheid van externe providers
• API-kosten bij intensief gebruik

Bij lokale AI draait het model rechtstreeks op je eigen computer of binnen je eigen organisatie.

Hierdoor krijg je onder andere:

• volledige controle over je data
• geen kosten per API-aanroep
• de mogelijkheid om offline te werken
• betere integratie met interne systemen

Voor organisaties met gevoelige data of interne documentatie kan dit een groot voordeel zijn.

OpenWebUI biedt een gebruiksvriendelijke interface om lokale taalmodellen te gebruiken.

Wat is OpenWebUI?

OpenWebUI is een open-sourcewebinterface voor AI-modellen . Het geeft gebruikers een chatomgeving die sterk lijkt op ChatGPT, maar waarbij de onderliggende modellen lokaal draaien.

Binnen OpenWebUI kan je onder andere:

• verschillende taalmodellen gebruiken
• documenten analyseren
• externe API’s koppelen
• experimenteren met modelparameters
• extra functies zoals web search toevoegen

Omdat het open source is, groeit de community snel en verschijnen er regelmatig nieuwe uitbreidingen.

De rol van Ollama

Om lokale modellen effectief te draaien is er ook een model runtime nodig. Een populaire tool hiervoor is Ollama.

Ollama maakt het eenvoudig om open-source taalmodellen te downloaden en lokaal uit te voeren.

Voorbeelden van modellen zijn:

• Llama-modellen
• Qwen-modellen
• andere modellen uit repositories zoals HuggingFace

Deze modellen kunnen variëren in grootte. Kleinere modellen werken op laptops, terwijl grotere modellen meer geheugen of een GPU vereisen.

OpenWebUI gebruikt deze modellen vervolgens als AI-engine achter dechatinterface .

Een concreet use-case: interne AI-assistent

Een veelgebruikte toepassing van lokale AI is een internebedrijfsassistent .

Organisaties beschikken vaak over grote hoeveelheden interne documenten:

• technische documentatie
• contracten
• HR-richtlijnen
• beleidsdocumenten

Met technieken zoals Retrieval-Augmented Generation (RAG) kan een lokaal model deze documenten gebruiken als kennisbron.

In plaats van handmatig door mappen te zoeken, kunnen medewerkers eenvoudig vragen stellen aan een AI-assistent.

Omdat het systeem lokaal draait, blijft alle informatie binnen deorganisatie .