HOWTO: Lokaal een LLM / AI draaien op je computer

Introductie

Om AI te gebruiken hoef je niet noodzakelijk een website of een app van ChatGPT, Microsoft of Google te gebruiken. Het is mogelijk om lokaal op je eigen PC een LLM (Large Language Model) te draaien zonder dat je gegevens worden gedeeld met een andere partij. Zo'n lokale LLM kun je vaak op verschillende manieren benaderen zoals:

Via een applicatie.
een webpagina,
command line.
API

Hieronder zullen enkele opties worden besproken.

Software om een LLM lokaal te draaien

LM Studio

LM Studio is een handige tool waarmee je lokale Large Language Models (LLMs) kunt ontdekken, downloaden en uitvoeren op je eigen computer. Het biedt een gebruiksvriendelijke interface en ondersteunt verschillende modellen, zoals Llama en DeepSeek. Het werkt volledig offline, wat betekent dat je gegevens privé blijven op je apparaat.

Het installeren van LM Studio is vrij eenvoudig! Hier zijn de stappen:

Download de software: Bezoek de officiële website van LM Studio en download de versie die geschikt is voor jouw besturingssysteem (Windows, macOS of Linux).
Start de installatie: Open het gedownloade installatiebestand en volg de instructies op het scherm.
Controleer de vereisten: Zorg ervoor dat je computer voldoet aan de minimale systeemvereisten, zoals minimaal 16 GB RAM en een CPU met AVX2-ondersteuning.
Open LM Studio: Na de installatie kun je de applicatie starten en beginnen met het ontdekken en downloaden van modellen.

Ollama

Ollama is een platform waarmee je krachtige Large Language Models (LLMs) lokaal op je computer kunt draaien. Het biedt een gebruiksvriendelijke interface, ondersteunt verschillende modellen en waarborgt je privacy doordat het volledig offline kan werken.

Ollama wordt vaak geinstalleerd in combinatie met Open WebUI.

Het installeren van Ollama is eenvoudig en hangt af van je besturingssysteem. Hier zijn de algemene stappen:

Download Ollama: Ga naar de officiële website van Ollama en download de versie die geschikt is voor jouw besturingssysteem (Windows, macOS of Linux).
Installeer de software:

Windows: Open het installatiebestand en volg de instructies. Voor Windows-gebruikers wordt vaak aangeraden om WSL (Windows Subsystem for Linux) te gebruiken.
macOS: Gebruik Homebrew door het commando brew install ollama in de terminal te typen.
Linux: Voer het volgende commando uit in de terminal: curl -fsSL https://ollama.ai/install.sh | sh.

Controleer de installatie: Typ ollama --version in de terminal om te controleren of de installatie succesvol is.
Download een model: Gebruik bijvoorbeeld het commando ollama pull llama2-7b om een model te downloaden.
Start een model: Typ ollama run llama2-7b om het model te starten en ermee te communiceren.

Alternatieve kun je ollama ook via Docker draaien, met MacOS is dit echter niet aan te raden aangezien de gpu dan niet kan worden gebruikt.

Open WebUI

Open WebUI is een gebruiksvriendelijke interface die je helpt om lokale Large Language Models (LLMs) te beheren en uit te voeren. Het biedt een visuele manier om met modellen te werken, ondersteunt meerdere platforms zoals Ollama, en draait volledig lokaal, wat zorgt voor maximale privacy. Het is ontworpen om toegankelijk te zijn, zelfs voor gebruikers zonder technische achtergrond.

Installatie met Docker (aanbevolen)

Installeer Docker: Download en installeer Docker via de officiële website.
Download de Open WebUI Docker-image:

docker pull ghcr.io/open-webui/open-webui:main

Start de container:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Toegang tot de interface: Open je browser en ga naar http://localhost:3000.

Installatie met Python

Installeer Python: Zorg ervoor dat Python 3.8 of hoger is geïnstalleerd.
Installeer Open WebUI

pip install open-webui

Start Open WebUI:

open-webui

Toegang tot de interface: Open je browser en ga naar http://localhost:3000.

4.1 KiB Raw Blame History