abel/local_llm
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity

Updates

Browse Source
This commit is contained in:
Abel Fokkinga 2025-03-17 13:10:59 +01:00
parent 1f01c02ae4
commit a82999b377
No known key found for this signature in database
1 changed files with 14 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

13
README.md
View File

@ -50,6 +50,8 @@ Alternatieve kun je ollama ook via Docker draaien, met MacOS is dit echter niet
Open WebUI is een gebruiksvriendelijke interface die je helpt om lokale Large Language Models (LLMs) te beheren en uit te voeren. Het biedt een visuele manier om met modellen te werken, ondersteunt meerdere platforms zoals Ollama, en draait volledig lokaal, wat zorgt voor maximale privacy. Het is ontworpen om toegankelijk te zijn, zelfs voor gebruikers zonder technische achtergrond.
Ollama heeft standaard een API draaien op poort 11434. Open webgui probeert standaard te connecten naar een 127.0.0.1 op deze poort. Open WebUI kan zelf geen LLM draaien, maar je kunt er wel bijvoorbeeld een codeqwen, llama of andere llm mee installeren in Ollama (wat dus via de APi gaat).
#### Installatie met Docker (aanbevolen)
1. Installeer Docker: Download en installeer Docker via de officiële website.
2. Download de Open WebUI Docker-image:
@ -89,6 +91,13 @@ RAG wordt vaak gebruikt in toepassingen zoals klantenservice, juridische analyse
Met een RAG kun je dus eigen informatie toevoegen. Je kunt dit doen via bijvoorbeeld een Python script maar er zijn ook programma's voor zoals AnythingLLM
### Open WebUI
- In Open WebUI, klik linksbovenin op Workspace
- In de Knowledge tab, klik (+) button op Kennis / Knowledge.
- Geef een naam en omschrijving en klip op Create Knowledge.
- Klik nu op de nieuw aangemaakte Knowledge en voeg je documenten toe met de (+) button aan het begin van het zoek veld en upload files.
### AnythingLLM
![AnythingLLM toevoegen documenten](./images/AnythingLLM_1.png)
@ -111,3 +120,7 @@ https://github.com/zylon-ai/private-gpt
PrivateGPT is een AI-project dat ontworpen is om volledig privé te werken, zonder dat gegevens je eigen omgeving verlaten. Het stelt gebruikers in staat om vragen te stellen over hun documenten met behulp van krachtige Large Language Models (LLMs), zelfs zonder internetverbinding2.
Het biedt een API die kan worden geïntegreerd in toepassingen en ondersteunt zowel normale als streaming-antwoorden. PrivateGPT is ideaal voor bedrijven die privacy hoog in het vaandel hebben staan, omdat het werkt zonder persoonlijke gegevens te delen met externe systemen
## Prompt Engineering (TO-DO)
Voorbeeld: "You are a teacher for 18 year old students. Try to limit your answers to a maximum of 5 separate paragraphs and answer in Dutch only. Every paragraph should start with an emoji".