README.md aktualisiert
This commit is contained in:
parent
d87757390b
commit
354c155da9
38
README.md
38
README.md
|
|
@ -46,44 +46,6 @@ Falls Sie die GPU-Beschleunigung nutzen möchten, müssen vorab folgende Kompone
|
||||||
set GGML_CUDA=1
|
set GGML_CUDA=1
|
||||||
pip install -r requirements.txt --force-reinstall --no-cache-dir
|
pip install -r requirements.txt --force-reinstall --no-cache-dir
|
||||||
```
|
```
|
||||||
|
|
||||||
|
|
||||||
---
|
|
||||||
|
|
||||||
## Installation (Linux)
|
|
||||||
|
|
||||||
### 1. Systemvoraussetzungen (Nur für GPU-Beschleunigung / Option A)
|
|
||||||
Falls Sie die GPU-Beschleunigung unter Linux nutzen möchten, müssen vorab folgende Komponenten installiert sein:
|
|
||||||
* **Nvidia CUDA Toolkit**
|
|
||||||
* **Build-Essentials** (GCC/G++ Compiler)
|
|
||||||
|
|
||||||
### 2. Verzeichnisstruktur vorbereiten
|
|
||||||
```bash
|
|
||||||
mkdir models
|
|
||||||
```
|
|
||||||
|
|
||||||
### 3. Virtuelle Umgebung (venv) erstellen und aktivieren
|
|
||||||
```bash
|
|
||||||
python3 -m venv venv
|
|
||||||
source venv/bin/activate
|
|
||||||
```
|
|
||||||
|
|
||||||
### 4. Modell platzieren
|
|
||||||
Laden Sie die Modelldatei `Qwen3.5-4B-Instruct-Q8_0.gguf` herunter und platzieren Sie diese im Ordner `models/`.
|
|
||||||
|
|
||||||
### 5. Abhängigkeiten installieren
|
|
||||||
Wählen Sie je nach Systemkonfiguration **eine** der beiden Optionen im aktivierten Terminal aus:
|
|
||||||
|
|
||||||
**Option A: Mit GPU-Beschleunigung (Nvidia CUDA)**
|
|
||||||
```bash
|
|
||||||
GGML_CUDA=1 pip install -r requirements.txt --force-reinstall --no-cache-dir
|
|
||||||
```
|
|
||||||
|
|
||||||
**Option B: Reiner CPU-Modus (Keine Nvidia-Grafikkarte vorhanden)**
|
|
||||||
```bash
|
|
||||||
pip install -r requirements.txt --force-reinstall --no-cache-dir
|
|
||||||
```
|
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|
||||||
## Use
|
## Use
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue