README.md aktualisiert
This commit is contained in:
parent
d87757390b
commit
354c155da9
38
README.md
38
README.md
|
|
@ -46,44 +46,6 @@ Falls Sie die GPU-Beschleunigung nutzen möchten, müssen vorab folgende Kompone
|
|||
set GGML_CUDA=1
|
||||
pip install -r requirements.txt --force-reinstall --no-cache-dir
|
||||
```
|
||||
|
||||
|
||||
---
|
||||
|
||||
## Installation (Linux)
|
||||
|
||||
### 1. Systemvoraussetzungen (Nur für GPU-Beschleunigung / Option A)
|
||||
Falls Sie die GPU-Beschleunigung unter Linux nutzen möchten, müssen vorab folgende Komponenten installiert sein:
|
||||
* **Nvidia CUDA Toolkit**
|
||||
* **Build-Essentials** (GCC/G++ Compiler)
|
||||
|
||||
### 2. Verzeichnisstruktur vorbereiten
|
||||
```bash
|
||||
mkdir models
|
||||
```
|
||||
|
||||
### 3. Virtuelle Umgebung (venv) erstellen und aktivieren
|
||||
```bash
|
||||
python3 -m venv venv
|
||||
source venv/bin/activate
|
||||
```
|
||||
|
||||
### 4. Modell platzieren
|
||||
Laden Sie die Modelldatei `Qwen3.5-4B-Instruct-Q8_0.gguf` herunter und platzieren Sie diese im Ordner `models/`.
|
||||
|
||||
### 5. Abhängigkeiten installieren
|
||||
Wählen Sie je nach Systemkonfiguration **eine** der beiden Optionen im aktivierten Terminal aus:
|
||||
|
||||
**Option A: Mit GPU-Beschleunigung (Nvidia CUDA)**
|
||||
```bash
|
||||
GGML_CUDA=1 pip install -r requirements.txt --force-reinstall --no-cache-dir
|
||||
```
|
||||
|
||||
**Option B: Reiner CPU-Modus (Keine Nvidia-Grafikkarte vorhanden)**
|
||||
```bash
|
||||
pip install -r requirements.txt --force-reinstall --no-cache-dir
|
||||
```
|
||||
|
||||
---
|
||||
|
||||
## Use
|
||||
|
|
|
|||
Loading…
Reference in New Issue