README.md aktualisiert
This commit is contained in:
parent
026b88210a
commit
8ec37113f3
20
README.md
20
README.md
|
|
@ -11,24 +11,18 @@ Das System ist auf das folgende Modell optimiert, welches sich im Verzeichnis `m
|
|||
* **Format:** GGUF
|
||||
* **Quantisierung:** Q8_0
|
||||
|
||||
Hinweis: Es muss zwingend die Instruct-Variante des Modells verwendet werden. Das Basis-Modell (Base) ist für diese Anwendung nicht kompatibel.
|
||||
|
||||
## Installation (Windows)
|
||||
|
||||
### 1. Systemvoraussetzungen (Nur für GPU-Beschleunigung / Option A)
|
||||
Falls Sie die GPU-Beschleunigung nutzen möchten, müssen vorab folgende Komponenten auf dem System installiert sein:
|
||||
* **Nvidia CUDA Toolkit** (Empfohlen: Version 12.1 bis 12.6)
|
||||
* **Visual Studio Build Tools** (Bei der Installation muss der Workload *"Desktopentwicklung mit C++"* ausgewählt sein, damit der C++ Compiler `cl.exe` verfügbar ist)
|
||||
|
||||
*Für den reinen CPU-Modus (Option B) werden diese Komponenten nicht benötigt.*
|
||||
### 1. Verzeichnisstruktur vorbereiten
|
||||
|
||||
### 2. Verzeichnisstruktur vorbereiten
|
||||
Erstellen Sie im Projektverzeichnis den Ordner für das lokale KI-Modell:
|
||||
```cmd
|
||||
mkdir models
|
||||
```
|
||||
Laden sie die requirements.txt und app.py herunter und plazieren Sie die in das Projektverzeichniss.
|
||||
|
||||
### 3. Virtuelle Umgebung (venv) erstellen und aktivieren
|
||||
- models
|
||||
- requirements.txt
|
||||
- app.py
|
||||
|
||||
### 2. Virtuelle Umgebung (venv) erstellen und aktivieren
|
||||
```cmd
|
||||
python -m venv venv
|
||||
.\venv\Scripts\activate.bat
|
||||
|
|
|
|||
Loading…
Reference in New Issue