README.md aktualisiert
This commit is contained in:
parent
026b88210a
commit
8ec37113f3
20
README.md
20
README.md
|
|
@ -11,24 +11,18 @@ Das System ist auf das folgende Modell optimiert, welches sich im Verzeichnis `m
|
||||||
* **Format:** GGUF
|
* **Format:** GGUF
|
||||||
* **Quantisierung:** Q8_0
|
* **Quantisierung:** Q8_0
|
||||||
|
|
||||||
Hinweis: Es muss zwingend die Instruct-Variante des Modells verwendet werden. Das Basis-Modell (Base) ist für diese Anwendung nicht kompatibel.
|
|
||||||
|
|
||||||
## Installation (Windows)
|
## Installation (Windows)
|
||||||
|
|
||||||
### 1. Systemvoraussetzungen (Nur für GPU-Beschleunigung / Option A)
|
|
||||||
Falls Sie die GPU-Beschleunigung nutzen möchten, müssen vorab folgende Komponenten auf dem System installiert sein:
|
|
||||||
* **Nvidia CUDA Toolkit** (Empfohlen: Version 12.1 bis 12.6)
|
|
||||||
* **Visual Studio Build Tools** (Bei der Installation muss der Workload *"Desktopentwicklung mit C++"* ausgewählt sein, damit der C++ Compiler `cl.exe` verfügbar ist)
|
|
||||||
|
|
||||||
*Für den reinen CPU-Modus (Option B) werden diese Komponenten nicht benötigt.*
|
### 1. Verzeichnisstruktur vorbereiten
|
||||||
|
|
||||||
### 2. Verzeichnisstruktur vorbereiten
|
Laden sie die requirements.txt und app.py herunter und plazieren Sie die in das Projektverzeichniss.
|
||||||
Erstellen Sie im Projektverzeichnis den Ordner für das lokale KI-Modell:
|
|
||||||
```cmd
|
|
||||||
mkdir models
|
|
||||||
```
|
|
||||||
|
|
||||||
### 3. Virtuelle Umgebung (venv) erstellen und aktivieren
|
- models
|
||||||
|
- requirements.txt
|
||||||
|
- app.py
|
||||||
|
|
||||||
|
### 2. Virtuelle Umgebung (venv) erstellen und aktivieren
|
||||||
```cmd
|
```cmd
|
||||||
python -m venv venv
|
python -m venv venv
|
||||||
.\venv\Scripts\activate.bat
|
.\venv\Scripts\activate.bat
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue