Skip to content

VitaminStack/LocalKI

Repository files navigation

LocalKIAgent

Ein kleines .NET-Konsolenprogramm, das über Ollama lokal laufende LLM-Modelle (z. B. DeepSeek-R1) anruft und die Antworten in der Konsole schön formatiert und farbig ausgibt.


📦 Features

  • Lokal: Läuft komplett auf deiner Maschine (4070 Ti & CUDA)
  • REPL: Interaktive Prompt-Schleife mit exit zum Beenden
  • System-Prompt: Erzwingt „immer auf Deutsch“
  • Drei Sektionen:
    1. Frage (Cyan)
    2. Denkprozess (Gelb, aus <think>…</think> gezogen)
    3. Antwort (Grün)
  • Automatischer Zeilenumbruch und Prefix (z. B. Bullet)

⚙️ Voraussetzungen

  • Windows, Linux oder macOS
  • .NET 8.0 SDK (oder höher)
  • Visual Studio 2022 (optional) oder dotnet CLI
  • Ollama (lokal installiert, Version ≥ 0.4.x)
  • Mindestens 12 GB VRAM (RTX 4070 Ti)

🚀 Installation & Einrichtung

  1. Repository klonen:
git clone https://github.com/dein-nutzername/LocalKIAgent.git
cd LocalKIAgent
  1. Ollama installieren

Windows: Download & Installer von https://ollama.com/download Linux/macOS: siehe Dokumentation

  1. Ollama-Modelle herunterladen
ollama pull deepseek-r1:8b
  1. Ollama-Server starten
ollama serve
  1. NuGet-Pakete wiederherstellen & bauen
dotnet restore
dotnet build

About

Lokale Ki laufend über Grafikkarte mit CUDA, Ki Model: Deepseek-R1:8b

Resources

License

Stars

0 stars

Watchers

1 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages