Lösungen: Lokale KI und HermiVoice

HermiVoice – Bildquelle: www.konjunktion.info

Heute einmal ein etwas anderer Artikel.

Jeder, der sich etwas mit aktuellen Themen beschäftigt, kommt um das Thema Künstliche Intelligenz nicht herum. Während ich auf der einen Seite auch die Gefahren dieser Entwicklung sehe und vielfach in Beiträgen angesprochen habe, ist es aber gleichzeitig auch so, dass wir aktuell NOCH mit der KI ein Werkzeug in Händen halten, das wir gezielt nutzen können, um uns gegen das Kommende zu wehren. Allerdings aus meiner Sicht nur in Form lokaler KIs und lokaler Lösungen.

Daher ich in den letzten Wochen eine kleine App namens HermiVoice gebaut, die es ermöglicht eine selbst gehostete KI über den sogenannten Hermes-Agenten (oder bei Bedarf direkt mit großen Cloud-Modellen, dann jedoch ohne den Hermes-Agenten) zu nutzen. Vereinfacht gesagt habe ich eine Open Source Android-App (auf Basis von Kotlin nativ, Installation per Sideload) zur Sprachsteuerung (oder per Tastatureingabe) des Hermes-Agenten und von Cloud-Modellen (OpenAI-compatible API) gebaut.

Sie hat derzeit folgenden Funktionsumfang:

• Push-to-Talk mit Live-Zustandsfeedback: Bereit → Hört → Erkennt → Sendet → Gesendet / Fehler
• Tastatureingabe: jede Nachricht auch getippt statt gesprochen — Eingabefeld mit Tastatur-Button, jederzeit umschaltbar (Startmodus wählbar)
• Offline-Spracherkennung: deutsche und englische Modelle parallel (je einmaliger Download ~57 MB, danach rein lokal); das aktive Modell folgt der UI-Sprache, Wechsel ohne Download und ohne Neustart
• Zweisprachige Oberfläche (DE/EN): vollständige englische Übersetzung, Sprachwahl App-intern (Automatisch / Deutsch / English), System-Sprache unangetastet
• Mehrere Chat-Sessions mit Favoriten (Stern), durchsuchbarer Historie (Suchfeld mit Snippet und Trefferzahl) und Markdown-Export/Teilen
• Mehrere Hermes-Bots (Profile): eigener API-Key + eigene Modellwahl je Bot, Wechsel über das Topbar-Dropdown (aktiv persistent); Aufruf über den Profil-Prefix-Pfad …/p/<botname>/v1/chat/completions
• Cloud-KI-Anbieter: Chat direkt über OpenAI-kompatible Cloud-Dienste (OpenRouter, OpenAI, Groq, Mistral, DeepSeek), eigener verschlüsselter API-Key je Anbieter, primäres + Fallback-Modell; zustandslos (keine Session-Verwaltung)
• Konfigurierbare Zeitfenster: First-Token 10 s–1 min (Standard 30 s, Live-Countdown), Gesamtantwortzeit 1–15 min (Standard 5 min), Reset-Button
• Fehlerbehandlung: First-Token-Timeout, Failed-Turn-Erkennung, Fallback-Hinweis („Primärmodell nicht erreichbar…“), Retry „Erneut senden“
• Streaming tokenweise (SSE) mit „Denkt…“-Block für Reasoning und Markdown-Rendering (Code-Blöcke mit Tap-zu-Kopieren, Tabellen, Überschriften, Listen, Zitate)
• Session-Abgleich: im Vordergrund wird der Verlauf regelmäßig mit dem Gateway abgeglichen; Löschen einer Session entfernt den Verlauf auch serverseitig (best-effort)
• Darstellung & Personalisierung: dunkles UI, 6 Akzentfarben, Chat-Hintergrund (Standard / 4 Farbverläufe / eigenes Bild), eigene Avatare und Anzeigenamen für „Du“ und „Hermes“, Start-Eingabemodus (Tastatur/Sprache)
• Benachrichtigung bei fertiger Antwort (nur im Hintergrund, Ton + Textvorschau), konfigurierbares Haptik-Feedback, TTS-Vorlesen, Teilen-Schleuse (Share), Zwischenablage-Button
• Konfig-Backup: komplette Konfiguration als verschlüsseltes JSON exportieren/ wiederherstellen (API-Keys passphrase-geschützt AES-256-GCM)

HermiVoice Screenshots – Bildquelle: www.konjunktion.info

Jeder, der sich für dieses Thema der selbst gehosteten KI-Lösungen, respektive Hermes als Agent interessiert, ist herzlich eingeladen die App zu testen und zu nutzen.

Das entsprechende Github-Repo ist unter https://github.com/virse/HermiVoiceApp zu finden und die Release-APK unter:

https://github.com/virse/HermiVoiceApp/releases

Ein kleines Wiki steht auch zur Verfügung, um wichtige Funktion zu erläutern bzw. Fragen zu klären:

https://github.com/virse/HermiVoiceApp/wiki

Über Feedback und Kommentare sowie eventuelle Issues würde ich mich freuen.

Viele Grüße an alle Interessierten, Konjunktion