Service 'lumee'

Der Service 'lumee' bindet das Dashlet 'lumee' ein. Über das Dashlet können Benutzer mit dem enaio® lumee KI-Assistenten über Daten in enaio® chatten und Informationen zusammenstellen.

Eingebunden werden können folgende Daten:

• Kontextbezug: die Daten von Objekten, die Benutzer in Trefferlisten oder Standorten markiert haben.

• Datenbezug: die Daten aller Objekte von Objekttypen, die in der Vektor-Datenbank von Elasticsearch indexiert sind.
  Benutzer können in diesem Modus ebenfalls den Bezug auf markierte Objekte einschränken.

Die Informationen verweisen auf die Quellen der Informationen.

Der Zugriff auf Informationen ist über das Rechtesystem gesteuert. Benutzer erhalten nur Informationen aus Objekten, auf die sie selbst Zugriff haben.

Über die Konfiguration kann die Benutzung des Dashlets auf Gruppen eingeschränkt werden.

Konfiguration

Der Service 'lumee' wird über enaio® service-manager installiert.

Die Konfiguration erfolgt über die Konfigurationsdatei lumee-prod.yml aus dem Verzeichnis \config von enaio® service-manager.

Benutzer mit der Systemrolle 'Administrator: Konfiguration Gesamtsystem' können Prompt-Einstellungen im Dashlet anpassen und speichern.

Das Einbinden eines KI-Providers und der spezifischen Modelle erfolgt im Projekt über die Konfigurationsdatei lumee-prod.yml.

Zugriffsrechte

Zugriff auf das Dashlet erhalten als Standard alle Benutzer. Eingeschränkt werden kann der Zugriff auf Benutzer in Gruppen, die Sie in der Datei lumee-prod.yml angeben:

lumee:
  allowedGroups: GROUP1,GROUP2

Benutzer, die kein Zugriffsrecht haben, sehen in enaio® client und enaio® webclient im Dashlet 'lumee' einen entsprechenden Hinweis auf fehlende Rechte.

Für enaio® webclient kann das Dashlet nur für angegebene Benutzer und Gruppen angezeigt werden.

Datenbezug und Kontextbezug

Als Standard ist der Kontextbezug in der Datei lumee-prod.yml aktiviert:

lumee:
  useVectorStore: false

Zum Aktivieren des Datenbezugs ändern Sie den Wert des Parameters useVectorStore auf true.

Für den Datenbezug muss Elasticsearch eingebunden sein und die Konfiguration der Indizierung über Batches vorliegen.

Nach Änderung des Parameters und dem Neustart des Services 'lumee' wird die Vektor-Datenbank angelegt und die Batches werden ausgeführt.

Für den Kontextbezug wird keine Vektor-Datenbank benötigt und keine Konfiguration der Indizierung.

Datenbezug: Einbinden von Elasticsearch

Für den Service 'lumee' muss Elasticsearch in der Version 8.x installiert und eingebunden werden.

Elasticsearch in der Version 7.x kann nicht für die Vektor-Daten verwendet werden.

Das Einbinden erfolgt über die Konfigurationsdatei lumee-prod.yml.

Als Standard sind die Daten für die Anmeldung aus der Konfigurationsdatei application-es.yml angegeben.

Die Verbindung zu Elasticsearch muss angepasst werden.

spring:
  elasticsearch:
    uris: ${elasticsearch.hosts:http://localhost:8041}
    username: ${elasticsearch.user:elastic}
    password: ${elasticsearch.pwd}

Geben Sie die Adresse und Benutzer und Passwort der Elasticsearch-Installation Version 8 an.

Einbinden eines KI-Providers

Das Einbinden eines KI-Providers und der spezifischen Modelle erfolgt im Projekt über die Konfigurationsdatei lumee-prod.yml aus dem Verzeichnis \config von enaio® service-manager.

KI-Provider

Als KI-Provider können Gemini und StackIT angebunden werden. Weitere LLMs können projektspezifisch angebunden werden.

Die URL für die Verbindung zum KI-Provider und den API-Key geben Sie über folgende Parameter an:

lumee:base-url
lumee:key

Die Struktur der URL und der API-Key sind vom Provider abhängig.

Beispiel:

• Google Gemini: https://generativelanguage.googleapis.com/v1beta/openai

Falls der Chat bei projektspezifischen Einbindungen fehlschlägt und eine 400-Antwort vom Provider protokolliert ist, dann prüfen Sie in der Anbieter-Dokumentation, welcher Parameter für die maximale Tokenanzahl in der Antwort verwendet wird.
Wird max_completion_tokens verwendet statt max_tokens (Standard), dann können Sie die Verwendung von max_completion_tokens aktivieren, indem Sie ihr Modell oder ihre Modelle im Parameter lumee:completion-token-prefixes in der Konfigurationsdatei lumee-prod.yml eintragen.

Datenbezug: Embedding-Modell

Für die Indizierung müssen die Dokumente an den KI-Provider übertragen werden. Beachten Sie dieses bezüglich Datenschutz, Datensicherheit und Datenverbrauch.

Das Embedding-Modell geben Sie über folgenden Parameter an:

lumee:embedding:model

Für das Embedding wird ebenfalls die Dimensionalität der Vektoren angegeben. Die Werte sind spezifisch für das Modell. Standard-Werte sind: 768, 1538, 3072.

Parameter:

lumee:embedding:dimensions

Höhere Werte führen zu größerem Speicherbedarf in der Vektor-Datenbank aber zu genaueren Antworten.

Der Wert 3072 führt bis zu einem doppelten Speicherbedarf für die indizierten Objekttypen.

Falls das Embedding-Modell oder die Dimensionalität der Vektoren geändert wird, ist eine Neuindizierung notwendig.

Indizierung für den Datenbezug - Batches

Bestehende und neu angelegte Objekte von Objekttypen werden indiziert, wenn für den Objekttyp ein Batch angelegt ist.

Batches werden über enaio® lumee-administrator angelegt: <service-manager-ip>:<port>/admin

Angegeben wird der zu indizierende Objekttyp. Bedingungen können angegeben werden.

Für den Kontextbezug ist keine Indizierung notwendig.

Für den Zugriff auf enaio® lumee-administrator ist die Systemrolle 'Administrator: Konfiguration Gesamtsystem' notwendig. Der Parameter useVectorStore muss den Wert true haben.

Chat-Modelle

Mehrere Chat-Modelle können für die Generierung der Antworten konfiguriert werden. Das Modell kann dann im Dashlet gewählt werden. Damit können zum Testen von Modellen die Ergebnisse unterschiedlicher Chat-Modelle einfach verglichen werden.

Parameter:

lumee:modellist

Beispiel:

modellist:
    - llama3.2
    - mistral-nemo

Eines der Modelle wird für den Benutzer als Standard vorausgewählt.

Parameter:

lumee:model

Datenbezug: Konfiguration der CPB-Queues

In enaio® enterprise-manager sind zwei CPB-Queues eingerichtet, deren Parameter für den Datenbezug ergänzt werden müssen.

Einstellungen\Registry-Einträge\Schema\CPB:

• Ergänzen Sie für die Queue FULLTEXTDOC den Wert AIDOC.

• Ergänzen Sie für die Queue FULLTEXTIDX den Wert AIIDX.

Dashlet einbinden

enaio® client

Das Dashlet wird in enaio® client über enaio® enterprise-manager eingebunden.

• Home-URL: http(s)://<gateway>:<port>/lumee/?sessionguid={sessionguid}

• Titel: enaio lumee

• Beim Start laden: Ja

• Als Icon-ID kann die ID 1073744243 angegeben werden.

enaio® webclient

Für enaio® webclient wird das Dashlet über die Datei dashlet.json eingebunden.

Beispiel:

[
    {
        "objectTypes": "*",
        "platforms": [
            "web",
            "desktop_app",
        ],
        "uri": "http://<service-manager-ip>/lumee/",
        "title_EN": "enaio lumee",
        "title_DE": "enaio lumee",
        "title_FR": "enaio lumee"
        "iconID": "1073744243"
        "groups": "STANDARD",
        "users": ["user1", "user2"]
    }
]

Wenn in der dashlet.json Benutzer und Gruppen angegeben werden, für die das Dashlet angezeigt wird, dann benötigen diese Benutzer ebenfalls die Rechte über die Datei lumee-prod.yml. Sonst erhalten diese Benutzer im Dashlet nur einen Hinweis auf fehlende Rechte.

Konfiguration im Dashlet

Das Dashlet kann in enaio® client über die Menüband-Registerkarte Ansicht geöffnet werden und in enaio® webclient über das Dashlet-Icon in der Kopfzeile des Vorschaubereichs.

Als Anwendungseinstellung kann ein helles oder dunkles Farbschema gewählt werden.

Benutzer mit der Systemrolle 'Administrator: Konfiguration Gesamtsystem' öffnen die Prompt-Einstellungen im Dashlets 'lumee' über das Einstellungs-Icon in der Menüleiste des Dashlets. Änderungen können gespeichert werden.

Einstellungen für Prompts

Das Einbinden der LLMs erfolgt ausschließlich über die Konfigurationsdatei lumee-prod.yml.

Der Bereich Einstellungen für Prompts im Dashlet ist in folgende Abschnitte unterteilt:

Benutzerdefinierte Prompt-Schaltflächen

Das Eingabefeld für Prompts wird als Standard mit Schaltflächen für vordefinierte Prompts erweitert. Benutzer mit der Systemrolle 'Administrator: Konfiguration Gesamtsystem' können diese vordefinierten Prompts bearbeiten, speichern und damit als Standard allen Benutzern zur Verfügung stellen. Sie können ebenfalls neue Prompt für alle Benutzer anlegen. Gespeichert werden die Daten in der Datei prompt-config.yml im Verzeichnis \apps\lumeeservice von enaio® service-manager.

Andere Benutzer können eigene Prompts erstellen und bearbeiten. Diese Prompts werden nur temporär im Browser-Cache gespeichert und stehen damit nach dem Löschen des Caches, in einem anderen Browser oder in einem anderen Client nicht mehr zur Verfügung.

Die Schaltfläche Zusammenfassen wird nur angezeigt, wenn ein Dokument markiert ist, die Schaltfläche Vergleichen nur, wenn mindestens 2 und maximal 5 Dokumente markiert sind.

Für den Kontextbezug sind immer Dokumente erforderlich.