https://docs.ai.gwdg.de/user/basics/index.htmlInfo Auf diesen Seiten werden wir grundlegende Konzepte der KI Dienste und der Umsetzung dieser Konzept innerhalb unserer Infrastruktur erläutern. Was ist ein Token? Request Open-Weight-Modelle {class=“children children-type-tree children-sort-weight”}Hugodehttps://docs.ai.gwdg.de/user/basics/token/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/user/basics/token/index.htmlWas ist ein Token? Ein Token ist die kleinste Einheit, die ein Sprachmodell verarbeiten kann. Es ist nicht einfach ein einzelnes Wort, sondern ein Teil eines Wortes, ein Satzzeichen, ein Leerzeichen oder eine Kombination aus diesen Elementen. Tokens sind die Bausteine, aus denen der gesamte Text in einer Anfrage für ein KI-Modell zerlegt wird. Wie werden Tokens erzeugt? Die Umwandlung von Text in Tokens erfolgt durch ein Verfahren namens Tokenisierung. Dieser Prozess teilt den Eingabetext in kleinere Einheiten auf, die das Modell effizient verarbeiten kann. Die Art und Weise, wie ein Text in Tokens zerlegt wird, hängt von der spezifischen Architektur des Modells ab.https://docs.ai.gwdg.de/user/basics/request/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/user/basics/request/index.htmlWie eine Anfrage geprüft wird Jede Anfrage durchläuft drei Schleusen, bevor sie ein Modell erreicht: den API-Schlüssel, mit dem sie erstellt wurde, das Benutzerkonto, zu dem dieser Schlüssel gehört, und die Organisation, zu der dieses Konto gehört. Jede Schleuse verfügt über eigene Limits, unterteilt in die zwei oben genannten Arten: eine Anfragerate, gezählt in Anfragen, und ein Budget, gezählt in Euro. Die Anfrage wird gegen jedes Limit gemessen, das auf dieser Ebene gesetzt ist, und sie wird abgelehnt, sobald eines davon überschritten wird, ohne dass die späteren Schleusen konsultiert werden. Erst wenn alle drei Schleusen passiert sind, erreicht die Anfrage ein Modell, und ihre Kosten werden dann gleichzeitig auf die Budgets aller drei Ebenen zurückgebucht.https://docs.ai.gwdg.de/user/basics/open-weight-models/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/user/basics/open-weight-models/index.htmlWas sind Open-Weight-Modelle? Open-Weight-Modelle sind große Sprachmodelle, deren Trainingsgewichte („Weights“) öffentlich zugänglich sind. Anders als kommerzielle Modelle, die von Unternehmen wie OpenAI oder Anthropic geschützt und nur über eine API zugänglich sind, können Open-Weight-Modelle von jedem frei heruntergeladen, lokal installiert und genutzt werden. Wie unterscheiden sich Open-Weight-Modelle von kommerziellen Modellen? Merkmal Open-Weight-Modelle Kommerzielle Modelle (z.B. GPT-4, Claude Opus) Lokale Nutzung Ja - können auf eigenen Servern oder Rechnern laufen Nein - nur über Cloud-Endpunkte Anpassung Ja - können für spezifische Aufgaben finegetuned werden Nein - nur über Prompt-Engineering Transparenz Hohe Transparenz: Quellcode und Gewichte sind öffentlich Geringe Transparenz: Nur die API ist verfügbar Datenschutz Hoher Datenschutz: Daten bleiben lokal Daten werden an externe Anbieter gesendet Warum sind Open-Weight-Modelle wichtig? Datenschutz und Kontrolle Da die Modelle lokal laufen, bleiben Ihre Daten auf eigenen Systemen. Keine Daten werden an Dritte übermittelt - ideal für sensible Forschungsdaten oder vertrauliche Unternehmensinformationen.