https://docs.ai.gwdg.de/technical/index.htmlInfo In Kürze finden Sie an dieser Stelle die Technische Dokumentation unserer KI-Dienste. Sie wird Hintergrundinformationen und Beschreibungen der technischen Infrastruktur enthalten, die über die Inhalte der Benutzerdokumentation hinausgehen. Aktuell finden Sie hier insbesondere die Dokumentation der SAIA Plattform. Im Rahmen der Überarbeitung dieser Dokumentation, werden wir bei der Zuordnung der Inhalte diverse Änderungen vornehmen. SAIA Plattform Budget Limits Rate Limits Token-KostenberechnungHugodehttps://docs.ai.gwdg.de/technical/saia-platform/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/technical/saia-platform/index.htmlSAIA ist der skalierbare KI-Accelerator (AI), der unsere KI-Dienste hostet. Zu diesen Diensten gehören Chat AI und CoCo AI, weitere werden in Kürze hinzukommen. API-Schlüssel für die SAIA-API (Application Programming Interface) können beantragt und innerhalb Ihres Codes zur Nutzung der Dienste verwendet werden. API-Schlüssel sind nicht erforderlich, um die Web-Oberfläche von Chat AI zu nutzen Web-Oberfläche. Die SAIA-API eignet sich für interaktive Inferenz-Szenarien. Falls Sie eine große Anzahl (z. B. Tausende von LLM-Anfragen) asynchron verarbeiten können, ist das Batch-Verfahren unseres HPC-Clusters die bessere Wahl. Ihre Batch-Aufgabe wird zuverlässiger, schneller und kostengünstiger abgeschlossen. Informieren Sie sich über die Einrichtung Ihres HPC-Clusters und die Nutzung von LLMs, um zu erfahren, wie Sie eine Batch-Inferenz-Aufgabe auf dem Cluster einrichten können. vLLM ist eine weitere beliebte Wahl für LLM-Inferenz.