https://docs.ai.gwdg.de/categories/sla/index.htmlHugodehttps://docs.ai.gwdg.de/user/basics/request/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/user/basics/request/index.htmlWie eine Anfrage geprüft wird Jede Anfrage durchläuft drei Schleusen, bevor sie ein Modell erreicht: den API-Schlüssel, mit dem sie erstellt wurde, das Benutzerkonto, zu dem dieser Schlüssel gehört, und die Organisation, zu der dieses Konto gehört. Jede Schleuse verfügt über eigene Limits, unterteilt in die zwei oben genannten Arten: eine Anfragerate, gezählt in Anfragen, und ein Budget, gezählt in Euro. Die Anfrage wird gegen jedes Limit gemessen, das auf dieser Ebene gesetzt ist, und sie wird abgelehnt, sobald eines davon überschritten wird, ohne dass die späteren Schleusen konsultiert werden. Erst wenn alle drei Schleusen passiert sind, erreicht die Anfrage ein Modell, und ihre Kosten werden dann gleichzeitig auf die Budgets aller drei Ebenen zurückgebucht.https://docs.ai.gwdg.de/technical/saia-platform/limits_budget/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/technical/saia-platform/limits_budget/index.htmlVom Vertrag zum Budget Die Budgets einer Organisation ergeben sich aus dem, was sie gekauft hat: Schritt Berechnung Beispiel Jahresbudget nach Vertrag 72.000 € Monatsbudget Jahr ÷ 12 6.000 € Tagesbudget Monat ÷ 15 400 € Der Tageswert wird durch 15 geteilt, nicht durch 30, und das ist absichtlich. Bei ÷ 30 könnten Sie nie mehr als den gleichmäßigen Tagesanteil nutzen, und eine Frist oder eine Lehrwoche würde an die Grenze stoßen. Die Division durch 15 ergibt etwa das Doppelte des gleichmäßigen Tagessatzes als Burst-Zulage: lastintensive Tage sind möglich, aber dieses Tempo den ganzen Monat aufrechtzuerhalten nicht.https://docs.ai.gwdg.de/technical/saia-platform/limits_rate/index.htmlMon, 01 Jan 0001 00:00:00 +0000https://docs.ai.gwdg.de/technical/saia-platform/limits_rate/index.htmlWie haben wir Rate- und Budgetlimits für jede Organisation berechnet? Zwei separate Fragen mit unterschiedlichen Antworten. Die Limits einer Organisation leiten sich aus ihrem Vertrag ab, sodass das, was sie gekauft hat, und das, was sie pro Tag ausgeben darf, übereinstimmen. Die Einheit, die Euro mit Anfragen verbindet Ein Budget wird in Euro gemessen und ein Rate-Limit in Anfragen, daher benötigt die Übersetzung des einen in das andere einen Umrechnungsfaktor. Abgeleitet aus echten Nutzungsstatistiken bei der GWDG: Eine durchschnittliche Anfrage besteht aus ungefähr 10.000 Token, was bei etwa 1 € pro Million Token etwa 0,01 € pro Anfrage entspricht.