Request
Wie eine Anfrage geprüft wird
Jede Anfrage durchläuft drei Schleusen, bevor sie ein Modell erreicht: den API-Schlüssel, mit dem sie erstellt wurde, das Benutzerkonto, zu dem dieser Schlüssel gehört, und die Organisation, zu der dieses Konto gehört. Jede Schleuse verfügt über eigene Limits, unterteilt in die zwei oben genannten Arten: eine Anfragerate, gezählt in Anfragen, und ein Budget, gezählt in Euro. Die Anfrage wird gegen jedes Limit gemessen, das auf dieser Ebene gesetzt ist, und sie wird abgelehnt, sobald eines davon überschritten wird, ohne dass die späteren Schleusen konsultiert werden. Erst wenn alle drei Schleusen passiert sind, erreicht die Anfrage ein Modell, und ihre Kosten werden dann gleichzeitig auf die Budgets aller drei Ebenen zurückgebucht.
Die Herkunft der Limits jeder Schleuse unterscheidet sich. Ein API-Schlüssel und eine Organisation unterliegen nur den Limits, die direkt auf sie gesetzt wurden. Wenn also keines gesetzt ist, lässt diese Schleuse die Anfrage einfach durch. Ihr Benutzerkonto ist die einzige Schleuse, die immer ein Limit hat: Ihr eigenes, falls Sie eines haben, andernfalls den Standardwert Ihrer Organisation für ihre Mitglieder, andernfalls den Plattform-Standardwert.
- Eine Ebene ohne gesetztes Limit fügt einfach keine Einschränkung hinzu; sie befreit Sie nicht von den Ebenen danach. Was Sie tatsächlich tun können, wird durch das kleinste der drei Limits bestimmt, sodass ein Limit auf Ihrem API-Schlüssel Sie nur weiter einschränken kann. Es kann Ihnen niemals mehr gewähren, als Ihr Konto oder Ihre Organisation erlaubt.
- Von Chat AI aus gilt die erste Box nicht: Es ist kein API-Schlüssel beteiligt, sodass die Anfrage bei Ihrem Benutzerkonto beginnt.
- Anfrage-Rate-Limits werden über alle drei Ebenen hinweg evaluiert, bevor Budgets geprüft werden, sodass ein Aufrufer, dessen Budget erschöpft ist, weiterhin gedrosselt wird und nicht frei wiederholen kann.
- Bei einer Ablehnung gibt der Header
x-ratelimit-scopean, welche der drei Sie gestoppt hat.