Как считать расходы на токены
Из чего складывается стоимость запроса и как оценить бюджет.
Редакция APICODIK· 3 мин чтения
Вход и ответ считаются отдельно
Вход — это отправленные сообщения, системная инструкция и переданный контекст. Ответ — текст и другие учитываемые выходные токены модели. Точные правила и цены зависят от модели.
При многошаговом диалоге приложение часто пересылает историю. Поэтому следующий короткий вопрос может иметь большой вход. Длинные файлы и результаты инструментов тоже увеличивают контекст.
Сделайте оценку
Для текстовой модели базовая оценка: входные токены / 1 000 000 × цена входа + выходные токены / 1 000 000 × цена ответа. Если есть отдельно учтённое чтение из кэша, его считают по соответствующему тарифу.
Повтор одинакового текста не гарантирует скидку кэша. Для изображений может применяться поштучный тариф — не подставляйте его в формулу текстовых токенов.
Оптимизируйте по журналу использования
Передавайте только нужный контекст, сокращайте повторяющиеся инструкции и проверяйте качество после каждого изменения. Для простого шага иногда достаточно менее дорогой модели.
Смотрите расход целого сценария: первый запрос, обращения к инструментам и повторы. Оценка бюджета полезна для планирования, но окончательный расход нужно сверять с кабинетом.