Skip to main content
Version: 1.5.0

Биллинг нексуса

На вкладке Биллинг формы конфигурации нексуса задаются правила, по которым платформа считает расход каждого обращения к нексусу в кредитах. Читайте подробнее о метриках, путях извлечения, коэффициентах и формулах в статье Расчет расхода.

Вверху вкладки расположены кнопки трех способов расчета:

  • По тарифу – нексус использует правила тарифа. Изменение тарифа меняет расчет у всех нексусов, привязанных к нему.
  • Настроить – правила задаются на самом нексусе. Их можно заполнить из шаблона и доработать.
  • Отключить биллинг – обращения к нексусу не расходуют кредиты.

У нового нексуса выбран способ Настроить. Запись нексуса сохраняется, только если задан способ расчета: заполнены обе формулы, выбран тариф или биллинг отключен. При установленном флажке Возвращать кредиты в ответах API нужно заполнить и путь для записи кредитов. Изменения на вкладке применяются при сохранении записи нексуса.

tip

Требуемые роли:

  • Чтение – mai_billing_manager.
  • Обновление – mai_admin.

С ролью mai_billing_manager вкладка доступна только для чтения: правила и настройки возврата кредитов отображаются, кнопки способов расчета неактивны, а элементы для изменения правил скрыты. Читайте подробнее о доступе к биллингу в разделе Биллинг.

Расчет по тарифу​

  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы и откройте запись нексуса.

  2. Откройте вкладку Биллинг и нажмите По тарифу.

  3. Выберите тариф в списке Тариф.

    warning

    После сохранения записи со способом расчета По тарифу собственные правила нексуса удаляются без возможности восстановления. До сохранения их можно вернуть: нажмите Настроить.

  4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Правила тарифа отображаются на вкладке только для чтения и меняются в записи тарифа. Чтобы задать отдельные правила только для этого нексуса, сохраните запись с выбранным тарифом и нажмите Настроить: правила тарифа скопируются в нексус, а привязка к тарифу снимется.

Настройка собственных правил​

  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы и откройте запись нексуса.

  2. Откройте вкладку Биллинг и нажмите Настроить.

  3. Чтобы начать с готовых правил, выберите шаблон в списке Шаблон. Значения шаблона скопируются в нексус, после чего их можно изменить.

    caution

    Если на нексусе уже заданы правила, они заменяются значениями шаблона. Чтобы вернуть прежние правила, закройте форму без сохранения.

  4. В блоке Пути извлечения выберите в списке Добавить метрику метрики, которые используются в основной формуле. Список отображается, если в справочнике есть метрики, еще не добавленные на нексус. Если нужной метрики нет в справочнике, создайте ее кнопкой Создать метрику. Читайте подробнее в разделе Создание метрики с формы нексуса.

  5. Проверьте путь в каждой строке метрики. В строку подставляется путь по умолчанию из справочника – измените его, если нейросеть возвращает значение в другом поле.

  6. Если в формулах нужны коэффициенты, в блоке Коэффициенты нажмите Добавить коэффициент и укажите имя и значение.

  7. В блоке Формулы заполните поля Основная и Резервная.

  8. Убедитесь, что вверху вкладки отображается сообщение Настройка корректна. Если отображается Проверьте настройки, исправьте поля, под которыми выведены замечания.

  9. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Чтобы проверить правила на примере реального запроса и ответа, воспользуйтесь панелью Расчет кредитов.

Пути извлечения​

Каждая строка блока – метрика: ее код и путь к значению в запросе или ответе нейросети. Путь начинается с request. или response., ключи разделяются точкой. Системные метрики в пути не добавляются: платформа считает их сама, и их можно сразу использовать в формулах.

Код метрики выделяется зеленым, если метрика используется в основной формуле. При наведении на код отображаются его расшифровка и признак Задействована в основной формуле или Не задействована в основной формуле.

Чтобы убрать метрику, нажмите × в конце строки.

Создание метрики с формы нексуса​

  1. В блоке Пути извлечения нажмите Создать метрику.
  2. Укажите в строке создания код метрики, путь к значению и расшифровку. Требования к коду и пути – в статье Метрики биллинга.
  3. Нажмите ✓ справа от поля пути.
  4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Метрика сразу создается в справочнике Метрики биллинга (mai_billing_metric) и добавляется в пути извлечения нексуса.

Коэффициенты​

Чтобы убрать коэффициент, нажмите × в конце строки. Требования к имени и значению – в статье Расчет расхода.

Поля блока Формулы​

ПолеОбязательноОписание
ОсновнаяДаУкажите формулу расчета расхода. В формуле можно использовать метрики из путей извлечения, системные метрики и коэффициенты. Например, RQT*p_in + RST*p_out.
РезервнаяДаУкажите формулу, которая применяется, если основную посчитать нельзя. В резервной формуле можно использовать только системные метрики и коэффициенты. Например, TB*0.125.

Читайте подробнее в статье Расчет расхода.

Под формулами отображается справка: Системные метрики и Справочник метрик. Читайте подробнее о синтаксисе формул в статье Расчет расхода.

Отключение биллинга​

  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы и откройте запись нексуса.
  2. Откройте вкладку Биллинг и нажмите Отключить биллинг. Отобразится сообщение: Биллинг отключен: по этому нексусу ничего не списывается.
  3. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Чтобы снова включить биллинг, нажмите По тарифу или Настроить. Правила, заданные до отключения, сохраняются.

Проверка расчета​

Панель Расчет кредитов справа на вкладке показывает расчет по текущим правилам без округления до целого. Отрицательный итог панель показывает как есть, при обработке обращения расход в этом случае равен 0 кредитов. Расчет на панели не сохраняется и на учет расхода не влияет.

  1. Укажите значения метрик одним из способов:
    • введите значения в поля метрик, которые используются в формулах;
    • вставьте в поля Payload запроса и Payload ответа тела реального запроса и ответа нейросети в формате JSON. Чтобы перейти к ручному вводу, нажмите Вручную. Чтобы вернуться к вставленным телам, нажмите Payload.
  2. Проверьте результат. Для каждой формулы панель показывает выражение с подставленными значениями и итог в кредитах.

Если при указанных значениях формула делит на 0, вместо итога выводится сообщение: Деление на 0 при этих значениях: формула не считается. Когда так происходит с основной формулой, расход считается по резервной – так же, как при обработке обращения. Если на 0 делят обе формулы, расход не рассчитывается.

Если тела запроса и ответа вставлены, панель выводит значения, извлеченные по путям, и сообщает, по какой формуле считает:

  • Все пути найдены – используется основная формула.
  • Часть путей не найдена в ответе – используется резервная формула.
  • Основная формула делит на 0 – используется резервная формула.

Ниже отображаются числовые поля тел запроса и ответа, для которых нет метрики. По этому списку можно найти значения, которые еще не учитываются в расчете.

Сохранение правил как тарифа или шаблона​

Собственные правила нексуса можно сохранить как тариф или шаблон, чтобы использовать их на других нексусах.

Кнопки Сохранить как тариф и Сохранить как шаблон доступны, когда правила заполнены без ошибок.

  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы и откройте запись нексуса.
  2. Откройте вкладку Биллинг и при способе Настроить нажмите Сохранить как тариф или Сохранить как шаблон.
  3. Укажите название и нажмите Создать.
  4. Если вы создали тариф, нажмите Сохранить или Сохранить и выйти, чтобы применить привязку нексуса к тарифу.

Запись тарифа или шаблона создается сразу. Если вы создали тариф, на вкладке выбирается способ По тарифу с новым тарифом, а привязка вступает в силу после сохранения нексуса.

Возврат кредитов в ответе API​

Вы можете передавать клиенту расход обращения в теле ответа нексуса. Число кредитов записывается в ответ по указанному пути.

  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы и откройте запись нексуса.
  2. Откройте вкладку Биллинг и установите флажок Возвращать кредиты в ответах API.
  3. В поле Путь для записи кредитов укажите путь к полю ответа, например response.usage.credits. Путь начинается с response., ключи разделяются точкой.
  4. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Флажок и путь настраиваются на каждом нексусе отдельно: в тариф и шаблон они не сохраняются.

Кредиты записываются в успешные ответы в формате JSON целым числом. Если биллинг нексуса отключен, кредиты в ответ не записываются. Недостающие объекты на пути создаются, а значение существующего поля заменяется. Если по пути встречается поле, которое не является объектом, например строка, кредиты не записываются.

При потоковой передаче кредиты добавляются в событие с расходом токенов модели (usage). Если нейросеть не передает такое событие, кредитов в потоке нет. Читайте подробнее в статье Расчет расхода.

Чтобы клиент видел только расход в кредитах, удалите из ответа расход токенов модели. Для этого на вкладке Расширенные параметры установите флажок Редактировать ответ Нексуса и укажите в поле Ключи для удаления значение ["response.usage"]. Кредиты записываются после удаления полей, поэтому путь response.usage.credits подходит и здесь: в ответе останется объект usage с единственным полем credits. Читайте подробнее в статье Конфигурация нексуса.

Сообщения о проверке правил​

Вверху вкладки отображается сообщение о результате проверки правил:

СообщениеОписание
Настройка корректнаПравила заполнены без ошибок.
Проверьте настройкиВ правилах есть замечания. Они выведены под полями, к которым относятся.
Тариф не выбранВыбран расчет по тарифу, но тариф не указан. Выберите тариф в списке Тариф.
Биллинг отключен: по этому нексусу ничего не списывается.Выбран способ Отключить биллинг: обращения к нексусу не расходуют кредиты.

Под полями выводятся замечания. Основные из них:

ЗамечаниеЧто делать
Путь не заполненУкажите путь к значению метрики.
Путь должен быть вида request.key или response.keyНачните путь с request. или response. и укажите хотя бы один ключ. В JSON путь берите в кавычки: "response.usage.prompt_tokens", а не список или число.
деление на 0: делитель – число 0 или коэффициент, равный 0Исправьте формулу или значение коэффициента: делить на число 0 и на коэффициент со значением 0 нельзя.
Метрика системная, путь для нее не нуженУдалите строку: системную метрику можно использовать в формулах без пути.
Метрики нет в справочникеМетрика с таким кодом удалена из справочника, но расчет по ней выполняется. Чтобы убрать замечание, создайте метрику с тем же кодом заново в справочнике Метрики биллинга или замените ее в правилах.
Нет метрики или коэффициента с именем …Добавьте метрику в пути извлечения или коэффициент с этим именем либо исправьте формулу.
… не системная метрика и не коэффициентВ резервной формуле используйте только системные метрики и коэффициенты.
Имя совпадает с кодом метрикиПереименуйте коэффициент: его имя не должно совпадать с кодом системной метрики или метрики из справочника.
знак «-» после оператора: возьмите число в скобки, например RQT*(-2)Возьмите отрицательное число в скобки.

Правила нексуса в состоянии Черновик​

Нексус в состоянии Черновик на платформу не доставляется. Ошибки в его правилах отображаются как предупреждения и не мешают сохранить запись. Обязательными остаются:

  • при способе Настроить – обе формулы, путь каждой метрики и значение каждого коэффициента;
  • при способе По тарифу – тариф;
  • при установленном флажке Возвращать кредиты в ответах API – путь для записи кредитов.

Под сообщением о проверке выводится пояснение Нексус в состоянии черновика: тарификация начнется после смены статуса.

В остальных состояниях, включая Выведен из эксплуатации, правила проверяются полностью: запись не сохраняется, если в правилах есть ошибки или не задан способ расчета.

Нексус в состоянии Выведен из эксплуатации на платформу не доставляется, и обращения к нему не расходуют кредиты. Под сообщением о проверке выводится пояснение Нексус в этом статусе не попадает в конфиг прокси: тарификации нет.