Skip to main content
Version: 1.4.2

Конфигурация нексуса

Запись таблицы Нексусы (mai_nexus_configuration) – конфигурация нексуса, которая описывает маршрут, действия и свойства, необходимые для подключения к выбранной нейросети.

На форме конфигурации вы задаете:

  • параметры подключения: экземпляр ИИ, конечную точку, модель и способ авторизации;
  • пути учета трафика, по которым система считает израсходованные токены;
  • защиту персональных данных в запросах;
  • запасной нексус на случай недоступности основного;
  • тестовые запросы, чтобы проверить соединение до ввода конфигурации в эксплуатацию.
tip

Требуемые роли:

  • Чтение – mai_reporter и mai_billing_manager, а также владелец лицензии, в которую входит нексус.
  • Создание – mai_admin.
  • Обновление – mai_admin.
  • Удаление – mai_admin.

Создание записи конфигурации нексуса​


  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Нексусы.
  2. Нажмите Создать и заполните поля вкладок формы.
  3. Нажмите Сохранить, чтобы применить изменения. Связанные списки появляются на форме только после сохранения записи.
  4. Создайте тестовый запрос и нажмите Test Configuration в правом верхнем углу формы, чтобы проверить соединение с нейросетью.
  5. В случае успешного соединения выберите в поле Состояние значение В эксплуатации, чтобы ввести конфигурацию в эксплуатацию.
  6. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Отдельно разворачивать конфигурацию не нужно: после сохранения записи изменения уходят на платформу автоматически. Читайте подробнее в статье Доставка конфигураций.

Поля формы сгруппированы по трем вкладкам: Общее, Расширенные параметры и Декорация. Обязательные поля расположены на вкладке Общее.

Поля вкладки Общее​

ПолеОбязательноОписание
NameДаУкажите уникальное наименование конфигурации нексуса.
СостояниеНетВыберите состояние конфигурации. Доступные опции:
  • Черновик – конфигурация еще не готова к использованию;
  • В разработке – конфигурация в разработке или ожидает ввода в эксплуатацию;
  • В эксплуатации – конфигурация используется;
  • Устарел – конфигурация является устаревшей;
  • Выведен из эксплуатации – конфигурация выведена из эксплуатации.
MethodНетУкажите HTTP-метод для взаимодействия с нексусом. Доступные опции:
  • GET
  • POST – установлен по умолчанию
  • PUT
  • PATCH
ModelНетУкажите модель, к которой необходимо обращаться при использовании текущего нексуса. Доступны только модели из списка Доступные модели выбранного экземпляра ИИ.
Экземпляр ИИДаУкажите экземпляр ИИ, к которому обращается нексус. Выбранный экземпляр определяет, какие модели, конечные точки и токены можно указать в этой конфигурации.
Экземпляр ИИ.ПровайдерНетПровайдер выбранного экземпляра ИИ. Поле заполняется автоматически и недоступно для редактирования.
Экземпляр ИИ.ХостНетХост выбранного экземпляра ИИ. Поле заполняется автоматически и недоступно для редактирования.
EndpointДаУкажите конечную точку, на которую будут отправляться запросы. Доступны только конечные точки из списка Доступные конечные точки выбранного экземпляра ИИ.
Auth TypeНетУкажите тип авторизации. Доступные опции:
  • Bearer
  • Header
  • OAuth 2.0
  • Query Param
Auth TokenДа/НетУкажите запись токена для авторизации. Доступны только токены из списка Доступные токены выбранного экземпляра ИИ.

Поле обязательно, если в поле Auth Type выбрано Bearer.

Auth ParamНетУкажите параметры авторизации в нейросети. Поле отображается, если в поле Auth Type выбрано OAuth 2.0.
Настройки HTTP-клиентаНетУстановите флажок, чтобы применять к запросам параметры HTTP-клиента: Query Params, Headers, Added Body и Response to base64.

Если флажок снят, заполненные значения этих полей сохраняются в записи, но в конфигурацию нексуса не попадают и на запросы не влияют.

Response to base64НетУстановите флажок, если запросы к текущей нейросети должны быть сформированы в виде строки в кодировке Base64.

Настройка применяется, только если установлен флажок Настройки HTTP-клиента.

Query ParamsНетУкажите параметры строки запроса, которые нужно добавлять к каждому обращению к нейросети, в том числе параметры авторизации, если в поле Auth Type выбрано Query Param. Допускается использование плейсхолдера {{AUTH_TOKEN}}.

Параметры применяются, только если установлен флажок Настройки HTTP-клиента.

Параметры, которые передал пользователь, доходят до нейросети без изменений. Если имя параметра совпадает с заданным здесь, применяется значение из конфигурации.

HeadersНетУкажите заголовки запроса, в том числе параметры авторизации, если в поле Auth Type выбрано Header. Допускается использование плейсхолдера {{AUTH_TOKEN}}.

Заголовки применяются, только если установлен флажок Настройки HTTP-клиента.

Added BodyНетУкажите дополнительные параметры запроса, например, текст промпта, название модели или настройки генерации.

Параметры применяются, только если установлен флажок Настройки HTTP-клиента.

Поля вкладки Расширенные параметры​

ПолеОбязательноОписание
Model pathНетУкажите путь к модели, если он отличается от ее названия. Значение переопределяет название модели в запросах.

Заполните поле, если провайдер ожидает ключ модели в нестандартном формате.

BypassНетУкажите запись другой конфигурации, которая будет использована, если текущий нексус не ответил за время, заданное в поле Timeout (код ответа 408), или вернул ошибку с кодом 500 и выше. Запрос через эту конфигурацию выполняется в рамках того же обращения, поэтому общее время ожидания складывается из значений Timeout обеих конфигураций.
Действие фильтра данныхНетУкажите запись действия из справочника Действия фильтра данных, которое будет выполняться до отправки запроса в нейросеть.
Prompt Tokens Usage PathНетУкажите путь к полю в JSON-ответе нейросети, которое содержит количество токенов, затраченных на обработку входящего запроса (включая системную инструкцию, историю диалога и текущий промпт). Например, usage.input_tokens.
Completion Tokens Usage PathНетУкажите путь к полю в JSON-ответе нейросети, которое содержит количество токенов, затраченных на генерацию ответа. Например, usage.output_tokens.
TimeoutНетУкажите время ожидания запроса от конечной точки в секундах. Обратите внимание, что время ожидания может варьироваться от нескольких секунд до нескольких часов в зависимости от типа операций и их вычислительной сложности для конкретной нейросети и поставленной задачи. Значение по умолчанию: 600 секунд.

Поля вкладки Декорация​

На вкладке указывается декорация нексуса. Остальные поля показывают ее настройки: они заполняются автоматически из выбранной записи и недоступны для редактирования – чтобы изменить их, откройте саму запись декорации.

ПолеОбязательноОписание
DecorationНетУкажите декорацию нексуса – описательную сущность, включающую скрипт запроса, метод и другие атрибуты нексуса, которые будут доступны на уровне клиента.
Decoration.TypeНетТип нексуса из выбранной декорации.
Decoration.MethodНетМетод класса API из выбранной декорации.
Decoration.Operation StateНетСостояние нексуса, которое видит клиент.
Decoration.Decommission dateНетДата вывода нексуса из эксплуатации.
Decoration.Ainergy safe cloudНетПризнак того, что нексус хранится в безопасном облаке Ainergy.
Decoration.Вызов функцииНетПризнак того, что нексус может вызывать функции при выполнении запросов.
Decoration.Is DefaultНетПризнак нексуса по умолчанию для своего типа.
Decoration.DescriptionНетОписание из выбранной декорации.
Decoration.Request scriptНетСкрипт преобразования запроса из выбранной декорации.
Decoration.Response scriptНетСкрипт преобразования ответа из выбранной декорации.

Действия конфигурации нексуса​

UI-действиеОписание
Test ConfigurationНажмите, чтобы проверить настроенное соединение с нейросетью. Кнопка расположена в правом верхнем углу формы.

Связанные списки​

  • Nexus Test Case – список тестовых запросов к текущей конфигурации нексуса.
  • Nexus Test Result – результат отправки тестового запроса.
  • Мультипликатор (mai_multiplier) – коэффициенты пересчета потребления для этого нексуса.

Состояние Черновик​


Состояние Черновик позволяет держать конфигурацию нексуса в работе над ней, пока она не готова к использованию. Нексус в состоянии Черновик на платформу не уходит. Начиная с состояния В разработке конфигурация доставляется на инфраструктуру.

Состояние конфигурации и поле Operation State декорации – разные вещи. Состояние управляет тем, уйдет ли конфигурация на платформу, и видно администратору в AINIMA. Operation State видит клиент в интерфейсе потребления.

Вернуть конфигурацию в состояние Черновик нельзя, если нексус уже добавлен в лицензии. При попытке сохранить такое изменение отображается сообщение «Нексус не может быть возвращен в состояние черновика, так как он используется в лицензиях». Слово «лицензиях» в сообщении – ссылка на список затронутых лицензий с уже подставленным фильтром, поэтому вы можете сразу перейти к ним и убрать нексус.