Skip to main content
Version: 1.4.0

Экземпляры ИИ

Запись таблицы Экземпляры ИИ (mai_nn_instance) описывает экземпляр модели или ИИ-сервиса, размещенный у провайдера или развернутый на вашей инфраструктуре. Экземпляр – это то, к чему в итоге обращается нексус: он задает провайдера, хост и набор ресурсов, которые разрешено использовать.

На записи экземпляра вы определяете, какие модели, конечные точки и токены доступны для использования в конфигурациях нексусов. Это позволяет заранее ограничить набор ресурсов и исключить ошибки при настройке нексуса.

tip

Требуемые роли:

  • Чтение – mai_reporter.
  • Создание – mai_admin.
  • Обновление – mai_admin.
  • Удаление – mai_admin.

Создание записи экземпляра ИИ​


  1. Перейдите в навигаторе в Управление инсталляциями приложений (MAI) → Маршрутизация ИИ → Экземпляры ИИ.
  2. Нажмите Создать и заполните поля формы.
  3. Нажмите Сохранить или Сохранить и выйти, чтобы применить изменения.

Поля формы Экземпляры ИИ​

ПолеОбязательноОписание
НазваниеНетУкажите отображаемое название экземпляра.
ОписаниеНетДобавьте описание экземпляра, например, адреса веб-интерфейса и документации провайдера или список разрешенных IP-адресов.
ПровайдерНетВыберите провайдера нейросети из справочника.
ТипДаВыберите тип экземпляра. Доступные опции:
  • Модель – модель нейросети;
  • ИИ сервис – сервис обработки данных.
ХостДаУкажите хост, на котором размещен API модели или сервиса. Например: https://api.deepseek.com.
Self-hostedНетУстановите флажок, если модель или сервис разворачивается в вашем контуре, а не размещен у провайдера. После установки флажка на форме появляется раздел Deploy с параметрами развертывания. Читайте подробнее ниже, в разделе Развертывание в собственном контуре.
Доступные конечные точкиНетДобавьте конечные точки, которые разрешено использовать с этим экземпляром.
Доступные моделиНетДобавьте модели из справочника Модели провайдера (mai_nn_model), которые разрешено использовать с этим экземпляром.
Доступные токеныНетДобавьте токены аутентификации, которые разрешено использовать с этим экземпляром.

Связанные списки​

  • Нексусы – конфигурации нексусов, которые обращаются к этому экземпляру.
  • Токены аутентификации (mai_nn_instance_token) – токены, созданные для этого экземпляра.
  • Control Plane Tasks – задачи общей зоны управления.

Управление доступностью ресурсов​


Поля Доступные модели, Доступные конечные точки и Доступные токены определяют, что можно выбрать в конфигурации нексуса для этого экземпляра. Проверка работает в обе стороны.

При настройке нексуса. Если в конфигурации нексуса выбрать модель, конечную точку или токен, которых нет в соответствующем списке выбранного экземпляра, сохранение прерывается и отображается сообщение:

  • «Модель "название модели" недоступна для выбранного экземпляра ИИ»
  • «Конечная точка название конечной точки недоступна для выбранного экземпляра ИИ»
  • «Токен "название токена" недоступен для выбранного экземпляра ИИ»

При изменении списков. Если убрать из списка элемент, который уже используется в конфигурациях нексусов, сохранение прерывается и отображается сообщение «Существуют нексусы с удаляемой моделью/токеном/конечной точкой». Слово «нексусы» в сообщении – ссылка на список затронутых конфигураций с уже подставленным фильтром, поэтому вы можете сразу перейти к ним и изменить настройки.

note

Чтобы вывести модель, конечную точку или токен из использования, сначала измените конфигурации нексусов, которые на них ссылаются, и только затем уберите элемент из списка доступного.

Развертывание в собственном контуре​


Кроме подключения моделей и сервисов, размещенных у провайдера, запись экземпляра ИИ позволяет установить модель или сервис в вашем контуре и управлять им.

Устанавливаемый сервис должен запускаться в Docker через Docker Compose. Технически платформа позволяет запустить любой Docker-контейнер.

  1. На форме экземпляра ИИ установите флажок Self-hosted. На форме появится раздел Deploy.
  2. Заполните поля раздела Deploy.
  3. Нажмите Сохранить, чтобы применить изменения.
  4. Нажмите ⬆️ Deploy в правом верхнем углу формы, чтобы запустить установку. Кнопка становится доступной только после сохранения записи с заполненными обязательными полями.

Экземпляр переходит в статус SendToDeploy, а после завершения установки – в Deployed, и кнопка ⬆️ Deploy сменяется на ❌ Destroy. После этого модель или сервис установлены, и можно переходить к созданию конфигурации нексуса.

Если установка завершилась ошибкой, экземпляр переходит в статус Error.

Поля раздела Deploy​

ПолеОбязательноОписание
Виртуальная машинаДаУкажите виртуальную машину, на которую будет установлена модель или сервис. В записи виртуальной машины заданы адрес и SSH-ключ для подключения.
Deploy pathДаУкажите директорию на виртуальной машине, в которую будут помещены файлы модели или сервиса.
ComposeДаДобавьте файл Docker Compose, который запускает модель или сервис.
Источник Docker образаДаВыберите, откуда взять Docker-образ. Доступные опции:
  • Реестр Docker – образ скачивается из реестра, например Docker Hub;
  • Локально – образ доставлен на машину Control Plane вручную в виде архива. Вариант для полностью закрытого контура;
  • S3 – архив с образом скачивается из S3-совместимого хранилища.
Имя локального архива образовДа/НетУкажите имя архива с образом на машине Control Plane.

Поле обязательно, если в поле Источник Docker образа выбрано Локально.

S3 URLДа/НетУкажите presigned URL для скачивания архива с образом.

Поле обязательно, если в поле Источник Docker образа выбрано S3.

Источник моделиНетВыберите, откуда скачать веса модели. Заполняется, если сервис использует нейросетевую или классическую ML-модель. Доступные опции:
  • S3 – веса скачиваются из S3-совместимого хранилища;
  • HuggingFace – веса скачиваются напрямую с Hugging Face. Вариант доступен, если из контура есть доступ к Hugging Face;
  • Локально – веса расположены на машине Control Plane в виде архива.
URL модели в S3Да/НетУкажите presigned URL для скачивания весов модели.

Поле обязательно, если в поле Источник модели выбрано S3.

HF NameДа/НетУкажите имя модели на Hugging Face, например Qwen/Qwen3.8-27B.

Поле обязательно, если в поле Источник модели выбрано HuggingFace.

HF TokenНетУкажите токен авторизации Hugging Face. Токен ускоряет загрузку и дает доступ к моделям с ограниченным доступом.
Имя локального архива моделиДа/НетУкажите имя архива с весами модели на машине Control Plane.

Поле обязательно, если в поле Источник модели выбрано Локально.

ОкружениеНетУкажите переменные окружения, если сервису нужны специфичные настройки.
СтатусНетТекущее состояние экземпляра. Возможные опции:
  • New – запись создана;
  • SendToDeploy – отправлен на установку;
  • Deployed – установлен;
  • SendToDestroy – отправлен на удаление;
  • Destroyed – удален;
  • Error – ошибка установки или удаления.

Действия раздела Deploy​

UI-действиеОписание
⬆️ DeployНажмите, чтобы запустить установку модели или сервиса на выбранную виртуальную машину.
❌ DestroyНажмите, чтобы удалить установленную модель или сервис. Действие заменяет ⬆️ Deploy после перехода экземпляра в статус Deployed.
tip

Готовые конфигурации для заполнения полей раздела Deploy можно взять в реестре моделей и сервисов Ainergy. В реестре собраны сервисы собственной разработки и модели, рекомендованные вендором, вместе со всеми параметрами, необходимыми для установки в закрытом контуре.