Обработка файлов
На вкладке Обработка файлов вы можете настроить обработку вложений и использование их содержимого при формировании ответов ассистента. Ассистент может извлекать текст из документов, распознавать данные в таблицах, описывать изображения и расшифровывать аудио- и видеофайлы.
Чтобы активировать обработку файлов в чате с ассистентом, установите флажок Включить обработку файлов и заполните поля вкладки.
Поля вкладки Обработка файлов
| Поле | Обязательно | Описание |
|---|---|---|
| Включить обработку файлов | Нет | Установите флажок, чтобы разрешить пользователю прикреплять файлы. Когда флажок снят, кнопка вложений в чате недоступна. |
| Доступные типы обработки файлов | Нет | Укажите категории файлов, которые ассистент может обрабатывать. Выбирайте только те категории, которые нужны ассистенту. Файлы категорий, не входящих в указанный список, а также неизвестные форматы будут отмечены статусом Не поддерживается. |
| Нексус ASR-извлечения данных из файлов | Нет | Укажите нексус для расшифровки аудио и видео в текст. |
| Нексус классификатора намерений | Нет | Укажите нексус, который сможет определить, что пользователь хочет сделать с файлом. Читайте подробнее в Классификатор намерений. |
| Опции нексуса классификатора | Нет | Параметры генерации классификатора в формате JSON. Поле доступно только для чтения. |
| Промпт нексуса классификатора намерений | Нет | Системный промпт с инструкцией, по которой классификатор возвращает результат. Поле доступно только для чтения. |
Категории файлов
Загруженные файлы автоматически классифицируются в зависимости от их формата:
| Категория | Форматы |
|---|---|
| Text Documents | Text, Markdown, HTML, PDF, документы Word и другие текстовые форматы. |
| Visual Images | Изображения любых форматов. |
| Audio/video | Аудио- и видеофайлы. |
| Spreadsheets | Excel, CSV и другие табличные форматы. |
| Structured Data | JSON, XML, YAML. |
| Scanned Documents | Отсканированные документы (формат определяется при обработке). |
Обработка файлов
После прикрепления файл проходит обработку в фоновом режиме:
- Ассистент определение категорию файла, исходя из его формата.
- Ассистент определяет, что пользователь хочет сделать с файлом (классификатор намерений).
- В зависимости от категории и намерения ассистент выбирает способ обработки: извлечение текста, распознавание таблицы, описание изображения, расшифровка аудио/видео или другой.
- Результат обработки учитывается в ответе ассистента.
Пока файл обрабатывается, на его плашке в чате отображается статус. Дождитесь завершения обработки файла, прежде чем отправлять сообщение с ним.
Классификатор намерений
Классификатор намерений – это отдельный нексус, который по запросу пользователя и приложенному файлу определяет, что име нно нужно сделать, например, проанализировать документ целиком, найти конкретный факт, выполнить вычисление по таблице или описать изображение. Исходя из этого, ассистент выбирает наиболее подходящий способ обработки.
Настройки классификатора – вспомогательные и в большинстве случаев не требуют изменений:
- Нексус классификатора намерений – какой нексус выполняет классификацию.
- Опции нексуса классификатора – параметры генерации в формате JSON. Классификатору обычно задают низкую «температуру» и небольшой лимит токенов, так как ответ короткий и служебный.
- Промпт нексуса классификатора намерений – инструкция, по которой классификатор возвращает результат.
Расшифровка аудио и видео работает только при заданном Нексусе ASR-извлечения данных из файлов. Если ассистенту не нужно работать с медиа, оставьте это поле и категорию Audio/video пустыми.