Vision
Vision позволяет пользователям загружать изображения, чтобы агент мог их анализировать. Агент передаёт изображение модели с поддержкой Vision, которая описывает его, кратко излагает содержимое или отвечает на вопросы о том, что на нём изображено.
Включите возможности Vision
Vision работает только с моделями, которые поддерживают изображения на входе. Если выбранная модель этого не поддерживает, элемент загрузки будет отключён. Чтобы снова его включить, переключитесь на модель с поддержкой Vision.
Использование возможностей Vision
Нажмите значок скрепки в левом нижнем углу поля ввода сообщения и выберите Upload to Provider, чтобы прикрепить изображение — снимок экрана, фотографию, график или диаграмму. Затем задайте любой вопрос, для ответа на который нужно прочитать изображение: «Что не так с этим планом запроса?», «Распознай текст на этом снимке экрана» или «Сравни эту панель мониторинга с прошлой неделей».
Агент воспринимает изображение как часть контекста сообщения, поэтому в рамках того же обращения в уточняющих вопросах можно ссылаться на увиденное без повторной загрузки изображения.
Комбинируйте Vision с другими инструментами
Vision хорошо сочетается с интерпретатором кода для анализа изображений — например, агент считывает числа со скриншота, а затем запускает Python, чтобы вычислить итоговые значения, — а также с веб-поиском, когда на изображении упоминается что-то, что модели нужно найти.
