Jev: классификация и решения по заданной схеме
Распределить тикеты между командами, проверить полноту описания бага, выбрать обработчик запроса: во всех этих задачах программе нужен небольшой набор значений. Классификатор (classifier) относит входные данные к заданным категориям. Jev от TypeSafe AI позволяет описать категории и критерии обычным языком и получить решение вместе с вероятностями, без отдельного обучения модели под каждый список меток.
В документации TypeSafe Jev относится к семейству System One: моделям для быстрых структурированных решений внутри программ. Вы передаёте данные и вопросы, получаете значения заданных типов, а дальнейшие действия определяете в коде. Такой компонент можно встроить в агентную систему или в обычный обработчик заявок.
Как Jev получает решение
Заголовок раздела «Как Jev получает решение»Большая языковая модель (large language model, LLM) генерирует последовательность токенов: так появляются текст ответа, код или структурированный результат. По описанию TypeSafe, Jev вычисляет ответы на заданные вопросы параллельно, без последовательного сочинения текста. Выбор ограничен схемой запроса: если вы перечислили четыре команды, в ответе будет одна из них. Произвольное объяснение решения этот интерфейс не возвращает. Устройство интерфейса и способ получения ответов разобраны в анонсе Jev.
Для обучения TypeSafe использует обучение с подкреплением для калиброванных решений (Reinforcement Learning for Calibrated Decisions, RLCD). Его заявленная цель: учить модель выдавать решения с вероятностями, согласованными с частотой правильных ответов. Это калибровка (calibration): если собрать много событий, которым модель назначила вероятность около 0,8, они должны происходить примерно в 80% случаев. Это свойство набора прогнозов; отдельное предсказание с высокой вероятностью всё ещё может оказаться ошибочным. Так цель обучения описана в AI Primer.
Этого описания недостаточно, чтобы восстановить архитектуру и обучение Jev. В приведённых источниках нет полной спецификации слоёв, весов и процедуры обучения. Поэтому утверждения «это просто BERT» или «это обычная LLM с другим промптом» не следуют из документации. При внедрении вы можете проверить доступный интерфейс и качество решений на своих данных.
Какие вопросы можно задать
Заголовок раздела «Какие вопросы можно задать»Запрос содержит state, то есть оцениваемые данные, и questions, набор вопросов к ним. Состояние (state) может быть строкой, объектом или массивом: например, текстом тикета вместе с названием сервиса и окружением. Вопрос задаётся в instructions, варианты или уровни оценки задаются в criteria. Идентификатор вопроса нужен для сопоставления ответа с запросом и не передаётся модели: имя is_urgent само по себе не объясняет, что считать срочностью. Формат полей описан в справочнике API.
| Тип вопроса | Что вы задаёте | Что получаете | Пример для команды |
|---|---|---|---|
| Choice | Варианты с описаниями | choice, вероятности всех вариантов и confidence |
Кто разбирает тикет: разработка, инфраструктура или поддержка |
| Score | Упорядоченные описания уровней | score, вероятности уровней, их расшифровку и confidence |
Насколько полно описаны шаги воспроизведения |
| Noul | Вопрос с ответом «да» или «нет» | noul, вероятность ответа «да» от 0 до 1 |
Указаны ли в тикете шаги воспроизведения |
В Choice модель выбирает вариант с наибольшей вероятностью. Добавляйте «другое» или «недостаточно данных», если список не покрывает все случаи. Если одному тикету могут соответствовать несколько независимых меток, задайте отдельный Noul для каждой: один Choice выбирает только один вариант.
Для Score опишите наблюдаемые различия между уровнями. Например: «шагов нет», «шаги есть, но отсутствует окружение», «есть шаги, окружение, ожидаемый и фактический результат». Уровни нумеруются с нуля, а итоговый балл представляет собой среднее их номеров с весами из вероятностей. Поэтому на шкале 0–2 может получиться 1,4. Читайте его вместе с распределением: одинаковый средний балл бывает у разных наборов вероятностей.
Значение Noul 0,8 означает оценённую вероятность ответа «да», а не «признак выражен на 80%». Если нужен ответ на вопрос «насколько сильно», задайте шкалу Score.
Все вопросы одного запроса оцениваются независимо по одному state. Они не читают ответы друг друга. Если второй вопрос требует результата первого, выполните следующий вызов с дополненным состоянием. Независимые признаки можно собрать за один вызов и объединить обычными условиями в коде. Этот принцип описан в руководстве по вопросам.
Как попробовать на одном тикете
Заголовок раздела «Как попробовать на одном тикете»Начните с Playground: вставьте обезличенный тикет, задайте вопрос и сравните ответ со своей разметкой. Для обращения из программы получите ключ в консоли TypeSafe и сохраните его в переменной окружения TYPESAFE_API_KEY. Quick start показывает и HTTP-вызов, и работу через библиотеку Python typesafe-sdk.
Ниже учебный запрос: он классифицирует вымышленный тикет и отдельно проверяет наличие шагов воспроизведения. Команда требует curl и настроенный ключ; отправленные данные обрабатываются внешним сервисом.
curl --fail-with-body --silent --show-error \ https://api.typesafe.ai/v1/systemone \ -H "Authorization: Bearer $TYPESAFE_API_KEY" \ -H "Content-Type: application/json" \ --data-binary @- <<'JSON'{ "model": "jev-latest", "state": { "ticket": "В Safari кнопка экспорта не работает.", "details": "В Chrome тот же отчёт скачивается." }, "questions": { "team": { "type": "choice", "instructions": "Кто должен первым разобрать тикет?", "criteria": { "development": "Ошибки функций приложения", "infrastructure": "Сеть, серверы, развёртывание", "support": "Вопросы об использовании функций", "unknown": "Другая тема или недостаточно данных" } }, "has_steps": { "type": "noul", "instructions": "Описаны шаги воспроизведения?", "criteria": { "true": "Есть последовательность действий", "false": "Есть только симптом или итог" } } }}JSONВ успешном ответе прочитайте answers.team.choice, answers.team.probabilities, answers.team.confidence и answers.has_steps.noul. Конкретные числа в этом примере не заданы: их нужно получить при выполнении запроса. Поле model в ответе сообщает использованную модель, usage содержит расход токенов.
Имя jev-latest указывает на последнюю стабильную модель и может переключаться при обновлении сервиса. После настройки порогов закрепите конкретный идентификатор модели, на котором проводили проверку. Правила выбора модели описаны в справочнике Models.
Дальше нужна логика приложения. Например, метка unknown отправляет тикет на ручную сортировку. Остальные метки становятся предложением исполнителя; автоматически назначать его можно после проверки выбранного порога на истории тикетов. При отсутствии шагов приложение предлагает автору дополнить описание. Ошибка API или истёкшее время ожидания ведут в отдельную ветку обработки, их нельзя трактовать как ответ «нет».
Где применять в IT-команде
Заголовок раздела «Где применять в IT-команде»Подход TypeSafe предполагает несколько узких оценок, из которых программа собирает итоговое решение. В каталоге шаблонов есть маршрутизация по намерению пользователя и объединение оценок. Для процессов команды эту схему можно применить так:
| Процесс | Что поручить Jev | Что остаётся программе или человеку |
|---|---|---|
| Разбор обращений | Выбрать тему и предполагаемую команду | Учесть дежурства, права и загрузку исполнителей |
| Подготовка баг-репорта | Проверить наличие окружения, шагов, ожидаемого результата | Запросить недостающие сведения и воспроизвести ошибку |
| Поиск по базе знаний | Оценить, отвечает ли найденный фрагмент на конкретный вопрос | Найти кандидатов, проверить доступ, передать выбранные документы модели ответа |
| Работа агента | Выбрать один из заранее разрешённых обработчиков | Проверить полномочия, выполнить действие, записать результат |
Это варианты применения, которые нужно проверить на своих данных. Для поиска с дополнением генерации (retrieval-augmented generation, RAG) такая оценка может стать дополнительным отбором найденных фрагментов; сам поиск всё равно нужен. Устройство этого процесса разобрано на странице «Как устроен RAG внутри».
Выбирайте Jev для задач с заранее описываемым результатом: категория, признак, балл. Если нужно написать ответ пользователю, исправить код или разобраться в многошаговой причине сбоя, сохраните для этого языковую модель и инструменты. Если задача полностью решается точным правилом, например проверкой обязательного поля, начните с обычной проверки в коде.
Как проверить качество и выбрать пороги
Заголовок раздела «Как проверить качество и выбрать пороги»В ответах Choice и Score показатель уверенности (confidence) вычисляется из распределения вероятностей: сосредоточенное на одном варианте распределение даёт большую уверенность, распределённое между несколькими вариантами даёт меньшую. Он не равен вероятности выбранного класса и не означает измеренную долю правильных ответов. У Noul отдельного поля confidence нет. Эти различия объясняет документация об уверенности.
TypeSafe указывает английский как основной язык обучения и наиболее точных ответов; качество на русском проверяйте отдельно. Поддерживаемый вход текстовый: изображения, аудио и видео сначала нужно преобразовать в текст или поля данных. Актуальные ограничения и тарифы собраны на странице Models.
Проверяйте весь процесс, включая решение передать случай человеку:
- Соберите размеченные примеры. Возьмите реальные обезличенные тикеты, включая короткие, противоречивые, русскоязычные и не относящиеся ни к одной категории. Отделите примеры для настройки формулировок от набора для итоговой проверки.
- Сравните способы решения. На одном наборе сопоставьте Jev, используемую языковую модель и существующие правила. Если у команды уже есть обученный классификатор, включите и его. Считайте ошибки по категориям: средняя точность может скрыть провал на редком типе обращения.
- Подберите пороги по цене ошибки. Для разных действий допустим разный риск. Измерьте долю автоматически разобранных тикетов и долю ошибок среди них при нескольких порогах. Универсального «безопасного значения 0,9» нет.
- Проверьте вероятности. Сгруппируйте прогнозы по диапазонам вероятности выбранного класса и сравните с фактической долей правильных решений. Если прогнозы около 0,9 верны лишь в 60% случаев, использовать их как 90-процентную надёжность нельзя.
- Измерьте эксплуатационные затраты. Учитывайте задержку из вашей сети, повторные запросы, передачу сложных случаев другой модели и ручную проверку. Сохраняйте формулировки вопросов и идентификатор модели из ответа, чтобы замечать изменения качества.
В публикации TypeSafe большие выигрыши в скорости и цене получены на собственных сценариях компании. В описанной оценке эталоном служат усреднённые вероятности сильных моделей, а не человеческая разметка каждого случая. Это повод провести сравнение, но не готовое измерение точности на ваших тикетах.
Что дальше
Заголовок раздела «Что дальше»- Бенчмарки: как измеряют модели: как сопоставлять заявления провайдера с результатами своей проверки.
- Инструменты и их вызов: как превратить выбранное решение в действие программы.
- Безопасность и приватность: какие ограничения сохраняются при автоматических решениях.