Как выглядит наша работа и результат.
Четыре типовые задачи и что клиент получает на выходе. Ниже — образцы формата результата: реальный отчёт устроен так же, но на ваших данных.
Спринт визуальной оценки: какая версия модели лучше?
Задача
Команда image-модели выпускает новую версию и не уверена, стало лучше или хуже по важным для продукта свойствам.
Что делаем
Определяем измерения, собираем эталонный набор запросов, прогоняем обе версии и сравниваем экспертными оценками — вслепую, с контролем качества.
| Измерение | Версия 08 | Версия 09 | Δ |
|---|---|---|---|
| Соответствие запросу | 82.4 | 88.7 | +6.3 |
| Анатомия | 74.1 | 79.5 | +5.4 |
| Текст на картинке | 68.9 | 68.1 | −0.8 |
| Стабильность стиля | 80.2 | 85.6 | +5.4 |
Иллюстративные значения · каждое — с интервалом уверенности (напр. 88.7 [85–91]) · вывод: v09 лучше везде, кроме рендера текста → приоритет на фикс.
Где ломается ИИ-агент: карта отказов.
Задача
У продукта есть агент в проде (поддержка, ассистент), но непонятно, в каких сценариях он ошибается и насколько это часто.
Что делаем
Прогоняем агента по реальным сценариям, размечаем траектории людьми и группируем ошибки в понятную карту с частотой каждого типа.
Иллюстративные частоты · к каждому режиму — примеры-трейсы, первый невосстановимый шаг и рекомендация по фиксу.
Данные «что лучше» для дообучения модели вкуса.
Задача
Команде нужны качественные сравнения ответов/картинок, чтобы дообучить модель под предпочтения пользователей.
Что делаем
Готовим пары, собираем оценки с обоснованием, чистим спорное и разногласия, отдаём версионированный набор под ваш каданс обучения.
- Пары «выбрано / отклонено» с короткой причиной выбора
- Оценки по измерениям, а не один общий балл
- Согласие оценщиков и уверенность по каждой паре
- Готовый к обучению формат + отчёт о качестве
Спасаем проблемный датасет или подрядчика.
Задача
Есть большой размеченный набор, но модель от него не улучшается — или подрядчик срывает качество.
Что делаем
Быстрый выборочный аудит по источникам, исполнителям и типам; находим дефекты инструкций, накрутки, дрейф — и переразмечаем только то, что влияет на результат.
- Отчёт: где и почему теряется качество
- Оценка доли брака и «дорогих» участков
- План восстановления — что чинить в первую очередь
- Переписанные инструкции и критерии приёмки