ПАО Сбербанк
Менеджер продукта в проекте RecEngine
Ищем эксперта по качеству ответов агентов для команды персонализированных рекомендаций. Нужно выявлять дефекты, формулировать правила и проводить эксперименты для улучшения качества.
Задачи
- Выявлять дефекты ответов агентов (логика, арифметика, сопоставимость периодов, структурные ошибки JSON, неверный выбор инструмента), группировать их в паттерны причин, формировать гипотезы улучшений
- Определять формат межагентных сообщений, политику «когда считаем в модели/через инструмент/в Python», описывать «как выглядит хороший ответ» для разных зон внимания и отраслей, формулировать критерии приёмки
- Планировать и проводить эксперименты «до/после» (промпты, параметры, инструменты), фиксировать эффект по качеству, стоимости и задержке
- Работать в связке с Python-разработчиками и промт-инженерами: постановка задач, проверка результатов, упаковка решений «в пакет на внедрение»
Требования
- Сильная экспертиза в анализе данных (уровень Middle+): умение формулировать гипотезы, выбирать корректные метрики, строить и проверять расчёты, обеспечивать сопоставимость периодов и баз сравнения, фиксировать выводы и ограничения
- Профессиональное понимание бизнес-анализа: финансы компании (выручка, себестоимость, прибыль, денежные потоки), маржинальность и структура затрат, драйверы P&L, экономика продукта/услуги, логика ценообразования, цепочка создания стоимости и каналы продаж; умение связывать управленческие решения с доходами и затратами
- Наличие реализованных кейсов (рабочих): агент/валидатор/прототип с измеримым приростом качества и наглядным «до/после»
- Навыки python + аналитика данных: Jupyter, pandas, numpy, scipy, базовые методы scikit-learn, визуализация (matplotlib/plotly)
- LLM-грамотность: понимание промптов и контекста, строгого JSON/схем, function calling на уровне концепции, ключевых параметров инференса (temperature, top_p) и их влияния на поведение
- Понимание экосистемы агентов: GigaChat SDK, LangGraph, GigaChain, LangChain, LlamaIndex
- Умение пользоваться инструментами для агента: RAG, GraphRAG, KAG, MCP; опыт вызова инструментов через function calling
Условия
- Комфортный современный офис рядом с м. Кутузовская (офисный формат работы)
- Расширенный ДМС с первого дня и льготное страхование для близких
- Подписка Прайм с возможностью совместного использования на трёх близких
- Корпоративная пенсионная программа
- Гибкий дисконт по ипотечному кредиту 1/3 ключевой ставки ЦБ
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
- Вознаграждение за рекомендацию друзей в команду Сбера
Навыки
- Python
- Jupyter
- pandas
- numpy
- scipy
- scikit-learn
- matplotlib
- plotly
- GigaChat SDK
- LangGraph
- GigaChain
- LangChain
- LlamaIndex
- RAG
- GraphRAG
- KAG
- MCP
- function calling
- JSON