AI Data & Evaluation Engineer

О вакансии

Что предстоит делать

• собирать, очищать, нормализовать и структурировать датасеты
• строить evaluation pipelines и benchmark suites
• разрабатывать private test sets, adversarial tests и quality metrics
• анализировать ошибки моделей и находить слабые места архитектуры
• работать с synthetic data, filtering, deduplication и quality control
• поддерживать data workflow для research и product experiments
• работать вместе с research и engineering-командой над качеством модели и доказуемостью результатов

Что мы ожидаем

• Python
• опыт работы с данными, ML datasets и data pipelines
• понимание LLM evaluation, quality metrics и benchmarking
• аккуратность, педантичность и любовь к чистым данным
• способность видеть системные ошибки, а не только локальные
• умение самостоятельно предлагать метрики и схемы проверки
• понимание reproducibility и data quality

Будет плюсом

• опыт с NLP, LLM, prompt evaluation, red teaming
• опыт с synthetic data generation и dataset curation
• опыт в разметке, QA и исследовательской аналитике
• опыт с SQL, DuckDB, Pandas, Arrow, Hugging Face Datasets

Кто нам не подойдёт

• человек, который воспринимает данные как вспомогательный мусор
• специалист, который не умеет строить честные и воспроизводимые тесты
• кандидат, который не видит разницы между «модель отвечает красиво» и «модель отвечает правильно»

Что мы предлагаем

• работу с AI-first системами и новыми архитектурами ИИ
• сильную роль в качестве модели и качестве результатов
• участие в построении benchmark и evaluation framework с нуля
• компактную команду и быстрый цикл экспериментов
• удалённый формат / Сколково / удалённо

Как откликнуться

Отправьте резюме, примеры data/eval-проектов и краткое описание того, как вы строили test sets или quality metrics, на hr@yappix.ru или через форму: https://yappix.ru/kontakty