Middle QA Engineer / AI & LLM

Описание

DBF ищет Middle QA Engineer в команду на AI-проект. Мы развиваем решения на базе LLM и RAG и ищем QA-инженера, который поможет проверять качество и стабильность AI-продукта — от API и backend-логики до качества ответов нейросети.

Обязанности

• проводить функциональное, регрессионное, smoke, UAT и негативное тестирование
• тестировать API через Postman / Insomnia
• писать тест-кейсы, чек-листы и баг-репорты в Jira / Zephyr
• работать с SQL, логами и трейсингом
• тестировать AI-чатов и multi-turn сценарии
• проверять edge cases, adversarial / jailbreak-промпты и safety-фильтры
• оценивать качество ответов LLM: точность, релевантность, полноту и тональность
• тестировать RAG-пайплайны и корректность источников в ответах
• использовать AI-инструменты для автоматизации рутинных QA-задач и написания небольших скриптов

Требования

• от 3 лет опыта в ручном тестировании
• понимание основных видов тестирования
• Jira / Zephyr
• SDLC / STLC, Agile / Scrum
• Postman / Insomnia
• базовый SQL
• работа с логами и трейсингом
• понимание принципов работы LLM: токены, temperature, top-p, context window
• понимание prompt engineering
• знание типичных проблем LLM: hallucinations, потеря контекста, nondeterminism, sensitivity к формулировкам
• опыт или понимание тестирования multi-turn диалогов, edge cases и jailbreak-промптов
• понимание оценки качества AI-ответов
• базовое понимание RAG: чанкинг, эмбеддинги, vector search, reranking, retrieval
• умение проверять корректность источников и цитирования в RAG-ответах
• практический опыт с Claude Code или аналогичными AI coding CLI
• базовое понимание ООП
• способность читать код автотестов и писать простые вспомогательные скрипты на Python / Java / C#

Условия

• удалённая работа
• full-time
• тип оформления: ГПХ / ИП
• зарплата: обсуждается индивидуально
• часовой пояс: GMT + 3
• это возможность работать не только с классическим QA, но и с современными AI-продуктами, где качество нельзя проверить исключительно по принципу «кнопка работает / кнопка не работает»
• здесь предстоит разбираться в том, почему AI дал конкретный ответ, откуда он взял информацию, насколько она корректна и как система ведёт себя в нестандартных сценариях