Planejar e conduzir experimentos com LLMs, criar datasets de avaliação, automatizar pipelines de Evals/RLHF/SFT e gerar testes adversariais para medir e melhorar a performance de modelos.

O que você vai fazer

• Definir métricas, hipóteses e desenho experimental (A/B, holdouts, power básico). • Construir pipelines de Evals e geração/curadoria de datasets. • Desenvolver ferramentas para prompting, racionais e rubricas. • Instrumentar coleta de métricas e dashboards; versionar dados/resultados. • Colaborar com especialistas de domínio e time de QA para fechar o loop de qualidade. • Escrever documentação técnica e relatórios executivos.

Requisitos

• Formação avançada (MSc/PhD/MBA em Dados, Estatística, Computação ou afins). • Python forte; SQL; fundamentos de estatística/causalidade aplicada. • Experiência prática com LLMs (uso de APIs, avaliação, prompt design).

Ferramentas/Plataformas (desejadas)

• Pandas, NumPy, scikit-learn; PyTorch ou TensorFlow. • LangChain/LlamaIndex; Weights & Biases ou MLflow. • Orquestração (Airflow/Prefect), versionamento de dados (DVC/Git). • Spark/Databricks/BigQuery; Docker; GCP/AWS.

Diferenciais

• Publicações, repos com experimentos reproduzíveis, contribuições open-source.

Processo de seleção

Inscrição → desafio analítico curto → entrevista (30–45 min) → onboarding + NDA.