Planear y conducir experimentos con LLMs, crear datasets de evaluación, automatizar pipelines de Evals/RLHF/SFT y generar pruebas adversariales para medir y mejorar la performance de modelos.

Lo que harás

• Definir métricas, hipótesis y diseño experimental (A/B, holdouts, power básico). • Construir pipelines de Evals y generación/curaduría de datasets. • Desarrollar herramientas para prompting, racionales y rúbricas. • Instrumentar colecta de métricas y dashboards; versionar datos/resultados. • Colaborar con especialistas de dominio y equipo de QA para cerrar el loop de calidad. • Escribir documentación técnica y reportes ejecutivos.

Requisitos

• Formación avanzada (MSc/PhD/MBA en Datos, Estadística, Computación o afines). • Python fuerte; SQL; fundamentos de estadística/causalidad aplicada. • Experiencia práctica con LLMs (uso de APIs, evaluación, prompt design).

Herramientas/Plataformas (deseadas)

• Pandas, NumPy, scikit-learn; PyTorch o TensorFlow. • LangChain/LlamaIndex; Weights & Biases o MLflow. • Orquestación (Airflow/Prefect), versionamiento de datos (DVC/Git). • Spark/Databricks/BigQuery; Docker; GCP/AWS.

Diferenciales

• Publicaciones, repos con experimentos reproducibles, contribuciones open-source.

Proceso de selección

Inscripción → desafío analítico corto → entrevista (30–45 min) → onboarding + NDA.