À mon sujet

Je m’appelle Slava Dubrov, également connu sous le nom de Viacheslav Dubrov. Je développe des systèmes ML et AI en environnement de production, et je dirige des équipes qui accomplissent la même tâche.

Actuellement, je travaille au sein de l’équipe Agent Execution chez HubSpot : sur le déploiement de LLM, la fine-tuning, l’évaluation, ainsi que sur les composants runtime qui permettent aux agents de fonctionner en environnement de production. Auparavant, j’étais chargé de l’infrastructure de récupération, d’ancrage et de mémoire chez HubSpot, ce qui me donne une perspective sur ce qui se passe une fois que la démonstration fonctionne correctement.


Pourquoi lire ce blog

J’écris les notes que j’aurais aimé avoir lors de la débogage des systèmes en production AI. Une grande partie du travail AI semble ordonnée dans un cahier de notes, mais devient complexe dès qu’interviennent des utilisateurs réels, des latences, des problèmes de permissions, un écart de données et des coûts élevés. Ce blog porte précisément sur cette dimension.

Contexte pertinent :


Parole


De quoi je parle

Principalement des pannes en environnement de production et les mesures que j’ai prises pour y remédier.


Radar technologique

LLM serving ainsi que fine-tuning : vLLM, LoRAX, LoRA/QLoRA, VLMs, SGR/SO

Agents : LangGraph, Claude, Google ADK, CrewAI, LlamaIndex, SmolAgents

Sécurité et évaluation : garde-fous, évaluations automatisées, LLM en tant que juge, observabilité

Vecteurs et récupération d’informations : Qdrant, Faiss, recherche sémantique, récupération hybride, reranking, compression de contexte

Outils et flux de travail : MCP (Model Context Protocol), A2A, FastMCP, n8n

MLOps : AWS (deux certifications), GCP/Vertex AI, Kubernetes, Kubeflow, Airflow, Ray, MLflow

Noyau : Python, SQL, Scala, Java, Rust, PyTorch, FastAPI, Spark, Polars


Connectons-nous

J’ai généralement un intérêt pour la mise en production ML, les systèmes d’agents, le retraitement des données, l’évaluation, ainsi que le nettoyage des pipelines devenus trop complexes.