Senior Software Engineer (MLOps) – Serving
Ist diese Stelle etwas für Sie?
Lebenslauf erstellen Erstellen Sie Ihren Lebenslauf und entdecken Sie Ihre Übereinstimmung mit dieser Stelle — und mit allen anderen.
Bewerbungen unterwegs verfolgen Die kostenlose Whileresume-App für iPhone und Android.
Die Stelle
Architect and build scalable ML/LLM model-serving systems across data centers with strong SLAs, observability, and reliability.
Design and optimize Ray-based inference infrastructure to handle both low- and high-throughput workloads.
Enable applied scientists to deploy and test models via self-service tools, CI/CD pipelines, and rollback mechanisms.
Implement A/B testing and shadow deployment capabilities to evaluate new model versions in production.
Collaborate with platform teams to improve GPU provisioning, traffic routing, and runtime performance.
Instrument inference workflows with telemetry (latency, token counts, errors) to drive performance and safety analysis.
Design and optimize Ray-based inference infrastructure to handle both low- and high-throughput workloads.
Enable applied scientists to deploy and test models via self-service tools, CI/CD pipelines, and rollback mechanisms.
Implement A/B testing and shadow deployment capabilities to evaluate new model versions in production.
Collaborate with platform teams to improve GPU provisioning, traffic routing, and runtime performance.
Instrument inference workflows with telemetry (latency, token counts, errors) to drive performance and safety analysis.
Die vollständige Anzeige sehen
Aufgaben, Anforderungen, Kompetenzen und Vorteile — mit Ihrem kostenlosen Konto.
oder
Bereits ein Konto?
AnmeldenDiese Stellen könnten Sie interessieren
Noch keine wirklich ähnliche Stelle — hier die neuesten.