Senior Software Engineer (MLOps) – Annotation & Evaluation
Ist diese Stelle etwas für Sie?
Lebenslauf erstellen Erstellen Sie Ihren Lebenslauf und entdecken Sie Ihre Übereinstimmung mit dieser Stelle — und mit allen anderen.
Bewerbungen unterwegs verfolgen Die kostenlose Whileresume-App für iPhone und Android.
Die Stelle
Design and build systems for automated evaluation of AI models, including LLMs and agents, using production-like telemetry and realistic scenarios.
Lead the development of benchmark suites, evaluation pipelines, and model comparison tools with integrated trust & safety metrics.
Build and maintain integrations with labeling systems (e.g., Label Studio) and coordinate with external/internal annotation workflows.
Collaborate with Applied AI and Bits AI teams to enable fast iteration, reproducible experiments, and interpretable evaluations.
Develop data pipelines that feed metrics, results, and alerts into our observability stack to monitor model behavior at scale.
Promote safe deployment practices via bias checks, hallucination detection, and human-in-the-loop review.
Lead the development of benchmark suites, evaluation pipelines, and model comparison tools with integrated trust & safety metrics.
Build and maintain integrations with labeling systems (e.g., Label Studio) and coordinate with external/internal annotation workflows.
Collaborate with Applied AI and Bits AI teams to enable fast iteration, reproducible experiments, and interpretable evaluations.
Develop data pipelines that feed metrics, results, and alerts into our observability stack to monitor model behavior at scale.
Promote safe deployment practices via bias checks, hallucination detection, and human-in-the-loop review.
Die vollständige Anzeige sehen
Aufgaben, Anforderungen, Kompetenzen und Vorteile — mit Ihrem kostenlosen Konto.
oder
Bereits ein Konto?
AnmeldenDiese Stellen könnten Sie interessieren
Noch keine wirklich ähnliche Stelle — hier die neuesten.