Die Studie untersucht den Workflow und die Herausforderungen von Maschinenlernexperten (MLEs), die für die Bereitstellung und Wartung von Maschinenlernmodellen in der Produktion verantwortlich sind.
Datenvorbereitung: MLEs arbeiten eng mit Datenexperten zusammen, um automatisierte Datenpipelines zu erstellen, die regelmäßig Daten erfassen, bereinigen und beschriften. Allerdings müssen sie sich auch mit Herausforderungen wie Qualitätssicherung der Beschriftungen und Verzögerungen beim Feedback auseinandersetzen.
Experimente: Auch in der Produktion bleibt der Experimentierworkflow iterativ und kollaborativ. MLEs müssen sorgfältig abwägen, welche nächsten Experimente sie durchführen, und arbeiten eng mit Domänenexperten zusammen.
Evaluierung und Bereitstellung: Organisationen setzen einen mehrstufigen Prozess zur Modellbewertung und -bereitstellung ein, bei dem MLEs manuelle Überprüfungen und Freigaben für jede Stufe vornehmen. Sie verwalten mehrere aktuelle Evaluierungsdatensätze und -metriken, um eine umfassende Abdeckung sicherzustellen.
Überwachung und Reaktion: MLEs überwachen die bereitgestellten Modelle genau und sind bereit, auf Ausfälle in der Produktion zu reagieren. Sie setzen Strategien wie Bereitschaftsdienste, Datenüberwachung und komplexe Regeln ein, um zuverlässige Bereitstellungen zu gewährleisten.
To Another Language
from source content
arxiv.org
Głębsze pytania