Segment Anything by Meta

Segment Anything by Meta AI ist ein KI-Modell, das für Computer Vision-Forschung entwickelt wurde und es Benutzern ermöglicht, Objekte in jedem Bild mit einem Klick zu segmentieren. Das Modell verwendet ein promptable Segmentierungs-System mit Zero-Shock-Generalisierung auf unbekannte Objekte und Bilder ohne zusätzliches Training. Das System kann eine breite Palette von Eingabe-Prompts annehmen, die angeben, was in einem Bild segmentiert werden soll, einschließlich interaktiver Punkte und Boxen, und kann mehrere gültige Masken für mehrdeutige Prompts generieren. Die Ausgabemasken können als Eingaben für andere KI-Systeme verwendet, in Videos verfolgt, für Bildbearbeitungsanwendungen verwendet und in 3D gehoben oder für kreative Aufgaben verwendet werden. Das Modell ist entwickelt, um effizient genug zu sein, um die Daten-Engine zu betreiben, mit einem einmaligen Bild-Encoder und einem leichten Mask-Decoder, der in einem Webbrowser in nur wenigen Millisekunden pro Prompt laufen kann. Der Bild-Encoder benötigt eine GPU für effiziente Inferenz, während der Prompt-Encoder und Mask-Decoder direkt mit PyTorch laufen können oder in ONNX konvertiert und effizient auf CPU oder GPU über eine Vielzahl von Plattformen laufen können, die ONNX-Laufzeit unterstützen. Das Modell wurde auf dem SA-1B-Dataset trainiert, das aus über 11 Millionen lizenzierten und datenschutzfreundlichen Bildern besteht, resulting in über 1,1 Milliarde gesammelten Segmentierungsmasken.