Bloom by Safety Research
✓ geprüft, Sync 2026-08-20Bloom is an open-source tool for the automated evaluation of behaviors in Language Learning Models (LLMs). As a scaffolded evaluation system, Bloom uses an evaluation configuration….
Was es tut.
Bloom ist ein Open-Source-Tool für die automatisierte Bewertung von Verhalten in Sprachlernmodellen (LLMs). Als Gerüst-Bewertungssystem verwendet Bloom eine Bewertungskonfiguration, auch bekannt als "Seed", die ein Zielverhalten, vorbildliche Transkripte und die Arten von Interaktionen spezifiziert, die der Nutzer untersuchen möchte. Das Tool generiert dann eine Suite von Interaktionen mit dem Zielmodell mit der Absicht, das ausgewählte Verhalten preiszugeben. Das Wachstum der Bewertungssuite hängt davon ab, wie sie gesät wird, unterscheidet sich von anderen Bewertungen, die möglicherweise eine feste Elicitation-Technik und Prompting-Muster verwenden, was die Einzigartigkeit und Anpassungsfähigkeit jedes Bewertungslaufs erhöht. Um Reproduzierbarkeit zu gewährleisten, sollten Bloom-Bewertungen immer zusammen mit ihrer vollständigen Seed-Konfiguration zitiert werden. Das Tool ermöglicht es Nutzern auch, API-Schlüssel von Anbietern hinzuzufügen und Verhaltensbewertungs-aspekte durch behaviours.json und seed.yaml-Dateien zu konfigurieren. Zusätzlich enthält Bloom einen interaktiven Viewer, der eine intuitive Oberfläche bietet, um Transkripte aus dem Lauf zu durchsuchen und Konversationsflüsse mit korrekter Formatierung zu zeigen.