Meta entwickelt neue Modelle ‘Mango’ und ‘Avocado’
31/12/2025
Von Prompt Engineering zu Context Engineering
31/12/2025
Sprachmodelle verfallen oft in ein vorhersagbares Muster und geben immer wieder die gleichen Antworten zurück. Dieses Phänomen, genannt Moduskollaps, begrenzt ihre Nützlichkeit. Verbalisierte Stichprobenentnahme bietet einen frischen Ansatz. Anstatt nach einer Antwort zu fragen, können Benutzer die KI bitten, mehrere Möglichkeiten mit ihren Wahrscheinlichkeitswerten zu generieren. Diese Technik reicht über gewöhnliche Antworten hinaus, um kreative Alternativen aufzudecken. Die Methode verändert, wie Individuen mit KI-Systemen interagieren, und öffnet Türen zu reicheren, vielfältigeren Gesprächen, die andernfalls verborgen bleiben könnten.
Das Mode-Collapse-Problem in modernen Sprachmodellen
Mehrere Herausforderungen bedrohen die Zuverlässigkeit moderner Sprachmodelle, aber wenige erweisen sich als so heimtückisch wie Moduskollaps. Dieses Phänomen fängt KI-Systeme in sich wiederholenden Mustern ein und zwingt sie dazu, dieselben sicheren Antworten zu generieren, unabhängig davon, was Nutzer tatsächlich fragen. Stellen Sie sich einen Musiker vor, der nur ein Lied kennt, egal was Sie verlangen, das ist alles, was Sie hören werden.
Die Kollapsfolgen gehen über bloße Verärgerung hinaus. Sprachmodelle, die dieses Problem erleben, produzieren fade, homogenisierte Texte, die den Reichtum der menschlichen Kommunikation ignorieren. Sie memorieren vorbestimmte Antworten, anstatt echte Reaktionen auf vielfältige Eingaben zu geben. Unzureichende Vielfalt in Trainingsdaten führt letztendlich dazu, dass Modelle daran scheitern, das volle Spektrum realer Szenarien zu repräsentieren.
Diese Vielfaltsproblematik untergräbt grundlegend das, was KI wertvoll macht : ihre Fähigkeit sich anzupassen und verschiedene Perspektiven anzubieten. Wenn Modelle zu einzelnen Ausgaben konvergieren, verlieren Nutzer die kreative Freiheit, die sie suchen.
Wie Verbalisierte Stichprobenziehung Funktioniert
Verbalisierte Stichprobenentnahme funktioniert, indem das Sprachmodell aufgefordert wird, mehrere mögliche Antworten zusammen mit ihrer Auftretenswahrscheinlichkeit zu formulieren. Anstatt die naheliegendste Antwort zu wählen, weist die Technik das System an, eine Bandbreite von Optionen zu beschreiben, einschließlich weniger häufiger mit geringeren Wahrscheinlichkeiten, typischerweise in einem klaren Tag-Format organisiert. Nutzer wählen dann Antworten aus diesem ausgedrückten Bereich, oft mit Fokus auf das Ende der Verteilung, wo Wahrscheinlichkeiten unter 0,10 fallen und kreative Vielfalt offenbaren, die andernfalls verborgen bliebe. Diese trainingsfreie Prompting-Methode erfordert keine zusätzliche Modell-Feinabstimmung oder Anpassungsanpassungen zur Implementierung.
Wahrscheinlichkeitsverteilung Verbalisierungsprozess
Im Kern fordert diese Technik Sprachmodelle auf, laut zu denken über ihre Optionen. Anstatt nur eine Antwort zu wählen, enthüllt das Modell mehrere Möglichkeiten. Dies schafft eine Wahrscheinlichkeitsvisualisierung dessen, welche Antworten an der Spitze seines Bewusstseins stehen. Durch Verteilungsanalyse sehen Nutzer die volle Bandbreite wahrscheinlicher Ausgaben anstatt nur der sichersten Wahl.
Der Prozess entfaltet sich in drei Schritten :
- Mehrere Antworten anfordern – Bitten Sie um fünf verschiedene Antworten auf Ihre Frage
- Wahrscheinlichkeiten zuweisen – Das Modell kennzeichnet jede Antwort mit ihrem Wahrscheinlichkeitsprozentsatz
- Die Verteilung überprüfen – Untersuchen Sie alle Optionen, um kreative Perlen zu finden
Dieser Ansatz befreit das Modell davon, immer die typischste Antwort zu wählen. Es öffnet Türen zu frischen Perspektiven, die Sie sonst vielleicht verpassen würden. Indem es die Erkundung nicht-durchschnittlicher Antworten ermutigt, wirkt die Technik direkt dem Mode-Collapse-Problem entgegen, das KI-Systeme geplagt hat.
Stichprobenentnahme aus Verteilungsenden
Wenn ein Sprachmodell aus den Randbereichen statt aus der Mitte wählt, passiert etwas Interessantes. Der Standardansatz erzeugt vertraute Antworten. Stellen Sie sich vor, Sie stellen zehn Personen dieselbe Frage, Sie würden wahrscheinlich ähnliche Antworten hören. Das ist die Mitte.
Tail-Wahrscheinlichkeiten funktionieren anders. Sie repräsentieren ungewöhnliche aber gültige Antworten, die kreativen Ausreißer, die selten auftauchen. Indem Ingenieure Modelle anweisen, Antworten mit Wahrscheinlichkeiten unter 0,10 zu sampeln, erschließen sie bemerkenswerte Antwortvariabilität.
Die Technik fordert das System auf, bewusst weniger offensichtliche Optionen zu wählen. Jede generierte Antwort enthält sowohl Text als auch ihren Wahrscheinlichkeitswert. Diese Transparenz hilft Nutzern zu verstehen, wie weit vom Typischen jede Antwort entfernt ist. Tests zeigen, dass die Vielfalt mit k zunimmt, da die Erzeugung von mehr Kandidatenantworten eine bessere Annäherung an die vollständige Referenzverteilung bietet.
Das Ergebnis ? Frische Perspektiven entstehen natürlich. Modelle greifen auf Wissen zu, das sie schon immer besaßen, aber normalerweise zugunsten sichererer, vorhersagbarerer Ausgaben unterdrücken.
Um diesen Ansatz praktikabel zu machen, ist ein spezifisches Format für Antworten erforderlich. Strukturierte Antwortformate helfen Modellen dabei, ihr Denken so zu organisieren, dass jeder folgen kann. Stellen Sie es sich vor wie eine hilfreiche Vorlage, die die KI ausfüllen kann.
So funktioniert es :
- XML- oder JSON-Tags markieren verschiedene Abschnitte der Antwort und halten Ideen getrennt und klar
- Benannte Kategorien lassen Sie genau sehen, welcher Teil welche Frage behandelt
- Konsistente Muster erleichtern die Leistungsbewertung über mehrere Versuche hinweg
Dieses freiheitsfreundliche Framework ermöglicht es Nutzern, KI-Ausgaben ohne restriktive Regeln zu leiten. Der strukturierte Ansatz behält Flexibilität bei und gewährleistet gleichzeitig Klarheit. Modelle können Möglichkeiten innerhalb der von Ihnen gesetzten Grenzen erkunden. Temperatureinstellungen kombiniert mit diesen Formaten schaffen zuverlässige und dennoch kreative Antworten. Beide Formate sind wesentlich für genaue und interpretierbare KI-Interaktionen. Es ist wie Leitplanken auf einer malerischen Autobahn, Schutz ohne Einschränkung der Reise.
Messung von Diversitätsgewinnen über verschiedene Aufgaben hinweg
Da Verbalised Sampling je nach Aufgabe unterschiedlich funktioniert, mussten Forscher messen, wie viel es in realen Situationen tatsächlich hilft. Sie verwendeten Diversitätsmetriken wie semantische Variation und n‑Gramm-Distinktheitswerte, um Verbesserungen zu verfolgen. Die Ergebnisse waren beeindruckend : Die Gesamtdiversität stieg um das 2–3‑fache bei verschiedenen Herausforderungen. Kreatives Schreiben verzeichnete Zuwächse von 1,6–2,1×, während offene Fragen und die Erstellung synthetischer Daten beide um das 2–3‑fache verbessert wurden. Interessanterweise spielte die Modellfähigkeit eine große Rolle, größere, fortgeschrittenere Systeme zeigten bis zu 2× größere Diversitätszuwächse als kleinere. Das bedeutet, die Technik wird noch mächtiger, wenn Modelle intelligenter werden. Das Beste daran : Diese Diversitätssteigerungen kamen ohne Einbußen bei Qualität oder Genauigkeit, was beweist, dass die Methode echten Wert liefert. Die Technik ist modellunabhängig und funktioniert effektiv mit jedem LLM, einschließlich GPT, Claude und Gemini, durch einfache Prompting-Techniken.
Praktische Anwendungen für kreative und technische Anwendungsfälle
Verbalisierte Stichprobenziehung verändert, wie Personen Sprachmodelle bei überraschend verschiedenen Arten von Arbeit nutzen. Dieser Ansatz erschließt neue Möglichkeiten für jeden, der mehr Vielfalt in seiner Ausgabe wünscht. Ob beim Verfassen kreativer Geschichten oder beim Untersuchen generativer Kunst, die Technik liefert greifbare Ergebnisse.
Drei praktische Anwendungen :
- Kreatives Schreiben , Generiere Gedichte, Geschichten und Witze mit 1,6–2,1‑fach mehr Vielfalt. Schriftsteller können verschiedene Erzählperspektiven untersuchen, ohne die Qualität zu beeinträchtigen.
- Bilderzeugung , Produziere verschiedene künstlerische Stile durch die Verbalisierung von Wahrscheinlichkeitsverteilungen. Dies erweitert die visuellen Möglichkeiten für Designer und Künstler, die einzigartige Ausdrucksformen suchen.
- Synthetische Daten , Erstelle vielfältige Datensätze ohne zusätzliches Training. Die Methode stellt 66,8% der ursprünglichen Modellvielfalt nach Optimierungsphasen wieder her.
Die Technik funktioniert auf verschiedenen Plattformen wie GPT, Claude und Gemini und gibt Kreativen echte Freiheit zum Experimentieren. Größere Modelle wie GPT‑4.1 und Gemini‑2.5‑Pro zeigen größere Vielfaltszuwächse im Vergleich zu ihren kleineren Gegenstücken.
Schritt-für-Schritt-Umsetzungsanleitung
Der Einstieg in Verbalized Sampling erfordert nur wenige einfache Schritte, die jeder befolgen kann. Zuerst installieren Sie das Tool mit ‘pip install verbalized-sampling‘. Als nächstes importieren Sie es in Ihr Projekt und setzen grundlegende Parameter : k=5 Antworten, tau=0.10 für Seltenheitsfilterung und temperature=0.9 für ausgewogene Exploration. Das System generiert mehrere Optionen mit Wahrscheinlichkeits-Scores und sampelt dann aus Antworten mit geringer Wahrscheinlichkeit, um vorhersagbare Muster zu umgehen. Dieser Ansatz hilft dabei, Typikalitätsbias zu überwinden, der dazu führt, dass Modelle zu sicheren Antworten konvergieren.
Implementierungsherausforderungen betreffen typischerweise Parameter-Tuning. Beginnen Sie mit den empfohlenen Standardwerten und passen Sie diese dann basierend auf Ihren Bedürfnissen an. Führen Sie zunächst einen Pilottest mit einer Agent-Datei durch, versuchen Sie prompt-engineer.md in der ersten Woche. Sammeln Sie Nutzerfeedback durch Self-BLEU-Messungen und subjektive Qualitätsprüfungen. Verfeinern Sie über die folgenden Wochen hinweg und erweitern Sie schrittweise auf weitere Agents. Dieser stufenweise Ansatz gewährleistet eine reibungslose Einführung bei gleichzeitiger Beibehaltung der kreativen Freiheit während des gesamten Prozesses.
Vergleich von Verbalisierter Stichprobenziehung mit Traditionellen Stichprobenmethoden
Wie schneidet Verbalisierte Stichprobenentnahme im Vergleich zu den althergebrachten Methoden ab, die die meisten Personen verwenden ? Der Unterschied ist erfrischend. Traditionelle Ausgaben neigen dazu, vorhersagbaren Mustern zu folgen und erzeugen Antworten, die sich abgestanden anfühlen. Verbalisierte Stichprobenentnahme befreit sich von diesen Beschränkungen durch eine einfache Anpassung : das Anfordern mehrerer Variationen von Anfang an.
Hier ist, was diesen Ansatz auszeichnet :
- Die Stichprobeneffizienz verbessert sich, weil das Modell verschiedene Blickwinkel von Beginn an untersucht, anstatt in wiederholenden Schleifen stecken zu bleiben
- Die kreative Freiheit erweitert sich, da die KI vielfältige Antworten generiert, anstatt immer wieder dieselbe langweilige Struktur zu produzieren
- Das Engagement steigt, da Leser dynamischen Inhalt anstatt monotoner Muster antreffen
Der traditionelle Ausgabeansatz mag schnellere Ergebnisse liefern, aber Verbalisierte Stichprobenentnahme liefert bessere. Es geht darum, Qualität und Vielfalt über Geschwindigkeit und Gleichförmigkeit zu wählen. Durch das Bereitstellen von Beispielen oder Proben der gewünschten Ausgabe leiten Nutzer die KI an, spezifische Stile und Töne nachzuahmen, die mit ihren Zielen übereinstimmen.
Quellenangabe
- https://forum.gnoppix.org/t/verbalized-sampling-is-a-simple-prompt-technique-meant-to-make-ai-responses-less-boring/2113
- https://www.verbalized-sampling.com
- https://github.com/CHATS-lab/verbalized-sampling
- https://www.youtube.com/watch?v=fXyj6lLy1fA
- https://blog.gopenai.com/verbalized-sampling-the-new-frontier-in-prompt-engineering-9d97babc7df5
- https://ai.plainenglish.io/verbalized-sampling-the-one-line-trick-that-makes-ai-more-creative-51836f67819c
- https://www.ibm.com/think/topics/model-collapse
- https://www.infobip.com/glossary/model-collapse
- https://arxiv.org/html/2402.07712v1
- https://www.lesswrong.com/posts/t9svvNPNmFf5Qa3TA/mysteries-of-mode-collapse
