KI-Nachrichten: Fünf Highlights

Die jüngsten Durchbrüche in der KI haben mich begeistert, und ich denke, es ist an der Zeit, einige der bemerkenswertesten Entwicklungen vorzustellen. Das KI-Modell Strawberry von OpenAI hat bedeutende Fortschritte bei den logischen Fähigkeiten gemacht. Es ist noch nicht perfekt, aber der Fortschritt ist unbestreitbar.

Ich habe die Arbeit von Cerebras an ihrer Inferenzlösung verfolgt, und die Geschwindigkeiten, die sie erreicht haben, sind bemerkenswert. Wir sprechen hier von der Verarbeitung riesiger Datenmengen in einem Bruchteil der Zeit, die früher benötigt wurde. Dies hat weitreichende Auswirkungen auf Branchen, die stark von der Datenanalyse abhängig sind.

Google Meet hat eine KI-gesteuerte Notizfunktion eingeführt, die die Effizienz von Meetings erheblich verbessert. Die Teilnehmer müssen nicht mehr mühsam wichtige Punkte notieren oder Aufzeichnungen durchgehen. Diese Funktion nutzt die Verarbeitung natürlicher Sprache, um die wichtigsten Punkte und Aktionen zusammenzufassen und so mehr Zeit für Diskussionen und Entscheidungen zu gewinnen.

Die jüngste Kohorte von Y Combinator, einem renommierten Startup-Beschleuniger, zeigt einen klaren Trend: KI-bezogene Startups dominieren die Landschaft. Die Investoren sind aufmerksam geworden, und es ist nicht schwer zu erkennen, warum. Das Potenzial von KI, traditionelle Branchen zu verändern und neue zu schaffen, ist enorm.

Während wir die Möglichkeiten der KI erforschen, müssen wir uns auch mit ihren Herausforderungen und Grenzen auseinandersetzen. Ich freue mich darauf, diesen Fragen auf den Grund zu gehen und sie zu untersuchen. Wie sieht die Zukunft der KI aus und wie können wir sicherstellen, dass ihre Entwicklung der Gesellschaft als Ganzes zugute kommt?

OpenAI enthüllt dem FBI die KI „Strawberry", die ihr neues Projekt „Orion" antreibt.

Das KI-Modell Strawberry von OpenAI hat in der KI-Community Wellen geschlagen, und das aus gutem Grund. Strawberry wurde kürzlich den nationalen Sicherheitsbehörden der USA vorgestellt und ist speziell darauf ausgelegt, komplexe Probleme ohne die Halluzinationen zu lösen, die aktuelle KI-Systeme oft plagen. Das Besondere an Strawberry ist seine Fähigkeit, komplizierte Aufgaben beim ersten Versuch zu lösen, auch wenn die Inferenzzeit langsamer und teurer ist.

Die Hauptaufgabe von Strawberry ist die Erzeugung synthetischer Daten für das kommende Flaggschiff von OpenAI, das große Sprachmodell Orion. Die Konzentration auf die Erzeugung präziser synthetischer Daten könnte Orion helfen, Fehler zu reduzieren und seine Inferenzfähigkeiten zu verbessern. Man muss sich das so vorstellen: Mit qualitativ hochwertigen Trainingsdaten können KI-Systeme lernen, Muster zu erkennen und genauere Vorhersagen zu treffen. Die Beschaffung dieser Daten aus realen Quellen kann jedoch eine Herausforderung darstellen. Hier kommt Strawberry ins Spiel.

Ilya Sutskever, ein ehemaliger leitender Wissenschaftler bei OpenAI, leitete die ersten Forschungsarbeiten zu Strawberry, die später von Jakub Pachocki und Szymon Sidor fortgesetzt wurden. Ihre Arbeit hat den Weg für mögliche breitere Anwendungen des Modells geebnet. So könnte zum Beispiel noch in diesem Herbst eine abgespeckte Version von Strawberry in ChatGPT integriert werden. Diese kleinere, vereinfachte Version würde es ChatGPT ermöglichen, von den verbesserten Denkfähigkeiten von Strawberry zu profitieren und präzisere Antworten auf eine Reihe von Aufgaben zu geben, einschließlich mathematischer Probleme und Programmieraufgaben.

Auch wenn die Integration von Strawberry in ChatGPT die Antwortzeiten verlangsamen könnte, würde sich dieser Kompromiss für die Benutzer lohnen, die nach zuverlässigeren und durchdachteren Antworten suchen. Dies ist ein klassisches Problem bei der Entwicklung künstlicher Intelligenz: der Kompromiss zwischen Geschwindigkeit und Genauigkeit. Mit Strawberry unternimmt OpenAI einen wichtigen Schritt zur Lösung dieses Problems. Das Potenzial des Modells, qualitativ hochwertige synthetische Daten zu erzeugen, könnte weitreichende Auswirkungen auf die Entwicklung zukünftiger KI-Systeme haben.

Die automatische KI-Notizerfassung von Google Meet ist da!

Ich freue mich darauf, die neue automatische KI-Notizfunktion von Google Meet kennenzulernen, die Google Workspace-Kunden bei der Organisation und Zugänglichkeit nach einem Meeting helfen soll. Dieses Tool nutzt künstliche Intelligenz, um die wichtigsten Punkte von Besprechungen zusammenzufassen und eine prägnante Zusammenfassung des Meetings zu erstellen, die es Nachzüglern ermöglicht, sich schnell wieder in das Meeting einzufinden.

Genauigkeit ist bei einer solchen Funktion von entscheidender Bedeutung, und ich habe festgestellt, dass einige Nutzer über Probleme mit fehlerhaften Transkriptionen berichten. Ich bin gespannt, wie Google mit diesen Problemen umgeht, denn das Unternehmen hat sich verpflichtet, die Funktion auf der Grundlage des Nutzerfeedbacks zu verbessern. Die Möglichkeit, Besprechungen aufzuzeichnen, zu transkribieren und zusammenzufassen, birgt ein enormes Potenzial, Besprechungen effizienter und zugänglicher zu machen.

Besonders vielversprechend finde ich die Fähigkeit der Funktion, aus dem Feedback der Nutzer zu lernen und die Zusammenfassungsfunktionen im Laufe der Zeit zu verbessern. Es ist großartig, dass Google die Bedürfnisse der Nutzer in den Mittelpunkt stellt und kontinuierlich an der Verbesserung der Funktion arbeitet. Als jemand, der mit künstlicher Intelligenz gearbeitet hat, weiß ich, wie schwierig es sein kann, diese Systeme richtig hinzubekommen, aber mit fortschreitender Entwicklung bin ich optimistisch, was die Auswirkungen dieses Tools auf die Art und Weise angeht, wie wir Sitzungen abhalten.

Die potenziellen Vorteile dieser Funktion sind beträchtlich, von der Zeitersparnis bis hin zur stärkeren Einbeziehung derjenigen, die nicht persönlich anwesend sein können. Durch die Automatisierung von Notizen können sich die Teilnehmer auf die Diskussion konzentrieren, anstatt sich Notizen zu machen. Ich bin gespannt, wie sich die KI-Notizfunktion von Google Meet weiterentwickeln wird und welche positiven Veränderungen sie für die Produktivität und Zusammenarbeit in Meetings mit sich bringen wird.

Cerebras bringt die weltweit schnellste KI-Inferenz auf den Markt

Cerebras hat gerade eine KI-Inferenzlösung auf den Markt gebracht, die einen hohen Anspruch erhebt – nämlich die schnellste der Welt zu sein. Die Zahlen sind sicherlich beeindruckend: 1.800 Token pro Sekunde für Llama3.1 8B und 450 Token pro Sekunde für Llama3.1 70B. Doch was steckt hinter dieser Geschwindigkeit?

Es ist die dritte Generation der Wafer Scale Engine (WSE-3) von Cerebras. Diese Technologie durchbricht die Grenzen der Speicherbandbreite, die herkömmliche GPU-basierte Lösungen bremsen. Das Ergebnis ist ein System, das ohne Einbußen bei der Genauigkeit 20-mal schneller als herkömmliche Cloud-Lösungen arbeiten kann. Cerebras legt den Schwerpunkt auf Genauigkeit und verwendet die ursprünglichen 16-Bit-Gewichte von Meta, um eine optimale Modellleistung zu gewährleisten.

Einer der aufregendsten Aspekte dieser Technologie ist ihr Potenzial, die KI-Entwicklung zugänglicher zu machen. Mit einer offenen API und branchenführenden Preisen ab 10 Cent pro Million Token können Entwickler diese Leistung nutzen, ohne das Budget zu sprengen. Und es geht nicht nur um Geschwindigkeit – auch die Kostenvorteile sind beträchtlich.

Die Auswirkungen dieser Technologie sind enorm. Mit der Fähigkeit, KI-Modelle in Echtzeit zu verarbeiten, können wir neue Möglichkeiten der Entscheidungsfindung, Codegenerierung und vieles mehr nutzen. Und es geht nicht nur um die aktuellen Modelle – Cerebras plant bereits die Veröffentlichung zukünftiger Modelle, darunter Llama3 405B und Mistral Large, die die Fähigkeiten der Plattform weiter ausbauen werden. Als jemand, der die Entwicklung von KI seit einiger Zeit verfolgt, bin ich gespannt, wohin uns diese Technologie führen wird.

Drei Viertel der Gründerinnen und Gründer der jüngsten Y Combinator-Kohorte arbeiten an KI-Startups

In der jüngsten Kohorte von Y Combinator arbeiten 75 Prozent der Start-ups an KI-bezogenen Produkten. Dies ist eine deutliche Trendwende bei den KI-Start-ups.
Der Einfluss von Y Combinator auf das KI-Startup-Ökosystem ist beträchtlich, da viele seiner Alumni zu Unicorns geworden sind. Der Fokus der aktuellen Kohorte auf KI spiegelt den breiteren Fokus von VC-Investitionen wider, wobei fast die Hälfte aller US-Risikokapitalinvestitionen im letzten Quartal in KI-Unternehmen flossen. Der KI-Hype-Zyklus ist in der Geschichte von YC deutlich erkennbar, wobei die aktuelle Kohorte eine Vielzahl von KI-Anwendungen vorstellt, von KI-gestütztem Innendesign bis hin zu KI-Gesprächspartnern für Kinder.

Warum KI ‚Erdbeere‘ nicht buchstabieren kann

Ich habe mich mit der Frage beschäftigt, warum große Sprachmodelle (LLMs) Schwierigkeiten haben, etwas so Einfaches wie die Anzahl der Buchstaben in einem Wort zu zählen. Nehmen wir das Wort „Erdbeere". Man könnte meinen, das sei ein Kinderspiel, aber LLMs haben erstaunlich große Schwierigkeiten, das Wort richtig zu schreiben.

Das Problem liegt in der Art und Weise, wie diese Modelle den Text in Token zerlegen. Diese Token können ganze Wörter, Silben oder einzelne Buchstaben sein. Das Problem ist, dass dieser Prozess den Text selbst nicht wirklich versteht. Es handelt sich vielmehr um eine Übersetzung in numerische Repräsentationen, die dann kontextualisiert werden, um eine Antwort zu generieren. Das macht es für LLMs schwierig, Buchstaben genau zu zählen oder ihre spezifische Reihenfolge in einem Wort zu verstehen.

Matthew Guzdial, ein KI-Forscher, bringt es auf den Punkt: „LLMs basieren auf dieser Transformer-Architektur, die nicht wirklich Text liest. Dieser grundlegende Fehler ist tief in der Architektur verankert, die es LLMs ermöglicht, zu funktionieren. Wenn also ein LLM versucht, „Erdbeere" zu buchstabieren, versteht er nicht wirklich die einzelnen Buchstaben, aus denen sich das Wort zusammensetzt.

Der Grund, warum LLMs an dieser Aufgabe scheitern, liegt im Umwandlungsprozess. Text wird in Zahlen umgewandelt, und diese Zahlen werden verwendet, um eine Antwort zu erzeugen. Bei diesem Prozess bleiben jedoch weder die Struktur noch die Bedeutung des ursprünglichen Textes erhalten. Es ist ein bisschen so, als würde man versuchen, ein Bild nur mit Zahlen zu beschreiben – man versteht vielleicht das Wesentliche, aber man verpasst die Details.

Ich denke, das zeigt die Grenzen der Programmierung von LLMs. Sie sind unglaublich mächtige Werkzeuge, aber sie sind nicht perfekt. Und genau diese Unvollkommenheit macht die Arbeit mit ihnen so interessant. Es gibt noch so viel zu lernen und zu verbessern, und ich bin gespannt, wohin die Reise geht.