Mistral AI startet Mistral-Small-24B-Instruct-2501

Mis­tral AI launcht Mis­tral-Small-24B-Ins­truct-2501, ein fort­schritt­li­ches Sprach­mo­dell mit 40 Schich­ten, das Wett­be­wer­ber bei Bench­marks übertrifft.

Es ist jetzt unter der Open Apa­che 2.0‑Lizenz verfügbar.

Wichtige Erkenntnisse

• Mis­tral AI hat das Modell Mis­tral-Small-24B-Ins­truct-2501 eingeführt.
• Es bie­tet ein Archi­tek­tur­de­sign mit 40 Schich­ten Transformer.
• Bie­tet mehr­spra­chi­ge Unter­stüt­zung und fort­ge­schrit­te­nes Denken.
• Wur­de unter der Open Apa­che 2.0‑Lizenz veröffentlicht.
• Unter­stützt loka­le Bereit­stel­lung mit RTX 4090 Hardware.

Mis­tral AI hat Mis­tral-Small-24B-Ins­truct-2501 ein­ge­führt, einen bedeu­ten­den Fort­schritt in der Künst­li­chen Intel­li­genz, der die Fähig­kei­ten des Sprach­mo­del­lings ver­bes­sert. Die­ses Modell ver­fügt über eine Trans­for­mer-Archi­tek­tur mit bemer­kens­wer­ten Spe­zi­fi­ka­tio­nen : 40 Schich­ten, 5.120 Dimen­sio­nen und 128 Kopf­di­men­sio­nen, unter­stützt von 32.768 ver­steck­ten Dimen­sio­nen. Eine sol­che Archi­tek­tur trägt zu sei­ner star­ken Leis­tung bei, ergänzt durch die SwiG­LU-Akti­vie­rungs­funk­ti­on, die Effi­zi­enz prio­ri­siert. Eine Voka­bu­lar­grö­ße von 32.768 sorgt für eine brei­te lexi­ka­li­sche Reich­wei­te, wäh­rend eine Kon­text­län­ge von 32.768 Tokens umfang­rei­che Ein­ga­be­da­ten berücksichtigt.

Die Leis­tungs­bench­marks für Mis­tral-Small-24B-Ins­truct-2501 sind bemer­kens­wert und über­tref­fen ande­re Model­le wie Qwen2.5–32B-instruct und GPT-4^o-mini-2024–07-18. Es hat Wer­te von 8.35 auf MTBe­nch-dev, 52.27 auf Wild­bench, 0.873 auf Are­na Hard und 0.829 auf Ife­val erreicht, was sei­ne Zuver­läs­sig­keit in ver­schie­de­nen Bewer­tungs­sze­na­ri­en wider­spie­gelt. Die­ses Modell kann lokal bereit­ge­stellt wer­den und benö­tigt nur eine ein­zel­ne RTX 4090 oder ein 32GB RAM Mac­Book nach Quan­ti­sie­rung. Für eine opti­ma­le Funk­tio­na­li­tät wird die vLLM-Biblio­thek emp­foh­len, um pro­duk­ti­ons­be­rei­te Infe­renz-Pipe­lines zu erstellen.

Die mehr­spra­chi­ge Unter­stüt­zung des Modells ist ein Haupt­merk­mal, das sei­nen Nut­zen für eine Viel­zahl von Anwen­dun­gen stei­gert, wodurch es eine attrak­ti­ve Opti­on für Ent­wick­ler, die an glo­ba­len Pro­jek­ten arbei­ten, dar­stellt. Viel­sei­tig­keit ist ein Mar­ken­zei­chen die­ses Modells, da es Ser­ver-/Cli­ent-Kon­fi­gu­ra­tio­nen über vLLM ser­ve-Befeh­le unter­stützt. Die Ein­hal­tung von Sys­tem­auf­for­de­run­gen ermög­licht eine Anpas­sung basie­rend auf den Benut­zer­an­for­de­run­gen. Die mehr­spra­chi­gen Fähig­kei­ten des Modells, die zahl­rei­che Spra­chen abde­cken, erhö­hen sei­ne Nütz­lich­keit für glo­ba­le Anwen­dun­gen. Dar­über hin­aus erleich­tern Funk­tio­nen wie nati­ve Funk­ti­ons­auf­ru­fe und JSON-Aus­ga­be fort­ge­schrit­te­ne Funk­tio­na­li­tä­ten, wäh­rend sei­ne hoch­mo­der­nen Gesprächs- und Denk­fä­hig­kei­ten qua­li­ta­tiv hoch­wer­ti­ge Inter­ak­tio­nen gewährleisten.

Mis­tral-Small-24B-Ins­truct-2501 wird unter der Open Apa­che 2.0‑Lizenz ver­öf­fent­licht, die die Nut­zung und Modi­fi­ka­ti­on für kom­mer­zi­el­le und nicht-kom­mer­zi­el­le Zwe­cke erlaubt und Ent­wick­lern so Fle­xi­bi­li­tät gewährt. Ein 32k Kon­text­fens­ter ver­ar­bei­tet effek­tiv län­ge­re Ein­ga­ben, wäh­rend eine emp­foh­le­ne nied­ri­ge Tem­pe­ra­turs­in­stel­lung von 0,15 hilft, die Leis­tung zu opti­mie­ren. Die­se Attri­bu­te, kom­bi­niert mit sei­nen beein­dru­cken­den Leis­tungs­kenn­zah­len, posi­tio­nie­ren Mis­tral-Small-24B-Ins­truct-2501 als ein ein­fluss­rei­ches Werk­zeug in Anwen­dun­gen des Sprachmodelings.

Die Fort­schrit­te, die in Mis­tral-Small-24B-Ins­truct-2501 ver­kör­pert sind, wer­den wahr­schein­lich ver­schie­de­ne Bran­chen und Anwen­dun­gen erheb­lich beein­flus­sen. Wäh­rend Ent­wick­ler und For­scher sei­ne Fähig­kei­ten erkun­den, kön­nen sie sei­ne Stär­ken nut­zen, um die Gren­zen des Sprach­mo­del­lings zu erwei­tern. Kon­ti­nu­ier­li­che Ent­wick­lung und Ver­bes­se­run­gen wer­den sicher­stel­len, dass die­ses Modell auch in der abseh­ba­ren Zukunft ein füh­ren­des Werk­zeug im Bereich der Künst­li­chen Intel­li­genz bleibt.