DATENLABOR.io

Probefahrt statt Prospekt: wie wir Jev getestet und gemessen haben

Probefahrt statt Prospekt: wie wir Jev getestet und gemessen haben

Im September 2026 haben wir früh Zugang zu einem neuen KI-Modell bekommen: Jev von TypeSafe. Wir arbeiten jeden Tag mit KI-Agenten, also mit Programmen, die selbstständig Arbeitsschritte erledigen. Dabei fallen ständig kleine, schnelle Entscheidungen an. Genau dafür ist Jev gebaut.

Ein Auto kauft man nicht nach dem Prospekt, sondern nach der Probefahrt. Also haben wir Jev auf unseren eigenen Fällen gemessen, auf Deutsch und im Vergleich mit anderen Modellen. Jev hat gut abgeschnitten. Aus der breiten Nutzung haben wir es trotzdem wieder herausgenommen. Hier steht, wie wir gemessen haben und warum eine gute Messung nicht die ganze Entscheidung ist.

Was Jev ist und was nicht

Die meisten kennen KI als Chat: Du stellst eine Frage, das Modell schreibt einen Text zurück. Jev funktioniert anders. Stell dir einen Prüfer vor, der keinen Aufsatz schreibt, sondern auf einem Formular ein Kästchen ankreuzt. Du gibst ihm den Sachverhalt, die Frage und die möglichen Antworten. Zurück kommt das angekreuzte Kästchen samt der Angabe, wie eindeutig die Entscheidung ausfällt. So ein Urteil kann Software direkt weiterverarbeiten, ohne erst einen Text deuten zu müssen.

Jev ist ein Cloud-Dienst: Das Modell läuft auf den Servern des Anbieters, jede Frage geht über das Internet dorthin. Das Gegenstück ist ein lokales Modell auf der eigenen Hardware. Wer ein Modell selbst betreibt, hängt an keinem Anbieter. Um genau diese Unabhängigkeit geht es am Ende.

Ausprobiert oder eingeplant haben wir Jev an diesen Stellen:

  • erkennen, ob eine Aufgabe erst eine Rückfrage braucht, bevor unsere KI-Agenten loslegen
  • entscheiden, ob ein Arbeitsschritt ohne Nachfrage freigegeben werden darf
  • Programmcode auf Sicherheits- und Qualitätsprobleme prüfen
  • abgleichen, ob ein Auftrag wirklich vollständig erledigt ist
  • lange Protokolle vorsortieren, damit niemand jede Zeile lesen muss

Nicht glauben, sondern messen

Herstellerangaben zu Genauigkeit und Einstellungen sind der Prospekt: ein guter Startpunkt, aber kein Beleg für deinen Alltag. Wir haben Jev deshalb geprüft wie in einer Klausur mit Musterlösung. Dabei galten drei Regeln.

Echte Fälle mit Musterlösung. Die Prüfmengen bestehen aus Situationen, die bei uns tatsächlich vorkommen. Für jeden Fall stand vorher von Hand fest, was richtig ist.

Alle Antworten kommen ähnlich oft vor. In einer Klausur, in der fast jede richtige Antwort „ja“ lautet, sieht gut aus, wer stur „ja“ ankreuzt. Eine ausgewogene Prüfmenge verhindert das. Bei den Code-Prüfungen haben wir das streng eingehalten.

Fehler nach Richtung sortiert. Denk an zwei Rauchmelder. Der eine piept schon beim dunklen Toast. Das nervt, kostet aber nur einen kurzen Blick. Der andere bleibt still, obwohl es brennt. Bei einem Prüfwerkzeug ist es genauso: Ein Fehlalarm kostet Minuten. Ein übersehenes Problem bleibt liegen. Niemand merkt es.

Alle Messwerte in diesem Beitrag sind eigene Messungen aus dem September 2026 auf unseren Fällen. Angaben der Hersteller kennzeichnen wir als solche. Die Messwerte sind eine Momentaufnahme, kein allgemeines Urteil über die Modelle.

Was die Messung über Jev ergab

Deutsch funktioniert. Laut Dokumentation ist Jev auf Englisch am genauesten. Bei anderen Sprachen soll man vorher mit eigenen Inhalten testen. Genau das haben wir getan. Bei der Frage, ob eine Aufgabe eine Rückfrage braucht, haben wir dieselben Fälle dreimal durchlaufen lassen. Von 24 Urteilen waren 23 richtig. Jev lag also nur einmal daneben. In 36 Bewertungen, ob ein Arbeitsschritt ohne Nachfrage freigegeben werden darf, gab es keine einzige falsche Freigabe. Jev hat sicher unterschieden, ob ein Schritt nur etwas nachsieht oder etwas verändert oder löscht. Nur Ersteres darf ohne Nachfrage laufen.

Schwellen muss man selbst messen. Neben der Antwort liefert Jev einen Eindeutigkeitswert zwischen 0 und 1, in der Fachsprache Konfidenz. Eine 1 heißt: Jev setzt alles auf eine Karte. Je höher der Wert, desto sicherer ist sich Jev. Eine Garantie ist er nicht: Auch bei 0,95 kann die einzelne Antwort falsch sein. Mit dem Wert legt man eine Schwelle fest, ähnlich der Latte beim Hochsprung.

Bei Freigaben heißt das: Nur was über die Latte kommt, läuft ohne Mensch durch. Der Rest landet bei jemandem zur Prüfung. Bei der Rückfragen-Erkennung gilt dieselbe Latte, nur mit einer anderen Folge. Der Agent hält nur dann an und fragt nach, wenn Jev über der Latte meldet, dass etwas unklar ist. Liegt die Latte zu hoch, fragt er nie.

TypeSafe teilt die Konfidenz in der Dokumentation zur Konfidenz in Bereiche: Bei hoher Konfidenz darf Software automatisch handeln, unter 0,5 gehört der Fall zu einem Menschen. Je folgenreicher eine Entscheidung ist, desto höher soll die Latte liegen. Im Beispiel dort bekommt eine folgenreiche Aktion über 0,9 sogar noch eine Bestätigung. Wir haben daraus als Startwerte 0,9 für die Rückfragen-Erkennung abgeleitet, für Freigaben sogar 0,98.

Auf unseren echten Fällen kam bei 0,98 kein einziger Fall über die Latte. Null Freigaben: Das Werkzeug wäre nutzlos gewesen. In unserer Prüfmenge gab es außerdem drei Fälle, in denen eine Rückfrage wirklich nötig war. Bei 0,9 hat Jev keinen davon erkannt. Brauchbar war beide Male 0,80.

Das ist kein Vorwurf an den Hersteller, denn er kann deine Fälle nicht kennen. TypeSafe schreibt selbst, man solle mit vorsichtigen Schwellen starten und sie auf eigenen Daten testen. Es zeigt aber, warum man Schwellen auf den eigenen Daten misst, statt sie zu übernehmen.

Der Vergleich mit Laya

Parallel haben wir uns Laya angesehen, ein frisch veröffentlichtes Modell von Convai Innovations. Laya ist offen unter der Lizenz Apache 2.0: Jeder darf es herunterladen, selbst betreiben und anpassen, auch gewerblich. Laya lässt sich genauso ansprechen wie Jev und vergleicht sich auf seiner Modellseite ausdrücklich damit. Umstellen hätten wir mit einer einzigen Einstellung können, wie beim Wechsel des Stromanbieters, bei dem die Steckdose bleibt. Vor allem läuft Laya auf eigener Hardware. Die spannende Frage war also: Schaffen wir dieselbe Arbeit ohne externen Dienst?

Dritter im Vergleich war gemma3:4b, ein kleines allgemeines Sprachmodell von Google aus der Gemma-3-Familie. Google bietet es unter eigenen Nutzungsbedingungen zum Herunterladen an. Die „4b“ steht laut Modellseite für rund vier Milliarden Parameter. Parameter sind die Stellschrauben, die ein Modell beim Training eingestellt hat, grob gesagt seine eingebaute Erfahrung. Große Chat-Modelle haben ein Vielfaches davon.

Laya ist noch einmal mehr als zehnmal kleiner. Es kann dafür nur urteilen, nicht schreiben. Gemessen haben wir die mehrsprachige Fassung mit laut Modellseite rund 322 Millionen Parametern.

Die drei traten auf zwei Prüfmengen an: 20 deutsche Alltagsfälle, etwa zu Freigaben und Rückfragen, sowie 17 Code-Prüfungen. Die Code-Prüfungen waren ausgewogen verteilt. Sechs echte Verstöße gegen unsere Regeln, sechs begründete Ausnahmen (sieht aus wie ein Verstoß, ist aber bewusst so gebaut) und fünf Scheintreffer. Das sind Stellen, die nach der Regel aussehen, für die sie aber gar nicht gilt.

  • Jev: 17 von 20 Alltagsfällen richtig, also gut fünf von sechs. Bei Code 11 von 17, knapp zwei Drittel.
  • gemma3:4b: 12 von 20, also drei von fünf. Bei Code 6 von 17, gut ein Drittel.
  • Laya (mehrsprachige Fassung): 9 von 20, knapp die Hälfte. Bei Code 5 von 17, weniger als ein Drittel.

Die Prüfmengen sind klein. Ein Fall mehr oder weniger verschiebt das Ergebnis um fünf bis sechs Prozentpunkte. Die Zahlen zeigen eine klare Tendenz, keine Rangliste auf die Kommastelle.

gemma3:4b hat keinen echten Verstoß übersehen. Es hat aber auch alle 11 Fälle ohne echten Verstoß als Verstoß gemeldet, am Ende also jeden der 17 Fälle. Das ist ein Rauchmelder, der immer piept: Er verpasst keinen Brand, sagt aber auch nichts mehr aus.

Auch die Geschwindigkeit haben wir gemessen, in Millisekunden (Tausendstelsekunden) und jeweils als Median. Das ist die typische Wartezeit: Die Hälfte der Antworten kam schneller, die andere Hälfte langsamer. Jev brauchte rund 290 Millisekunden, wenn die Verbindung schon stand. Musste sie für jeden Aufruf neu aufgebaut werden, waren es eher 800. Ein Telefonat dauert eben auch länger, wenn man für jede Frage neu anruft.

Die lokalen Modelle liefen auf unserem Arbeitsrechner. gemma3:4b nutzte die Grafikkarte und brauchte rund 140 Millisekunden. Laya lief nur auf dem Prozessor und brauchte rund 550. Eine Grafikkarte rechnet sehr viele kleine Rechenschritte gleichzeitig. Deshalb laufen KI-Modelle darauf meist deutlich schneller als auf dem normalen Prozessor.

Weil die Hardware verschieden war, ist das kein fairer Geschwindigkeitsvergleich. Laya nennt auf seiner Modellseite rund 33 Millisekunden, gemessen auf einer Grafikkarte für Rechenzentren vom Typ Tesla T4. Für den Prozessor nennt Laya selbst 193 bis 464 Millisekunden. Unsere rund 550 liegen etwas darüber, auf anderer Hardware und mit einer älteren Version. Zur Einordnung: Alle Werte liegen unter einer Sekunde. Bei einer einzelnen Frage spürt man den Unterschied kaum.

Bevor wir den Zahlen getraut haben, haben wir unseren eigenen Messaufbau geprüft. Wer einem Prüfling die Fragen falsch stellt, prüft am Ende sich selbst. Wir fanden drei Fehler auf unserer Seite, die Laya zu Unrecht schlecht aussehen ließen. Einer davon: zu lange Fragetexte statt der kurzen Form, für die Laya gebaut ist. Auch nach allen Korrekturen blieb es bei 9 von 20 und 5 von 17. Gemessen haben wir Version 0.3.5. Neuere Versionen haben wir nicht nachgemessen.

Warum die Fehlerrichtung mehr zählte als die Quote

Zurück zu den Rauchmeldern. Im Code-Teil lagen alle sechs Fehler von Jev in derselben, harmlosen Richtung: Sie betrafen begründete Ausnahmen. Viermal hat Jev eine solche Ausnahme als Problem gemeldet, etwa die Seite zum Zurücksetzen eines Passworts. Die muss ohne Anmeldung erreichbar sein, denn wer sein Passwort vergessen hat, kann sich nicht anmelden. So ein Hinweis kostet einen kurzen Blick. Die übrigen zwei Male hat Jev die Ausnahme für einen Scheintreffer gehalten. Auch dabei hat es kein Problem verschwiegen. Von den sechs echten Verstößen hat Jev keinen übersehen.

Laya hat als einziges der drei Modelle einen echten Verstoß übersehen, ausgerechnet bei einer Regel zum Umgang mit Geld. Sie verlangt, Beträge exakt zu rechnen statt als Kommazahl, die ein Computer nur ungefähr speichert. Laya hat den Fall nicht nur übersehen. Es hat ausdrücklich gesagt, die Regel greife hier gar nicht.

Das ist der Rauchmelder, der beim Brand „alles in Ordnung“ meldet. Ohne Werkzeug sucht noch jemand nach solchen Fehlern. Mit einem Werkzeug, das fälschlich beruhigt, sucht niemand mehr. Ein einziger übersehener Fall bei Geld, Zugriffsrechten oder personenbezogenen Daten wiegt deshalb schwerer als jede Gesamtquote. Laya war für uns damit kein Ersatz. Technisch hätte es sofort an Jevs Stelle gepasst, wie ein Stecker in dieselbe Steckdose. Die Urteile auf unseren Fällen passten aber nicht.

Und trotzdem haben wir Jev aus der breiten Nutzung genommen

Nach diesen Zahlen lag es nahe, Jev überall einzubauen. Wir haben es an mehreren Stellen eingebaut und nach wenigen Tagen wieder auf wenige Aufgaben zurückgenommen.

Der Hauptgrund ist Unabhängigkeit. Ein Laden, der alles bei einem einzigen Lieferanten bestellt, ist gut versorgt, solange der liefert. Preis, Bedingungen und Lieferzeiten bestimmt aber der Lieferant. Was durch fast jeden unserer Arbeitsschritte läuft, soll deshalb nicht dauerhaft an einem einzelnen externen Anbieter hängen, egal wie gut er heute ist. Das ist eine Entscheidung über uns, nicht über die Qualität von Jev.

Dazu kamen zwei Beobachtungen aus dem Betrieb. Beide lagen an unserem Aufbau, nicht am Modell. Bei der Rückfragen-Erkennung schlug Jev in zwei Tagen 63 Mal an, meist zu Unrecht. Wir hatten ihm nur die jeweils letzte Nachricht gezeigt, nicht das Gespräch davor. Das ist, als würdest du jemandem nur den letzten Satz eines Telefonats vorlesen und fragen, ob noch etwas unklar ist. Bei der Freigabe von Arbeitsschritten kam Jev in 85 echten Fällen kein einziges Mal zum Zug, weil feste Regeln davor jeden Fall schon abgefangen hatten. Wo eine einfache Regel greift, braucht es kein Urteil. Und eine gute Prüfmenge ersetzt nicht den Blick auf den echten Betrieb.

Außerdem hat bei den Alltagsfällen ein neueres lokales Modell aufgeholt: qwen3:4b-instruct-2507 vom Qwen-Team von Alibaba Cloud. Es ist offen unter Apache 2.0 und laut Modellkarte mit rund vier Milliarden Parametern etwa so groß wie gemma3:4b. Wichtig für die Zahlen oben: Im Vergleich mit Jev und Laya lief noch gemma3:4b, nicht Qwen. Der Zusatz „instruct“ steht für eine Fassung, die auf das Befolgen von Anweisungen trainiert ist. In einer späteren Messung Ende September traf es 15 bis 16 von 20 Alltagsfällen, also drei Viertel bis vier Fünftel. gemma3:4b hatte 12 geschafft. Bei den Code-Prüfungen kam keines der lokalen Modelle, die wir getestet haben, über 6 von 17 hinaus.

Wofür wir Jev heute noch nutzen

Bei Urteilen über Code lag Jev in unserer Messung klar vor jedem getesteten lokalen Modell. Dort nutzen wir es weiter. Außerdem bei Auswertungen, die nicht sofort fertig sein müssen und gesammelt im Hintergrund laufen. Ein Beispiel: viele abgeschlossene Arbeitsschritte auf einmal nachträglich durchsehen. Für die Code-Prüfungen sind nur ausgewählte eigene Projekte freigegeben. Alltägliche Urteile über Text trifft inzwischen qwen3:4b-instruct-2507 auf unserer eigenen Hardware.

Beim Einbau haben wir geprüft, dass jeder Ablauf auch ohne Jev weiterläuft. Bei Code-Prüfungen taugt das Urteil ohne Jev dann nur als grobe Vorsortierung. Solche Ergebnisse gelten bei uns als nicht belastbar und werden so gekennzeichnet. Jev ist bei uns damit ein Zweitgutachter, kein tragender Pfeiler.

Was du daraus mitnehmen kannst

Wenn du ein KI-Werkzeug einsetzen willst, das Entscheidungen trifft oder vorsortiert, lohnen sich fünf Fragen vor der Probefahrt:

  1. Hast du eine Prüfmenge aus echten Fällen? Mit Musterlösung und ausgewogen über alle möglichen Antworten. Sie gehört dir und nicht dem Anbieter. Bei uns kostet der nächste Kandidat seitdem rund zwanzig Minuten Messlauf statt einer langen Diskussion.
  2. Hast du die Schwellen selbst gemessen? Herstellerwerte sind ein Startpunkt. Auf deinen Daten können sie ein Werkzeug nutzlos oder gefährlich machen.
  3. In welche Richtung irrt das Werkzeug? Zähl übersehene Probleme und Fehlalarme getrennt. Ein Rauchmelder, der zu oft piept, ist lästig. Einer, der beim Brand schweigt, ist gefährlich.
  4. Hast du deinen eigenen Messaufbau geprüft? Ein Modell kann auch deshalb schlecht abschneiden, weil die Fragen falsch gestellt sind.
  5. Wie abhängig machst du dich? Wie viel deiner täglichen Arbeit hängt daran? Läuft alles weiter, wenn es ausfällt? Unabhängigkeit ist ein eigenes Kriterium neben der Trefferquote. Manchmal wiegt sie schwerer.

Jev hat unsere Probefahrt gut bestanden. Deshalb nutzen wir es weiter, dort, wo es in unserer Messung vorn lag. Überall sonst wählen wir den Weg, auf dem wir selbst die Kontrolle behalten.

Quellen

Aus dem Labor ist unsere Rubrik über das, was wir selbst bauen und betreiben, bevor wir es jemandem empfehlen. Mit derselben Haltung haben wir schon einmal ein lokales KI-Modell auf die Probe gestellt, nachzulesen in unserem Beitrag über lokale KI und Unabhängigkeit. Fragen? Schreib uns.

Porträt von Daniel Schorpp

/ Über den Autor /

Daniel

Daniel hat datenlabor.io gegründet und führt es als Inhaber. Er arbeitet seit über 20 Jahren in IT und Entwicklung und schreibt hier über das, was er mit Snorre, der Unternehmens-KI von datenlabor.io, selbst baut und betreibt.

Mehr über Daniel & Snorre

/ Aus dem Labor /

Alle Storys aus dem Labor

Ehrlich aufgeschrieben: was wir bauen, was schiefgeht und was wir daraus lernen.

Zur ÜbersichtKontakt aufnehmen