Das von Professor Daniel Martin Katz mitverfasste Paper „GPT-4 Passes the Bar“ wurde in der neuesten Ausgabe der Philosophical Transactions of the Royal Society veröffentlicht – der ältesten und renommiertesten wissenschaftlichen Zeitschrift der Welt.
Gegründet 1665 von Henry Oldenburg, war das Journal die erste Plattform, auf der Wissenschaftlerinnen und Wissenschaftler ihre Entdeckungen systematisch austauschten. Seitdem prägte es den wissenschaftlichen Fortschritt über Jahrhunderte hinweg – mit Beiträgen von Größen wie Isaac Newton, Benjamin Franklin und Charles Darwin.
Das nun erschienene Paper wurde erstmals im Entwurf am 15. März 2023 veröffentlicht – zeitgleich mit dem offiziellen Launch von GPT-4. In „GPT-4 Passes the Bar“ untersuchen die Autorinnen und Autoren, wie leistungsfähig GPT-4 beim Uniform Bar Examination (UBE) ist – dem US-amerikanischen Pendant zum juristischen Staatsexamen. Der Test umfasst sowohl den Multiple-Choice-Teil (Multistate Bar Examination, MBE) als auch offene Aufgaben im Multistate Essay Exam (MEE)und im Multistate Performance Test (MPT).
Die Ergebnisse sind bemerkenswert: GPT-4 übertrifft nicht nur frühere GPT-Versionen, sondern auch menschliche Teilnehmende. Das Modell erzielte eine 26 % bessere Leistung als ChatGPT und lag in fünf von sieben Fachgebieten über dem menschlichen Durchschnitt. Selbst in bislang ungetesteten Bereichen wie dem MEE und MPT schnitt GPT-4 mit einem Durchschnitt von 4,2 von 6 Punkten hervorragend ab.
Diese Studie zeigt nicht nur die beeindruckenden Fähigkeiten moderner Sprachmodelle, sondern markiert auch einen entscheidenden Schritt in der Integration von KI in juristische Ausbildung und Praxis – ein Vorgeschmack auf die Zukunft der Rechtswissenschaft im Zeitalter der künstlichen Intelligenz.
