La réussite des examens professionnels · Cédée (depuis 2023)

Le rapport GPT-4 d'OpenAI revendique un score à l'Uniform Bar Exam autour du 90e centile des candidats, plus des scores de réussite à de nombreux autres examens standardisés.

Les scores de réussite ne sont pas contestés ; le classement, si. Une réanalyse de 2024 a montré que le chiffre du 90e centile avait été mesuré face à une cohorte de février riche en redoublants, et a estimé GPT-4 sous le 69e centile face aux candidats de juillet, au 48e pour les essais, et autour du 15e pour les essais parmi les reçus. Les modèles ultérieurs font mieux, mais les examens sont écrits pour être notés, et une licence reste attachée à une personne qui peut être radiée. Cédé : franchir le seuil ; non cédé : la pratique que ce seuil est censé garder.