benchmark

Publicamos el benchmark entero, incluso donde perdemos.

Una herramienta de seguridad que dispara demasiadas alertas falsas termina ignorada por el equipo. Aquí está codafort medida contra CodeQL y Semgrep en nuestras pruebas de benchmark, con las salvedades junto a los números.

Java: las tres herramientas en la misma corrida

Nuestras pruebas de benchmark, con respuesta conocida para cada caso, medidas el 2026-09-28. Precisión: cuántas alertas eran reales. Recall: cuántas fallas reales se encontraron.

herramienta	precisión	recall	falsos positivos
codafort	1.000	0.972	0
CodeQL 2.27	0.721	0.972	531
Semgrep OSS 1.177	0.693	0.882	552

0 vs 531

falsos positivos contra CodeQL, encontrando las mismas fallas reales

0.955

de precisión en Python, con recall 0.947; CodeQL quedó en 0.432 y Semgrep en 0.828

8 s

para analizar las pruebas de Java, contra 15 a 20 s de Semgrep y 99 s de CodeQL

⚠ La salvedad va antes del número. Ajustamos codafort mirando las pruebas de Java; CodeQL y Semgrep no. Trata el resultado como techo, no como garantía: en código real, todo analizador tiene algún falso positivo. En 349 casos de 16 lenguajes que ningún ajuste pudo usar, la precisión es 1.000 y el recall 0.762. En las pruebas de los otros lenguajes, abajo, el orden se mantiene y las distancias se reducen.

Por lenguaje, contra CodeQL y Semgrep

Precisión · recall en nuestras pruebas de benchmark de cada lenguaje, en la misma corrida (2026-09-28). De Semgrep, su mejor configuración.

lenguaje	codafort	CodeQL	Semgrep
Java	1.000 · 0.972	0.721 · 0.972	0.693 · 0.882
Python	0.955 · 0.947	0.432 · 0.252	0.828 · 0.159
JavaScript	0.943 · 0.811	0.877 · 0.779	0.756 · 0.239
TypeScript	0.931 · 0.900	—¹	0.714 · 0.167
C#	1.000 · 0.941	—²	0 hits
Go	0.919 · 0.358	—²	0.852 · 0.164
Ruby	1.000 · 0.192	0.707 · 0.082	0.755 · 0.105
Rust	1.000 · 0.920	—¹	1.000 · 0.080
Swift	1.000 · 0.939	—¹	0 hits
PHP	1.000 · 0.867	n/a	1.000 · 0.333
C	0.968 · 0.395	0.667 · 0.026	0 hits
C++	0.800 · 0.098	0 hits	0 hits

¹ Prueba escrita por la propia CodeQL: no la medimos en ella. ² No medido en esta corrida. n/a: CodeQL no analiza PHP. En el NIST Juliet completo para Java, codafort tiene precisión 0,88 y recall 0,81 (2026-10-02).

Donde todavía perdemos

En precisión, frente a CodeQL, en TypeScript de CVEs reales (720 casos): 0.831 de ella contra 0.796 nuestra, con recall parecido.

En el recall en Go, Ruby, Rust, C y C++. Seguimos adelante en esas pruebas, pero lejos de 0.90, y el número es bajo para todas las herramientas medidas.

Todas las herramientas se midieron en la misma corrida, con el mismo criterio, en nuestras pruebas de benchmark.

Precisión medida, publicada y comparada.

Unirme a la lista de espera Ver los planes

Prelanzamiento: codafort aún no está disponible para instalar. Únete a la lista de espera →