Forsknings- og udviklingsenheden inden for Department of Homeland Security, Science and Technology Directorate organiserede et tech-rally bestående af techeksperter og frivillige for at finde en algoritme til ansigtsgenkendelse, der kan identificere mennesker med masker med den højest mulige nøjagtighed.
Arrangementet fortsatte i 10 dage. 582 frivillige blev testet af de 60 forskellige ansigtsgenkendelsessystemer. De vigtigste anskaffelsessystemer var Stone, Vly, West, Dans, Besek og, Pine, som var en mix-and-match af seks forskellige billedsamlingssystemer, parret med ti forskellige matchende algoritmer, der blev evalueret i henhold til deres ansigtsoptagelsesevne og pålidelighed. at identificere et ansigt med høj nøjagtighed.
De forskellige AI ansigtsgenkendelsessystemer gav forskellige resultater. Den gennemsnitlige nøjagtighed ved genkendelse af ikke-maskerede personer var 93%, og den samme for maskerede personer var i gennemsnit 77%. Den bedst udførte teknologi var Dans, som var i stand til at identificere maskerede mennesker 96% af tiden, og den værste teknologi gjorde det kun i 4% af tiden. Resultaterne var baseret på effektivitet, tilfredshed, FaceFtAR (Failure To Acquire Rate) og FacemTIR (True Identification Rate)
Effektivitet defineres her som den gennemsnitlige tid, der kræves for testfrivillige at udføre en transaktion med hvert system. Med hensyn til effektivitet var West og Dans de bedste, da de kun tog 4 sekunders transaktionstid. Tilfredshed defineres her som andelen af testfrivillige, der gav positive svar. West, Dans og Besek gav de mest tilfredsstillende resultater med et antal på 95%.
Manglende overtagelseshastighed (FtAR) defineres her som andelen af transaktioner, der ikke fik et billede, eller som ikke kunne optage et billede, der kunne skabeloneres af MdTF-matchingsalgoritmen. MdTF True Identification Rate (mTIR) defineres her som andelen af transaktioner, hvor det indsendte biometriske billede matchede den korrekte testfrivillige eller var uidentificeret, hvis probeemnet ikke var i galleriet. I begge resultater var Vly øverst. Dens FtAR var 1,7% inden for 20 sekunder, og mTIR var 97,8% inden for 20 sekunder.
Den fulde rapport om begivenheden er endnu ikke bekræftet. Du kan kontrollere den fulde rapport på MDTF, som forventes i de kommende uger.