人臉識別出錯(cuò)導(dǎo)致無辜路人被捕，但被AI冤枉過的可能不只他一個(gè)

　　美國一名男子被 AI 列為一起盜竊案的嫌疑人。盡管調(diào)查報(bào)告明確指出，人臉識別匹配只能作為調(diào)查線索，不是明確證據(jù)，當(dāng)?shù)鼐饺匀粚⑺?。這是已知的第一宗在美國發(fā)生的同類案件，但他可能未必是第一個(gè)被冤枉的人。

圖片來源：Sarah Grillo / Axios

　　對于威廉姆斯（Robert Julian-Borchak Williams）來說，今年 1 月糟糕的部分不只有新冠疫情的出現(xiàn)，還有一通來自警察局的電話。

　　那通電話的到來，讓這位非裔美國人成為目前被公開的第一位被機(jī)器錯(cuò)誤定罪的無辜者。

一通意外的電話

　　威廉姆斯是密歇根州底特律的一名上班族。2020 年 1 月某個(gè)周四下午，正在公司上班的他接到了底特律警察局的電話，并被要求投案自首。

　　剛開始他對電話的內(nèi)容不以為然，直到接到電話的一小時(shí)后，他在住宅區(qū)的車道上被一輛警車截停。在妻子和兩個(gè)年幼的女兒面前，兩名警察對他戴上手銬，沒有說明為什么逮捕他，只是出示了一張有他照片的并寫有“盜竊罪”的“重罪逮捕令”。

威廉姆斯（Robert Julian-Borchak Williams），本文主人公 圖片出處：美國民權(quán)自由聯(lián)盟，ACLU

　　隨后，威廉姆斯經(jīng)歷的便是對待“盜竊犯”的例行流程：在拘留中心拍了嫌疑犯照片，被提取了指紋和 DNA，并拘留一晚。

　　在審訊室，兩名警探向他詢問起 Shinola 商店被盜的事情，威廉姆斯才知道發(fā)生了什么。

　　Shinola 是當(dāng)?shù)氐囊患腋邫n精品店，銷售手表、自行車和皮革制品。2018 年 10 月，該店 5 只價(jià)值 3800 美元的手表被盜。

　　審訊中，警探拿出一張監(jiān)控視頻的截圖，顯示一名身材魁梧的男子站在一塊手表前，身穿黑色衣服，頭戴圣路易斯紅雀隊(duì)的紅色帽子。警察懷疑，威廉姆斯就是照片中的犯罪嫌疑人。

　　“這是你嗎？”警察問。

　　“這不是我。你以為所有的黑人都長得一樣嗎？”威廉姆斯說。

　　威廉姆斯承認(rèn)，2014 年這家店剛開張時(shí)，他和妻子去過此地，但威廉姆斯知道自己沒有盜竊。可底特律警察局的人臉識別算法并不這么認(rèn)為。在威廉姆斯這起案子中，正是人臉識別算法將他與 Shinola 的盜竊案聯(lián)系到了一起。

“西海岸頭號人臉識別  供應(yīng)商”浮出水面

　　公開報(bào)道顯示，底特律的警察部門已有數(shù)十年的人臉管理系統(tǒng)使用歷史。

　　而且，不止底特律警察局，整個(gè)密歇根州警方都在使用人臉識別技術(shù)，由一家名為 DataWorks Plus 的公司提供。

　　這家公司成立于 2000 年，本身并不直接開發(fā)面部識別軟件，而是為執(zhí)法機(jī)構(gòu)開發(fā)自定義工具和系統(tǒng)，例如可用于分析警方數(shù)據(jù)（比如面部識別和指紋匹配）的工具。罪犯面部數(shù)據(jù)庫“加州面部識別互聯(lián)”（California Facial Recognition Interconnect）是這家公司的標(biāo)志性產(chǎn)品之一。

　　2005 年，DataWorks Plus 開始擴(kuò)展產(chǎn)品，增加了外部供應(yīng)商開發(fā)的面部識別組件，主要來自于 NEC、Rank One 和 Cognitec 三家公司（前兩家是密歇根州使用的人臉識別算法技術(shù)供應(yīng)商），其在美國執(zhí)法系統(tǒng)中的市場份額進(jìn)一步擴(kuò)大，業(yè)內(nèi)還稱其為“西海岸頭號人臉識別供應(yīng)商”。

　　當(dāng)外部供應(yīng)商開發(fā)出一種識別人臉的算法時(shí)，DataWorks Plus 會(huì)嘗試通過識別系統(tǒng)已知的低質(zhì)量人物圖像來判斷其有效性。然而，他們并不會(huì)系統(tǒng)地衡量其中的準(zhǔn)確性或偏差。

　　更糟糕的是，這些供應(yīng)商的人臉識別算法也并不穩(wěn)定。2019年，NEC、Rank One 的算法曾被納入一項(xiàng)針對 100 多個(gè)面部識別系統(tǒng)的聯(lián)邦研究中，結(jié)果發(fā)現(xiàn)其存在一定程度的算法偏見——識別非裔美國人和亞洲人面部的錯(cuò)誤率是白種人的 10 倍至 100 倍。隨后，Rank One 的首席執(zhí)行官 Brendan Klare 表示，公司又開發(fā)了一種新算法， “縮小了不同人群之間的準(zhǔn)確性差異?！?/p>

　　但在威廉姆斯這起案件中，效果并非如此。

　　首先來看犯罪者的人臉數(shù)據(jù)是怎么來的：Shinola 商店被盜事件發(fā)生后，防損公司 Mackinac Partners 的調(diào)查員 Katherine Johnston 調(diào)取了商店的監(jiān)控錄像，并向底特律警方發(fā)送了副本。五個(gè)月后，即 2019 年 3 月，密歇根州警察局的數(shù)字圖像檢查員 Jennifer Coulson 將錄像視頻中截取的靜止圖像上傳至 DataWorks Plus 人臉識別數(shù)據(jù)庫。

　　Coulson 對圖像進(jìn)行搜索之后，系統(tǒng)給出了一組生成的圖像和一組匹配度最高的圖像以及匹配度得分。這些圖像中就有威廉姆斯的駕照照片。她將其作為“調(diào)查線索報(bào)告”發(fā)送給了底特律警察。

　　重點(diǎn)是，該文件頂部用明確寫道：“該文件不是明確證據(jù)，僅是調(diào)查線索，不能因此逮捕人員?！?/p>

“該文件不是明確證據(jù)，僅是調(diào)查線索，不能因此逮捕人員?！?nbsp;圖片出處：美國民權(quán)自由聯(lián)盟，ACLU

　　這也是技術(shù)供應(yīng)商和執(zhí)法人員在捍衛(wèi)人臉識別算法時(shí)始終強(qiáng)調(diào)的一點(diǎn)：這僅是該案的一個(gè)線索，而不是強(qiáng)力證據(jù)。警察在逮捕威廉姆斯之前，調(diào)查人員需要找到其他證據(jù)證明他犯了盜竊罪，例如目擊者的證詞，手機(jī)中的位置數(shù)據(jù)或證明他擁有犯罪嫌疑人衣物的證據(jù)。

　　令人遺憾的是，根據(jù)底特律警方的報(bào)告，調(diào)查人員并沒有這么做。

　　他們只是將威廉姆斯的照片和其他 6 張生成的照片交給 Johnston 指認(rèn)。Johnston 指認(rèn)了威廉姆斯。

　　據(jù)威廉姆斯回憶，當(dāng)他在審訊室把監(jiān)控錄像拿穩(wěn)放在臉旁后，兩名警探還彼此對視了一下，其中一名警探似乎很懊惱，對搭檔說：“我想是機(jī)器搞錯(cuò)了?！倍髢扇擞址_ Shinola 商店里出現(xiàn)的男子照片，這張照片就擺在威廉姆斯駕照的旁邊。威廉姆斯再次指出，他們不是同一個(gè)人。

　　威廉姆斯一直被拘留到周五晚上，被捕后 30 小時(shí)，他以 1，000 美元的個(gè)人保證金獲釋。

　　隨后，威廉姆斯一家聯(lián)系了辯護(hù)律師，然而，大多數(shù)辯護(hù)律師都認(rèn)為威廉姆斯犯了罪行，并報(bào)價(jià)約 7，000 美元才肯為其辯護(hù)。威廉姆斯的妻子在密歇根州的美國公民自由聯(lián)盟發(fā)了推文，才引起了大范圍的關(guān)注。

　　美國公民自由聯(lián)盟律師 Phil Mayor 表示：“我們一直在努力敲響人臉識別的警鐘，它如果能夠正常工作也會(huì)威脅隱私，而一旦犯了錯(cuò)誤則涉及種族歧視。這些事情總在發(fā)生，只是我們沒有獲知，因?yàn)槿藗兺ǔ２粫?huì)意識到，自己是糟糕的人臉識別技術(shù)的受害者?！?/p>

　　該聯(lián)盟指出，威廉姆斯是第一宗已知道的在美國發(fā)生的同類案件，但威廉斯可能未必是第一個(gè)被冤枉的人。許多人都不知道執(zhí)法人員利用這種技術(shù)查案，會(huì)無端把他們列作偵查目標(biāo)。

圖片來源：Alex Castro / The Verge

誰應(yīng)該為算法偏見負(fù)責(zé)？

　　最終，威廉姆斯被證明清白，因?yàn)榈滋芈删胶藢?shí)了他的不在場證明。

　　但案件的影響仍在持續(xù)。這起案件演示了，技術(shù)之缺陷和不合格的執(zhí)法工作帶來的糟糕后果。

　　正如威廉姆斯在《華盛頓郵報(bào)》撰文講述自己的經(jīng)歷時(shí)所寫：“我從未想過要向女兒解釋為何她們的爸爸會(huì)被警察拘捕。我怎樣向她們說，這是因?yàn)殡娔X出錯(cuò)，但警方仍然只是相信電腦？”

　　在美國，民眾關(guān)于執(zhí)法中存在種族主義的爭論本來就長期存在：抗議者不僅在抗議個(gè)人官員的行為，還在抗議用來監(jiān)視社區(qū)和識別犯罪嫌疑人的人臉識別系統(tǒng)存在的種族偏見。

　　MIT 和美國國家標(biāo)準(zhǔn)技術(shù)研究院（NIST）的研究已證實(shí)，現(xiàn)有的人臉識別算法在識別白人上表現(xiàn)相對較好，但對于其他種族人群而言準(zhǔn)確性較差，部分原因是其缺乏多樣性數(shù)據(jù)庫。

　　或許是因?yàn)榭紤]到這一點(diǎn)，去年年底以來，包括亞馬遜、微軟和 IBM 在內(nèi)的不少硅谷巨頭紛紛宣布，將停止或暫停為執(zhí)法部門提供面部識別服務(wù)。

　　然而，這些舉動(dòng)真的能扭潮水的方向嗎？

　　一方面在于，人臉識別其實(shí)并不是這幾家公司的主營業(yè)務(wù)，另一方面，這些聲明很大程度上也只是象征性的。事實(shí)上，美國執(zhí)法部門使用的人臉識別技術(shù)往往是由一些不那么家喻戶曉的公司提供的，比如 Vigilant Solutions、Cognitec、NEC、Rank One Computing 和 Clearview AI 等。只要有需求，總有人會(huì)做這筆生意。

　　喬治敦大學(xué)隱私與技術(shù)中心的律師 Clare Garvie 曾發(fā)表過一篇有關(guān)政府使用人臉識別系統(tǒng)的文章，她在文章中強(qiáng)調(diào)，應(yīng)禁止使用低質(zhì)量的圖像搜索系統(tǒng)（例如顆粒感強(qiáng)的低精度監(jiān)控視頻中截取的靜止圖像），并且應(yīng)對當(dāng)前投入使用的系統(tǒng)進(jìn)行嚴(yán)格的準(zhǔn)確性和偏差測試。她說：“人臉識別算法有好有壞，執(zhí)法部門必須盡可能使用更好的算法?！?/p>

　　還有一個(gè)技術(shù)以外的疑問或許更難回答，那就是：當(dāng)算法難以避免會(huì)出錯(cuò)，應(yīng)該向誰問責(zé)？

　　如果算法只是幫助我們更好的娛樂、工作，這個(gè)問題似乎不那么緊迫，可當(dāng)算法被用到刑偵、醫(yī)療中時(shí)，AI 被用于給出錯(cuò)誤的犯罪者線索、疾病診斷結(jié)果時(shí)，這是一個(gè)必須回答的問題。

　　關(guān)于這個(gè)問題，全球范圍內(nèi)的從業(yè)者仍在積極地討論之中，目前也形成了一些共識：首先是認(rèn)識到 AI 的不可解釋性或?qū)㈤L期存在，通過解釋某個(gè)結(jié)果如何得出而實(shí)現(xiàn)算法的透明化，在技術(shù)上幾乎不具有實(shí)操性，也會(huì)極大地限制 AI 的應(yīng)用；基于這一點(diǎn)，可以操作的空間是，在 AI 的行為和決策上盡可能有效透明，例如成立專門的第三方監(jiān)管機(jī)構(gòu)、針對不同的場景分層次設(shè)置監(jiān)管等。

　　當(dāng)然，這些大部分還是初步的討論，對于我們每一個(gè)個(gè)人來說，在這個(gè)關(guān)鍵決策愈發(fā)走向算法驅(qū)動(dòng)的世界中，可以做到的就是保持學(xué)習(xí)和警惕。