1. <dfn id="e2ea3i"><i id="e2ea3i"></i><th id="e2ea3i"></th></dfn><small id="e2ea3i"><dt id="e2ea3i"></dt><dt id="e2ea3i"></dt></small>
              2. <table id="ucwppt"></table><optgroup id="ucwppt"></optgroup><kbd id="ucwppt"></kbd>
                  1. <u id="7is1z8"></u><kbd id="7is1z8"></kbd><div id="7is1z8"></div><select id="7is1z8"></select>
                  2. 首頁 行業資訊正文

                    AI發展史(五):誕生于1980年代的算法偏見

                    52ai 行業資訊 2019-05-27 22:37:54 7664 0 研究發展技術影響

                    編者注:AI史的敘述方式往往是機器隨時間轉移而變得越來越聰明。但這種敘述缺少了人的要素,沒有講清楚智能機器是如何由人的身體和思想來設計、訓練與賦能的。

                    爲此,IEEE推出了總共六篇的AI秘史系列文章,希望從創新者、思想家、工人甚至小販等人如何創造可複制人類思想和行爲的算法的角度來彌補這一缺失。盡管無需人類輸入的超智計算機令人興奮,但智能機器的真正曆史已經證明,AI的水平只能跟我們一樣的好。此文爲系列的第五篇,作者是 Oscar Schwartz,原文標題爲:Untold History of AI: Algorithmic Bias Was Born in the 1980s

                    AI發展史(一):會下棋的土耳其機器人

                    AI發展史(二):美國第一台計算機背後的女程序員

                    AI發展史(三):爲什麽圖靈希望AI代理犯錯

                    AI發展史(四):憧憬人機共生的“DARPA夢想家”

                    AI發展史(六):Amazon土耳其機器人,人工的人工智能

                    第五部分:Franglen的招生算法

                    1970年代,倫敦聖喬治醫學院的Geoffrey Franglen博士開始編寫一個算法來篩選學生的入學申請。

                    當時,聖喬治每年2500份申請中有3/4只是因爲書寫的申請就被學術評估人拒絕了,都沒有進入到面試階段。通過初步篩選的人當中約有70%最後拿到了醫學院的錄取名額。所以初步的“淘汰”輪非常關鍵。

                    Franglen是聖喬治醫學院的副院長,而且他本人就是招生評估員。看申請是一項非常耗時的任務,他覺得這可以自動化完成。他研究了自己和同事篩選學生的過程,然後寫了一個程序,用他的話來說,這個程序“模仿了人類評估員的行爲。”

                    盡管Franglen的主要動機是提高招生流程的效率,但他也希望消除招生人員在旅行職責當中的不一致。其想法是將職責交給技術系統,所有的學生申請都要遵循完全一樣的評估過程,從而創造一個更公平的流程。

                    但其實結果恰恰相反。

                    1979年,Franglen完成了算法。那一年,學生申請要經過計算機與人類評審員的雙重測試。Franglen發現,這套系統跟篩選委員會的評分有90%到95%的一致率。在醫學院的管理層看來,這一結果證明了算法可以取代人類篩選員。到1982年,聖喬治醫學院的所有初選工作都交給程序來完成了。

                    如果他們的名字不是白人姓氏的話,篩選流程就會不利于他們。實際上,光是沒有一個歐洲名字就會自動扣除申請者15分了。

                    不出幾年,學校的職工就對成功申請者當中缺乏多樣性感到擔憂。他們對Franglen的程序進行了內部審核,注意到系統的特定規則似乎以一些不相幹的因素,比如出生地和姓名來權衡申請者。但Franglen向委員會保證,這些規則源自之前招生趨勢收集到的數據,對篩選只會産生很小的影響。

                    1986年12月,聖喬治醫學院的兩位資深講師聽說了這次內部審核的事情,然後找到了種族平等委員會。他們告訴委員們說,他們有理由相信這套計算機程序被偷偷用于對女性和有色人種進行歧視。

                    該委員會于是啓動一項調查。結果調查發現,候選人被算法按照名字和出生地分成了“白人”或者“非白人”。如果他們的名字不是白人姓氏,篩選流程就會對他們不利。實際上,光是沒有一個歐洲名字就會自動扣除申請者15分了。委員會還發現,女性申請者平均要被扣掉3分。算下來,每年大概有多達60位申請者被這套評分系統拒絕了面試。

                    在當時,英國大學的性別和種族歧視還非常猖獗——聖喬治醫學院之所以被逮住是因爲它把偏見供奉到了一個計算機程序裏面。因爲算法給女性和名字非歐洲化的人更低的分數是可驗證的,委員會就有了歧視的具體證據。

                    委員會認定,聖喬治醫學院要爲招生政策中存在的歧視性做法負責,但因爲沒有造成嚴重後果而逃脫了罪責。爲了表現出一點補償的誠意,醫學院聯系了可能受到不公正歧視的人,3名此前申請被拒的學生後來被補錄進來了。委員會指出,醫學院的問題不僅僅是技術性的,而且也是文化上的。很多教職員工都將錄取機器視爲沒有問題,因此並沒有花時間去詢問如何鑒別學生的問題。

                    從更深層次來看,算法只是在維持招生系統早已存在的偏見而已。畢竟,Franglen已經拿這台機器跟人比較過,發現結果的相關性達到了90-95%。但是由于他把篩選員的歧視做法編碼到技術系統裏面,就導致了這些偏見會一而再再而三地持續下去。

                    聖喬治醫學院的歧視引起了極大的的關注。後來,委員會裁定該校的招生表格裏面含有種族和種族劃分的信息。但是這不痛不癢的一部並不能阻止算法偏見的暗流湧動。

                    的確,隨著算法決策系統日益滲透到醫療保健和司法審判等高風險領域,基于曆史數據而産生的原有社會偏見的長期存在和擴散已經成爲一個巨大的問題。2016年, ProPublica的調查記者披露全美用于預測未來犯罪情況的軟件對非洲裔美國人存在偏見。最近,研究學者Joy Buolamwini證明了美國的臉部識別軟件對黑膚色的女性有著更高的錯誤率。

                    盡管機器偏見正在快速成爲AI領域被討論得最多的話題之一,算法仍經常被看成是是産生理性、不帶偏見結果的數學的不可理解的、毋庸置疑的對象。正如AI批評人士Kate Crawford所說那樣,是時候把算法看作是“人類設計的創造物”了,而自然它會繼承我們的偏見。算法不可置疑的文化迷思往往掩蓋了這樣一個事實:我們的AI只會跟我們一樣好。


                    分享
                    版權聲明

                    本文僅代表作者觀點,不代表本站立場。
                    本文系作者授權發表,未經許可,不得轉載。

                    評論

                    X-POWER-BY FNC V0.5.2 FROM ZZ56