大蕭條時(shí)期，美國(guó)聯(lián)邦政府成立了Home Owners’ Loan Corporation（HOLC）來(lái)提供低息房屋貸款，聯(lián)邦住房管理局（FHA）為私人銀行的抵押貸款提供擔(dān)保。由于HOLC的運(yùn)營(yíng)人員不了解當(dāng)?shù)刭J款者的情況，所以他們構(gòu)建了“住宅安全地圖”，將街區(qū)按A到D等級(jí)進(jìn)行分級(jí)，D等級(jí)的街區(qū)采用紅色標(biāo)記，表示這一區(qū)域?qū)儆诓涣几唢L(fēng)險(xiǎn)等級(jí)。這些“紅線”地圖也被FHA和私人企業(yè)所使用，并逐漸蔓延至銀行、保險(xiǎn)公司和零售商店，從而導(dǎo)致了服務(wù)受限和街區(qū)惡化的惡性循環(huán)。

許多私人銀行都有自己的紅線地圖。例如，在加州，Security First National Bank創(chuàng)建了洛杉磯街區(qū)評(píng)級(jí)系統(tǒng)。洛杉磯市中心的大多數(shù)街區(qū)都被標(biāo)有紅線，通常還會(huì)有關(guān)于“日本人和黑人集中地”的明確標(biāo)記。Boyle Heights被標(biāo)記為“充滿了各種顛覆分子的蜂巢”。Watts也被標(biāo)記為紅色，因?yàn)樗�不僅是黑人和日本人的聚集地，德國(guó)人、希臘人、意大利人和蘇格蘭人都集中在這一區(qū)域。

1968年的《公平住房法》禁止了紅線劃分行為。然而，在大數(shù)據(jù)時(shí)代，就業(yè)、保險(xiǎn)和貸款申請(qǐng)?jiān)絹?lái)越多地受到數(shù)據(jù)挖掘模型的評(píng)估，這些模型并不公開(kāi)，但卻可能產(chǎn)生更為有害的影響，因?yàn)樗鼈儾皇艿乩磉吔绲南拗�，而且公眾也無(wú)法得知其內(nèi)部原理。

即使是編寫(xiě)代碼的程序員，也無(wú)法確切知道黑盒算法是如何進(jìn)行評(píng)估的，但是幾乎可以肯定的是，這些算法直接或間接地考慮了性別、種族和性取向等因素，這就是我們所稱的高科技紅線。因?yàn)橐粋�(gè)人具有黑盒算法發(fā)現(xiàn)的與行為統(tǒng)計(jì)相關(guān)的群體特征，就對(duì)他進(jìn)行懲罰，是不道德的。

許多評(píng)估求職者的算法會(huì)識(shí)別當(dāng)前員工特征的統(tǒng)計(jì)模式。一家公司的首席科學(xué)家承認(rèn)其軟件選擇的一些因素是沒(méi)有意義的。例如，該軟件發(fā)現(xiàn)其數(shù)據(jù)庫(kù)中有幾個(gè)優(yōu)秀的程序員經(jīng)常訪問(wèn)一個(gè)特定的日本漫畫(huà)網(wǎng)站，所以它認(rèn)定訪問(wèn)這個(gè)網(wǎng)站的人可能是優(yōu)秀的程序員。這名首席科學(xué)家說(shuō)，“顯然，這不是因果關(guān)系”，但他認(rèn)為這仍然有用，因?yàn)檫@一結(jié)果具有很強(qiáng)的統(tǒng)計(jì)相關(guān)性。這是一個(gè)令人感到痛苦的例子，向我們展示了一種沒(méi)有根據(jù)的想法，即使是那些應(yīng)該更了解統(tǒng)計(jì)模式的人，也會(huì)認(rèn)為統(tǒng)計(jì)模式比常識(shí)更為重要。

這家公司的首席執(zhí)行官還表示，公司的算法考慮了幾十個(gè)因素，并且隨著相關(guān)性的不斷變化，不斷改變被認(rèn)為重要的變量。她認(rèn)為不斷變化的變量列表顯示了模型的強(qiáng)大和靈活性。她還提出了一個(gè)似乎更令人信服的解釋，即該算法捕捉了短暫存在的巧合相關(guān)，即是這些相關(guān)沒(méi)有什么價(jià)值。如果存在因果關(guān)系，它們是不會(huì)短暫存在的，它們會(huì)持續(xù)存在且有用。一種利用巧合的相關(guān)性來(lái)評(píng)估求職者的算法幾乎肯定是有偏見(jiàn)的。如果一名墨西哥裔美國(guó)女性并不喜歡受白人男性軟件工程師歡迎的日本漫畫(huà)網(wǎng)站，那她還是否會(huì)被判定為優(yōu)秀的程序員？

同樣，亞馬遜最近放棄了開(kāi)發(fā)定制算法來(lái)評(píng)估申請(qǐng)人簡(jiǎn)歷的嘗試。在過(guò)去十年里，亞馬遜利用求職者簡(jiǎn)歷對(duì)這些算法進(jìn)行了訓(xùn)練，結(jié)果顯示算法更偏向亞馬遜過(guò)去雇傭的求職者（其中大多數(shù)都是男性）。來(lái)自女子學(xué)院的申請(qǐng)人會(huì)被降級(jí)，因?yàn)樵趤嗰R遜工作的男性沒(méi)有去過(guò)這些學(xué)院。來(lái)自女性運(yùn)動(dòng)隊(duì)的申請(qǐng)人也會(huì)遇到同樣的情況。

一種評(píng)估貸款申請(qǐng)的中國(guó)算法著重關(guān)注手機(jī)使用情況，例如來(lái)話和去話的應(yīng)答頻率，以及用戶是否保持手機(jī)滿電。但問(wèn)題是，這些指標(biāo)中哪一個(gè)可以成為電話用戶信用風(fēng)險(xiǎn)良好的標(biāo)志？你所能感受到的不確定性都表明了這些標(biāo)記存在任意性。

這些巧合關(guān)聯(lián)都是暫時(shí)和無(wú)意義的，但卻可能存在歧視。當(dāng)這種信用評(píng)級(jí)系統(tǒng)首次在中國(guó)披露時(shí)，接聽(tīng)所有來(lái)電被認(rèn)為是一種良好信用風(fēng)險(xiǎn)的信號(hào)。但這很可能也有偏見(jiàn)，比如某些宗教會(huì)規(guī)定不應(yīng)該在某天或某個(gè)時(shí)間段接聽(tīng)電話。

社交媒體平臺(tái)上收集的數(shù)據(jù)為公司提供了一種新的可疑定性見(jiàn)解。英國(guó)最大的汽車保險(xiǎn)公司Admiral Insurance曾計(jì)劃推出第一次汽車報(bào)價(jià)服務(wù)，該報(bào)價(jià)將基于對(duì)申請(qǐng)人Facebook帖子的計(jì)算分析。例如詞匯選擇，以及他喜歡邁克爾·喬丹還是倫納德·科恩。然后，像其他黑盒算法一樣，它們會(huì)隱藏在黑盒中進(jìn)行分析。Facebook帖子中肯定存在偏見(jiàn)。一個(gè)黑人男性喜歡邁克爾·喬丹，而一個(gè)白人女性喜歡倫納德·科恩，這之間的公平如何決定？如果Facebook上與性別、種族、族裔或性取向相關(guān)的詞匯選擇碰巧與汽車保險(xiǎn)索賠相關(guān)呢？

在審前保釋決定、審后判決和定罪后假釋決定中，算法審判越來(lái)越普遍。一名開(kāi)發(fā)人員寫(xiě)道，“這種方法完全就是黑箱操作，也沒(méi)有人為此負(fù)責(zé)�！睘榱吮硎緡�(yán)重程度，他舉了一個(gè)令人震驚的例子：“如果我選用不同大小的預(yù)測(cè)值，它會(huì)給出你沒(méi)有預(yù)料到的結(jié)果�！蔽覀儫o(wú)法預(yù)料到的事情是沒(méi)有意義的，但它們卻巧合相關(guān)了。

一些預(yù)測(cè)因素很可能代表了性別、種族、性取向和其他不應(yīng)該考慮的參數(shù)。人們不應(yīng)該因?yàn)樾詣e、種族或性取向而被重罰保釋金，或被判不合理的徒刑，或被拒絕假釋。

算法問(wèn)題可能導(dǎo)致的未來(lái)可以在中國(guó)看到，中國(guó)政府正在實(shí)施一個(gè)全國(guó)性的社會(huì)信用評(píng)分系統(tǒng)，旨在跟蹤人們買(mǎi)什么、去哪里、做什么，以及其他任何可能表明一個(gè)人不值得信任的事情。該國(guó)的安全部門(mén)也在大力投資人臉識(shí)別技術(shù)，從而給信用評(píng)分類工具帶來(lái)新的數(shù)據(jù)。兩位中國(guó)研究人員最近報(bào)告說(shuō)，他們可以通過(guò)將計(jì)算算法應(yīng)用于掃描的面部照片，以89．5％的準(zhǔn)確率預(yù)測(cè)一個(gè)人是否是罪犯。他們的項(xiàng)目發(fā)現(xiàn)了一些用于預(yù)測(cè)犯罪的鑒別性結(jié)構(gòu)特征，如嘴唇曲率、眼睛內(nèi)角距離和所謂的鼻口角度。

如果他們只是把那些看起來(lái)像罪犯的人關(guān)進(jìn)拘留所呢？這會(huì)有什么害處？他們將不得不呆在那里，直到他們通過(guò)長(zhǎng)期的康復(fù)項(xiàng)目。但是有些人會(huì)是無(wú)辜的，那么從長(zhǎng)遠(yuǎn)來(lái)看，這將如何對(duì)他們產(chǎn)生不利影響？

我們能做些什么來(lái)監(jiān)管這些系統(tǒng)？可以通過(guò)法律要求提高透明度。公民應(yīng)該能夠檢查算法使用數(shù)據(jù)的準(zhǔn)確性，并且應(yīng)該能夠獲得足夠的信息來(lái)測(cè)試算法是否有非法的不同影響。

幸運(yùn)的是，人們?cè)絹?lái)越認(rèn)識(shí)到算法對(duì)我們生活的影響。皮尤研究中心上周公布的一項(xiàng)調(diào)查顯示，許多美國(guó)人擔(dān)心當(dāng)計(jì)算機(jī)用數(shù)學(xué)來(lái)做決定時(shí)會(huì)存在偏見(jiàn)和不公平，比如分配個(gè)人財(cái)務(wù)數(shù)字，進(jìn)行犯罪風(fēng)險(xiǎn)評(píng)估，或者篩選求職者的簡(jiǎn)歷和面試。皮尤的調(diào)查還發(fā)現(xiàn)公眾對(duì)人工智能評(píng)分的關(guān)注在很大程度上取決于環(huán)境：大約30％的人認(rèn)為公司可以根據(jù)顧客的個(gè)人和行為數(shù)據(jù)提供交易和折扣。但是大約50％的人認(rèn)為刑事司法系統(tǒng)可以使用算法來(lái)預(yù)測(cè)假釋犯是否會(huì)犯下另一項(xiàng)罪行。

我們對(duì)計(jì)算機(jī)的信心是如此地盲目，以至于我們?cè)敢庾屗惴▉?lái)拒絕工作申請(qǐng)和貸款申請(qǐng)，設(shè)定保險(xiǎn)費(fèi)率，決定刑期，并把人關(guān)進(jìn)拘留所？只因他們碰巧具有算法選擇的不相關(guān)特征，就偏袒一些人，卻虐待其他人。這根本不是進(jìn)步，這是過(guò)去那個(gè)存在不合理歧視時(shí)代的回歸。