Ⅲ2007).
〔2〕〔1〕美國有些法律和政策甚至直接將監督等同於透明,比如《自由信息法案》27,2012).這其中,最典型的應當是弗蘭克·帕斯奎爾。當然,他本人對算法透明的研究更透徹,自然也對算法透明的局限性有著比較清楚的把握。SeeFrankPas-quale,“RestoringTransparencytoAutomatedAuthority”,9J.onTelecomm.&HighTech.
fiedTransparencyinInternetIntermediaries”,104Nw.U.L.Rev.105(2010).
〔3〕ToddEssig,“‘BigData’GotYouCreepedOut?TransparencyCanHelp”,Forbes(Feb.
TalZ.Zarsky,“TransparentPredictions”,2013U.Ill.L.Rev.1503,1506(2013);L.235(2011);FrankPasquale,“BeyondInnovationandCompetition:TheNeedforQuali-學論壇》2019年第4期;高學強:“人工智能時代的算法裁判及其規製”,載《陝西師範大學學報(哲學社會科學版)》2019年第3期;劉友華:“算法偏見及其規製路徑研究”,載《法學雜誌》2019年第6期;張淑玲:“破解黑箱:智媒時代的算法權力規製與透明實現機製”,載《中國出版》2018年第7期。
參見張恩典:“大數據時代的算法解釋權:背景、邏輯與構造”,載《法·157·0\".+\"!
二、算法透明原則可行嗎?
算法透明原則本身是不是一個不容置疑的金科玉律呢?算法透明原則真的那麼有用嗎?在算法運用越來越廣泛而由此引發的問題越發複雜的情境下,是不是可以說,算法越透明越好呢?答案並不是那麼簡單。
如果單單從美國大選投票算法中的例子出發,我們會很自然地把算法透明原則與自由主義傳統下的政治學、經濟學和法學中的透明原則密切聯係起來。然而,這很可能是以偏概全。
一方麵,算法透明原則——如果得以踐行——無論在外延上,——還是在內涵上,都與傳統的透明原則有所不同。另一方麵,雖然本文第一部分闡述了算法透明原則與傳統自由主義下的知情權和可問責性之間存在交叉,但不能否認,比起傳統自由主義的透明原則,算法透明原則蘊含著更大的內在張力和具體限製。
接下來,本文將分別探討算法透明原則的兩個根本問題:算法透明原則是否可行以及算法透明原則是否必要。本部分通過具體規製情境,考察算法透明原則的可行性問題。事實上,算法透明原則作為一項帶有普遍強製性的法律原則,它有可能會與國家安全、社會秩序和私主體權利等法益相衝突,不具有作為與基本法律原則所匹配的普遍可行性。
(一)算法透明vs.國家安全無論古今中外,公開和保密,一直是國家治理中至關重要的理念。〔1〕具體到算法治理領域。哪些算法可以公開,向誰公〔1〕弗羅斯特(DavidB.Frost):《美國政府保密史:製度的誕生與進化》,雷建鋒譯,金城出版社2019年版。
張群:《中國保密法製史研究》,上海人民出版社2017年版;[美]戴維··158·算法透明原則的迷思開,公開到何種程度,都需要放在國家安全這一棱鏡中,著重考察。而對於以國家安全為由的保密義務,許多國家在政策和法律層麵都給予了高位階保護。比如,我國的《中華人民共和國國家安全法》《中華人民共和國網絡安全法》《中華人民共和國國家秘密法》以及美國的《國家安全法案》等。這些法律在很大程度上,都給相關的算法透明設置了障礙。
換言之,當算法透明與國家安全相衝突時,算法透明的可行性必將遭受挑戰。
舉例而言,為了提高機場安檢效率,全球大部分國際機場都采取了抽樣安檢策略,即在常規安檢之外,抽取特定人群進行更嚴格、煩瑣的檢查。如此一來,既可以保證機場安檢的速度,又能給恐怖分子帶來一定威懾力。抽樣的程序則由算法來執行。假設為了防止對特定群體的歧視性抽樣,根據算法透明原則,公眾要求公開抽樣算法,那麼,機場應不應當讓算法透明呢?可以想見,一旦算法透明,恐怖分子便有可能根據公開的算法進行博弈,謀劃規避手段來避免被嚴格檢查,或者根據算法所提供的隨機性邏輯來合理定製所需樣本試錯數量。再比如,假設某次導彈試射演練後,製導係統的算法失靈,致使導彈偏離既定彈道,炸毀民用設施,並造成傷亡。那麼,公眾是不是可以就此要求算法透明,要求軍方公開製導係統的算法呢?
後文將提出更合理的解決方案,但就本節所討論的主題而言,即便公眾的訴求完全公平合理,但本案例中算法透明的可行性也將在很大程度上受到限製。
在上述兩個案例中,很顯然,如果堅持貫徹算法透明原則,將有可能導致產生國家安全隱患(飛機航路安全與軍事設施安全等)。換言之,對於算法透明原則而言,當其與國家安全相衝突時,不可避免地會受到國家安全的限製。比如美國“9·11事·159·《愛國者法案》0\".+\"!
件”過後,以小布什總統為首的保守派政治家,強烈抵製政府在國家安全領域的透明化,聲稱贏下“反恐戰爭”的唯一手段,就是讓美國變得和它的影子對手一樣神秘。
〔1〕於是,者法案》為代表、以國家安全為由對抗信息披露的法律政策,也就應運而生。同樣,我國在《憲法》第53條,《國家安全法》第4、19、28、29條與《網絡安全法》第77條,以及其他法律這些都是算法透明原則在不同的適用領域所需麵對的重重關卡。
綜上所述,由於通常國家安全往往比算法透明背後的考量有著更高位階的權重。因此,一旦出現這一組對立,國家安全將對算法透明實施“降維打擊”。這樣一來,算法透明原則的可行性就很難得到保證。這便構成了算法透明可行性的第一道———也是最難逾越的——一道障礙。—(二)算法透明vs.社會秩序以《愛國法規中都對涉及國家安全、國家秘密的信息披露進行了嚴格限製。
算法透明也可能與社會秩序背道而馳。我們以當前應用廣泛的智能語言測試係統為例。
〔2〕智能語言測試係統的應用,為
的是測試的便捷和標準化。語言測試係統的判分算法信息,具有很強的保密性,不能被隨意披露。不難想見,一旦這類信息被披露,就很可能讓不法分子鑽算法的空子,與語言測試係統博弈,也讓整個測試無法達到其應有的考察目的。類似的情況也會發生在抽獎活動中,如果抽獎環節所使用的算法一開始就被披露,那麼,投機分子就可能采取各種手段——比如破解算—密的討論,還可參見DanaPriestandWilliamArkin,TopSecretAmerica:TheRiseoftheNewAmericanSecurityState(2011).
〔2〕〔1〕JulianE.Zelizer,ArsenalofDemocracy(2010).對於美國國家安全和信息保王金銓、陳燁:“計算機輔助語言測試與評價——應用與發展”,載《中—國外語》2015年第6期;張豔、張俊:“我國計算機輔助語言測試研究現狀”,載《中國考試》2017年第5期。
·160·算法透明原則的迷思法直接幹預抽獎環節、選擇算法抽獎所青睞的時機和頻次進入抽簽環節——博弈,以及操縱抽獎結果等。—當然,網絡空間中最經典的例子,當屬搜索引擎優化(SearchEngineOptimization)。起初,搜索引擎服務提供商,曾樂於踐行算法透明,將其搜索引擎算法公之於眾。比如,穀歌早期的PageRank排名算法的排序標準,就曾公之於眾。〔1〕然而,出乎穀歌意料的是,某些惡意網站(尤其是內容農場〔2〕、商業廣告網站、釣魚網站、惡意代碼網站等)利用這些被披露的排序算法,玩起了“貓捉老鼠”的遊戲——采取搜索引擎優化來與穀—歌排序算法展開博弈,讓一些本不應被優先排序的網站擠進了搜索結果的靠前位置。如此一來,人們也就更難通過穀歌得到其搜索結果排名就越容易被博弈和操控,最後影響到公眾對於搜索引擎的體驗。也正因如此,穀歌以及其他搜索引擎逐漸收緊算法披露,到最後,穀歌幾乎明確拒絕算法透明,甚至對已公開的算法作出秘密調整。就這樣,穀歌搜索引擎算法徹底變成黑箱,而這個黑箱,反倒成了公眾獲得理想搜索結果的保障。
上述案例僅僅涉及算法程序披露,而對於輸入數據(作為理想的搜索結果。換句話說,穀歌PageRank排名算法越透明,算法的一部分)披露的案例更是不勝枚舉。屢屢出現的計算機考GooglizationofEverything(2010);AmyN.LangvilleandCarlD.Meyer,Google??sPageRankandBeyond(2012).
〔2〕〔1〕有關穀歌搜索引擎的技術細節和商業模式,SeeSivaVaidhyanathan,The內容農場(ContentFarm)是純粹以獲得在算法排名高排位目的,雇傭大量人員來粗編爛造各類熱門內容,以迎合搜索引擎算法需要的一類公司。有關內容農場以及穀歌與內容農場之間的博弈,SeeDanielRoth,“TheAnswerFactoryDemandMediaandtheFast,Disposable,andProfitable-as-hellMediaModel”,WIRED;RyanSin-gel,“GoogleClampsDownonContentFactories”,WIRED.與DuckDuckGo和前兩年剛剛被IBM收購的Blekko這類小搜索引擎不同,穀歌拒絕在其英文搜索引擎中設立黑名單,這也給內容農場及其派生網站留下了更大的博弈空間。
·161·0\".+\"!
試漏題案件,就屬於這類輸入數據披露對於社會秩序的影響。〔1〕篇幅有限,筆者在此不一一贅述。由此可見,算法透明在實踐中可能會與社會秩序發生衝突,這便是算法透明可行性的第二道障礙。
(三)算法透明vs.私主體權利算法透明原則將不可避免地帶來信息披露,而在遍布私主體信息的當代社會,信息披露將很可能與私主體權利(尤其是個人征信和醫療診治等領域,算法已經得到普遍應用,這些領域中的法定保密義務和約定保密義務會給算法透明原則的實現造成很大阻礙。這是因為在被披露的算法中,往往既涉及敏感的個人隱私,也涉及關鍵的商業秘密和知識產權。這些敏感信息或機密信息,可能可能作為算法程序的一部分,可能作為輸入數據、輸出結果,甚至可能兼而有之。
上述此類信息披露,勢必與隱私保護、商業秘密保護、知識產權保護等法律法規〔2〕或合同約定相衝突,並受到後者的限製。這一現象在金融信貸領域最為典型,且不說用戶個人隱私屢屢成為金融機構拒絕透明的擋箭牌,金融機構還常常利用專利權、版權、商業秘密甚至商標權等私權來對抗算法透明。
當然,就如下文將要討論的“盧米斯案”那樣,開發算法的公司所最常使用的抗辯依然是將算法作為商業秘密來尋求法律保〔3〕個人隱私、商業秘密和知識產權)相衝突。比如,在金融信貸、〔1〕〔2〕“托福考題疑泄露官方公布舉報郵箱”,載《新京報》2015年2月1日。
作權法》第3條第8款,《反不正當競爭法》第9條。
〔3〕BrendaReddix-Smalls,“CreditScoringandTradeSecrecy:AnAlgorithmicQuagmireorHowtheLackofTransparencyinComplexFinancialModelsScuttledtheFinanceMarket”,12U.C.DavisBus.L.J.87,91(2011).
例如,《網絡安全法》第45條,《民法總則》第111條、第123條,《著·162·算法透明原則的迷思護。〔1〕類似的情況,不勝枚舉。
本文可以繼續堆砌案例,但上述案例足以表明,算法透明原則並不是一個普適原則。當然,反過來說,這並不表明算法透明原則在任何情境下都不可行。這也不表明,一旦出現與上述三種考量因素的衝突,算法透明原則就必然走投無路。即便與三種製約因素存在衝突,但隻要衝突是在合理範圍之內,其可行性也依然存在。比如,前文提到的投票機案例,如若將投票機的算法公之於眾,無論是從國家安全、社會秩序、私主體權利等哪個角度來看,他們對可行性的阻礙均很難成立。唯一可能存在的隱患是,假如投票機的算法公開,會增加不法分子侵入係統篡改投票結果的風險,但是這樣的風險,可以在技術上和監管上加以限製。〔2〕綜上所述,本部分從國家安全、社會秩序和私主體權利等三個方麵,質疑算法透明原則的可行性。換言之,算法透明原則至少會受到上述三方麵考量的限製,並非放之四海而皆準。
三、算法透明原則必要嗎?
本文第二部分論證了算法透明並不是一個普適原則,在一些情況下並不可行。接下來要回應的問題是:即便是在算法透明可行的情形下,算法透明原則是否有必要性?顯然,比起可行性問題,更麻煩的問題是,當人們好不容易克服可行性障礙而最終實現算法透明時,卻發現算法透明無力兌現其規製承諾。
〔1〕〔2〕Statev.Loomis,881N.W.2d749(Wis.2016).
換句話說,選民們本身並不因為算法透明,就可以在投票環節博弈,進而操縱結果。這與智能判卷算法有所不同,這是由於答卷人對於係統的投機性博弈(比如對於答卷模式的調整,以迎合算法評分需求),超出了係統控製範圍。
·163·0\".+\"!
對於算法透明仍然必要性這一問題,本部分將從兩個方麵分別展開論述。
正如本文第一部分所提到的,算法透明就是打開黑箱、灑下“陽光”。那麼,我們首先要回答:算法透明是不是就等於算法可知?如果這一前提條件不能成立、或者不能完全成立,如果黑箱套黑箱,或者“陽光”灑落在一塊謎團上,那麼,算法透明原則所能帶來的諸多益處,也就仍然無法兌現。
(一)算法透明≠算法可知在一些學者看來,算法透明就足以幫助我們了解算法的所有奧秘。如果說在早前技術尚未精進的時代有這種說法,倒可稱得上是值得商榷,〔1〕但在現如今還秉持這一觀點,〔2〕則就讓人難以理解。在筆者看來,算法透明不等於算法可知。在它們之間,至少存在如下四道障礙:披露對象的技術能力、算法的複雜化、機器學習和幹擾性披露。
披露對象的技術能力這一問題,是比較好理解的。當披露對象是非計算機專業人士時(比如與公共政策和法律裁判關係密切的法官、陪審員、執法官員和普通公眾),算法本身是難以辨識的。他們的技術能力有所欠缺,因此,即便向他們披露源代碼和相關技術細節,可對他們而言,代碼即亂碼、算法像魔〔1〕譯,清華大學出版社2008年版,第154~167頁;DanielleKeatsCitron,“TechnologicalBox”,11Info.Polity21,23(2006).
〔2〕[美]勞倫斯·萊斯格:《代碼2.0:網絡空間中的法律》,李旭、沈偉偉DueProcess”,85Wash.U.L.Rev.1249,1308~1309(2008);DavidM.BerryandGilesMoss,“FreeandOpen-SourceSoftware:OpeningandDemocratisinge-Government??sBlack壇》2019年第4期;高學強:“人工智能時代的算法裁判及其規製”,載《陝西師範大學學報(哲學社會科學版)》2019年第3期;劉友華:“算法偏見及其規製路徑研究”,載《法學雜誌》2019年第6期;張淑玲:“破解黑箱:智媒時代的算法權力規製與透明實現機製”,載《中國出版》2018年第7期。
張恩典:“大數據時代的算法解釋權:背景、邏輯與構造”,載《法學論·164·算法透明原則的迷思法,可能還是無法搞清自動化決策究竟是怎麼做出的。外行隻能看熱鬧,內行才能看門道。不可否認,外行可以借助內行來幫忙(比如專家證言),但這其中,可能會有成本和偏差。
障礙便是把外行內行統統拒之門外。先說算法的複雜化。
如果說上述第一個障礙是阻擋外行的門檻,那麼後麵三個〔1〕事實上,即便是簡單的算法,也存在不可知的情況,比如計算機領域著名的萊斯定理(Rice??sTheorem)就證明了某類算法的不可知屬性。隨著技術的不斷演進、算法分工的不斷精細以及社會生活對於算法需求的不斷提升,大量算法變得愈發複雜。此處之所以著重強調複雜性,是因為複雜算法的不可知情況更具代表性———它既包含了單一算法本身的原因,也包含了更普遍的、多組算法模塊交互的原因。而算法的複雜化會給算法的解釋工作帶來很大難度。〔2〕當然,這在計算機科學發展史上並不新鮮。計算機工程師應對這一問題的通行做法是:將算法係統模塊化。
個擊破,最後通過重新組合,解釋整個算法係統。
〔3〕對於模塊化後的算法,計算機工程師再分別解釋各部分子算法,各〔4〕雖然通過〔5〕但即便模塊化的分工可以解決一部分複雜算法的解釋問題,如此,就連計算機工程師也承認,算法複雜化模塊化,會令各Problems”,74TransactionsAm.MathematicalSoc??y358(1953).
YouShouldBeToo”,PCWorld(Apr.9,2015).
11COMM.ACM341,343(1968).
〔4〕〔3〕〔2〕〔1〕SeeH.G.Rice,“ClassesofRecursivelyEnumerableSetsandTheirDecisionKatherineNoyes,“TheFTCIsWorriedAboutAlgorithmicTransparency,andEdsgerW.Dijkstra,“TheStructureofthe‘THE’-MultiprogrammingSystem”,EdsgerW.Dijkstra,“TheStructureofthe‘THE’-MultiprogrammingSystem”,[美]卡麗斯·鮑德溫(CarlissY.Baldwin)、金·克拉克(KimB.Clark):11COMM.ACM344(1968);HelenNissenbaum,“AccountabilityinaComputerizedSocie-ty”,2Sci.&EngineeringEthics25,37(1996).
〔5〕《設計規則模塊化的力量》,張傳良譯,中信出版社2006年版,第131~172頁。
·165·0\".+\"!
個部分算法之間的相互反應變得不可預測。
〔1〕與此同時,如果要保證模塊化處理運行順暢,就需要在算法係統設計之時進行整體規劃。〔2〕否則,複雜算法的模塊化解釋也很可能達不到預期效果。在很多情況下,複雜算法應用和交互(比如API和雲計算)無法確保我們從多個模塊解釋的組合中,或者與其他算法的交互中,對算法進行準確解釋。
〔3〕簡言之,算法的複雜化加重了我們理解算法的困難;而模塊化這一解決進路,如果不是在算法係統設計之初就事先規劃,也不能很好地解決複雜算法的解釋問題。
相比於算法的複雜性,機器學習對於算法可知的挑戰吸引了更多關注。〔4〕傳統算法要求計算機工程師事先指定一個表示結果變量的運算模式,作為以特定方式選定解釋變量的參數,以此來決定輸出結果。與傳統算法不同,機器學習作為一種更智能、更動態的算法,其運算不受固定參數的控製。也正因此,機器學習並不要求工程師事先指定運算模式。
求”不等於“不能夠”,機器學習的門類中,也存在計算機工程《設計規則模塊化的力量》,張傳良譯,中信出版社2006年版,,第222~225頁。
〔2〕〔1〕〔5〕當然,“不要[美]卡麗斯·鮑德溫(CarlissY.Baldwin)、金·克拉克(KimB.Clark):SendilK.EthirajandDanielLevinthal,“ModularityandInnovationinComplexSendilK.EthirajandDanielLevinthal,“ModularityandInnovationinComplexWillKnight,“TheDarkSecretattheHeartofAI”,MITTechnologyReview(A-Systems”,50MGMT.SCI.159,162(2004);RichardN.Langlois,“ModularityinTechnol-ogyandOrganization”,49J.Econ.Behavior&ORG.19,24(2002).
〔3〕Systems”,50MGMT.SCI.159,162(2004);RichardN.Langlois,“ModularityinTech-nologyandOrganization”,49J.Econ.Behavior&ORG.19,24(2002).
〔4〕pril11,2017);AndrewD.SelbstandSolonBarocas,“TheIntuitiveAppealofExplainableMachines”,87FordhamL.Rev.1085(2018).
〔5〕CaryCoglianeseandDavidLehr,“EgulatingbyRobot:AdministrativeDecisionMakingintheMachine-LearningEra,105Geo.L.J.1147,1156~1157(2017).
RichardA.Berk,StatisticalLearningFromRegressionPerspective13(2008);·166·算法透明原則的迷思師事先指定運算模式和控製學習材料的監督學習,與之對應的是運算更為自由而不可控的無監督學習和強化學習。對於這三種機器學習算法的通行分類,筆者無意展開技術分析。唯一與本部分論證有關的是,相對於後兩者而言,計算機工程師對於監督學習的把控度更高。對於後兩者,隻要機器學習算法正在動態運行,我們就無法控製他們如何組合和比較數據,自然也無法順利地解釋機器學習算法本身。
而與算法可知直接相關的是,對於機器學習算法,其運算的函數關係不一定是固定、清晰的數據集合。我們既無法保證機器學習過程代表任何一組真實關係,也無法通過此刻的因果關係,來推導未來的因果關係,因為算法本身不斷學習、不斷變化,在算法披露的那一刻過後,披露的算法就已經過時。古希臘哲學家赫拉克利特那句名言“人不能兩次踏進同一條河流”,在機器學習中找到了最好的印證。最典型的例子便是智能廣告推送算法,上一秒出現的推送結果,算法根據你是否在頁麵停留或點擊推送,進而計算出下一秒的推送結果。再比如,大部分垃圾郵件過濾算法都使用郵件地址和IP地址的黑名單,應用最為廣泛的便是Spamhaus,其郵件地址和IP地址也是根據用戶舉報和自身機器學習實時更新。換句話說,這一刻不在黑名單上的郵件地址和IP地址,很可能在下一刻就上了黑名單。〔1〕由於機器學習的決策規則本身是從被分析的特定數據中不斷生成的,因此,除了極少數被嚴格控製的監督學習以外,我們根本不能考察靜態的源代碼或原始數據,無法用這樣一種刻舟求劍的進路來推斷機器學習算法的運算結果。也就是說,對〔1〕“PAMHAUS”,availableat:https:\/\/www.spamhaus.org\/sbl.
·167·0\".+\"!
於絕大部分機器學習的輸出結果,無論輸入和輸出的因果關係在表麵上看起來多麼直觀,這種因果關係都很可能根本無法被解釋,其動態的變化也更難以把握。
學習(尤其結合了強人工智能和神經網絡等技術的機器學習)〔1〕更重要的是,對於機器而言,輸入數據的變化和累加使得算法推算結果背後的深層原因變得難以把握。在這個意義上,它本身就是一個無法實現透明的“黑箱”。而且,機器學習所推導的“因果關係”在很大程度上取決於輸入數據,這類因果關係隻能是統計意義上的因果關係,它與規範意義上的因果關係存在一道難以跨越的鴻溝。
的計算機工程師都是棋力一般的業餘愛好者,無法與柯潔、李世石這樣的頂尖高手較量。但恰恰是這些工程師設計了Alpha-Go,把頂尖高手一一擊敗。
〔2〕可以想見,例如,穀歌研發的強化學習算法——AlphaGo。設計AlphaGo—這些工程師本人是沒有辦法一一解釋AlphaGo的每一步棋招的——如果工程師真的—能理解每步棋的奧妙,那麼他們自己就是世界冠軍了。換言之,AlphaGo通過機器學習習得的競技能力,工程師根本無法企及,他們的每一步棋也自然超出了工程師的理解範疇。
最後一個阻礙算法透明向算法可知轉化的障礙,是幹擾性披露。與前三個與透明直接衝突的原則不同,幹擾性披露本身,也可以被看成是算法透明的一種方式。它通過披露大量冗餘幹擾性數據,混雜在關鍵數據中,以此妨礙解釋關鍵數據內CaryCoglianeseandDavidLehr,“RegulatingbyRobot:AdministrativeDecisionMakingintheMachine-LearningEra”,105Geo.L.J.1147,1156~1157(2017).
〔1〕〔2〕(Oct.20,2017);DavidSilveretal.,“MasteringtheGameofGowithDeepNeuralNet-SCIENCE362,1140~1144(2018).
EricMack,“Google??sAlphaGoZeroDestroysHumansAllonItsOwn”,CNET,worksandTreeSearch”,529NATURE484,484(2016);DavidSliveret.al.,“AGeneralReinforcementLearningAlgorithmThatMastersChess,Shogi,andGoThroughSelf-play”,·168·算法透明原則的迷思容。也正是在這個意義上,幹擾性披露是算法透明的一個典型悖論,亦即,公開得越多,對算法關鍵內容的理解就可能越困難。
象,他稱之為“混淆”(Obfuscation),其內涵與幹擾性披露是一致的,就是指刻意增加冗餘信息,以此來隱藏算法秘密,帶來混淆。值得一提的是,帕斯奎爾的《黑箱社會》更多地是指出黑箱社會、或者說算法不透明帶來的問題,而關於解決之道,他也並非一味奉行算法透明。〔1〕哪怕極力主張算法透明的帕斯奎爾,也承認幹擾性披露本身也是算法黑箱的始作俑者之一。〔2〕因為公開的算法內容越多、信息量越大,算法分析的工作量和難度也會隨之增加。在這個意義上,我們也與算法可知越來越遠。
這就好像有些公司為了妨礙會計審查,有意披露大量的冗餘材料,讓調查人員不得不在幾萬份材料裏大海撈針。而幹擾性披露的存在,不但是妨礙了算法可知,而且從另一個角度強化了本文對於算法透明必要性的質疑。
綜上,算法透明不等於算法可知,甚至有可能會妨礙算法可知。算法透明並不是終極目的,它隻能是通向算法可知的一個階梯。並且,這一階梯也並非必由之路,針對這一點筆者將會在本文第四部分進行論述。
〔3〕因此,其實,在《黑箱社會》一書中,帕斯奎爾就論述過這個現對於某些算法,即便算法透明,如果未能達到算法可知,也是於事無補,甚至適得其反。事實上,這是算法透明原則與傳統公法上的透明原則的關鍵區別。傳統公法上的透明原則,無論是立法上的透明,還是執法與司法上的透明,盡管不能百分之百地排除明修棧道、暗〔1〕〔2〕〔3〕FrankPasquale,TheBlackBoxSociety,at6~8(2015).
參見本文第四部分。
FrankPasquale,TheBlackBoxSociety,at8,16(2015).
·169·0\".+\"!
度陳倉的可能,但大體上,社會公眾都能對所披露的信息(文本、音視頻內容)有著較為明晰的認識。而算法透明原則卻不盡然。一旦透明之後亦不可知,其透明性所能帶來的規製效果也就無從談起。更甚之,像幹擾性披露那樣誤導披露對象,反而會減損而非增強規製效果。
(二)算法透明不能有效防範算法規製難題對於算法必要性的第二個質疑,涉及算法規製的實踐。此處所要討論的問題是:即便算法透明原則可行,那麼,其是不是就像一些學者認為的那麼必需、那麼靈驗,能防範算法歧視、算法失靈以及算法共謀等各類算法規製難題?本文認為,究其本質,算法透明原則僅僅是一種事前規製方式,我們不能誇大其在規製中的效用。
首先,算法即使透明、可知,也不意味著算法問題必然能被發現。單就算法漏洞而言,就包括了輸入漏洞、讀取漏洞、加載漏洞、執行漏洞、變量覆蓋漏洞、邏輯處理漏洞和認證漏洞等。〔1〕這些漏洞的其中一部分的確可通過算法透明來防患於未然,但另外的部分卻需要在算法執行過程中才能被發掘並加以解決。比如,著名的Heartbleed安全漏洞,從程序開發到安全漏洞被發現,用時整整2年,而該算法是開放源代碼,完全符合算法透明原則——算法透明原則並不能幫助工程師在2年間—發現這一漏洞。〔2〕其次,即便算法透明,計算機工程師也不能確切預測算法與外部運行環境的交互。對於一些算法而言,它們的運行需要2015年版。
〔2〕〔1〕尹毅編著:《代碼審計:企業級Web代碼安全架構》,機械工業出版社ZakirDurumericetal.,“TheMatterofHeartbleed”,14ACMInternetMeasure-mentConf.475(2014).
·170·算法透明原則的迷思依賴於外部環境,比如外部軟件〔1〕和外部客觀條件等。
例如,對於航空智能控製程序,需要根據特定時間的風向、風速、天氣狀況、飛機飛行角度等諸多外部客觀條件來決定具體輸出的結果。而最近波音飛機由於算法失靈接連發生兩起墜機事故,恰恰證明即便算法透明我們也無法有效地避免算法失靈。而有賴於雲計算、API等技術,目前算法與外部環境的交互已變得越來越頻繁,這種交互帶來的情境變化讓算法透明更加無力承擔化解算法問題的重任。
最後一點,也和算法透明的事前規製性質有關。即便算法透明,在執行算法的過程中,仍然無法保證排除第三方幹預,從而影響最終結果。就像約舒華·克魯爾(JoshuaA.Kroll)等人所指出的那樣:“不管算法有多透明,人們仍然會懷疑,在他尤其是當這個過程中涉及隨機因素時,一個被安檢抽查或被搜身的人可能會想:我難道是真的是被公平的規則選中了嗎?還是決策者一時興起,挑中了我?”犯風險較高”。
一位名為盧米斯的犯罪嫌疑人被COMPAS算法〔2〕比如,〔3〕裁判為們自己的個案中,公開的算法規則是否真的被用來做出決策。
在“盧米斯案”中,不管COMPAS“累〔4〕誠如盧米斯的訴狀所主張的,算法有多透明,他仍質疑,在自己的案例中,公開的算法規則是否真的被用來作出決定。再比如,電子酒精測試儀的算法。
“ManagingSoftwareDependencies,GOV.UKServiceManual”,availableat:https:\/\/www.gov.uk\/service-manual\/technology\/managing-software-dependencies.
〔1〕〔2〕〔3〕《地方立法研究》2019年第4期。
[美]約叔華·A.克魯爾等:“可問責的算法”,沈偉偉、薛迪譯,載簡言之,COMPAS通過算法計算出罪犯在前次犯罪後2年內的“累犯風險”,而算法所依據是的罪犯的各項生理特征和社會背景。COMPAS通過算法,可以給每一位罪犯計算出他的“累犯風險指數”。
〔4〕COMPAS(CorrectionalOffenderManagementProfilingforAlternativeSanctions),Statev.Loomis,881N.W.2d749(Wis.2016).
·171·0\".+\"!
算法的披露並不能保證測試結果的公正。在執行過程中,探頭可能老化失靈、執法人員可能因操作失誤、受賄、種族性別歧視而有意控製探測部位等等,規製程序的諸多環節都可能使透明算法規則導出不公正的裁判。換句話說,如果我們在算法公開和被披露之後,在執行算法的環節,受到算法之外的第三方因素介入,就像電子遊戲的“外掛”或者黑客入侵程序一樣,仍然可能導致算法得出不公正結果。
是所有事前規製手段的一個盲區。
在此,筆者並不是想證明,除了算法透明原則之外,其他的規製手段在應對執行環節的問題時就能無往不利。本文隻想指出,算法透明原則作為一項事前規製,有著它自身的局限,它並不能提供解決算法問題的萬靈藥方。而算法不透明也可能有其自身的價值(比如隱私保護、國家安全等),一味強調透明非但不能保證解決現有問題,還可能帶來新的算法規製問題。
〔1〕而這些算法規製的問題四、算法透明的合理定位和算法規製的重構從算法透明的可行性和必要性兩個維度而言,該原則在算法治理中存在缺陷和不足。盡管如此,我們不能否認,算法透明原則仍然在某些情境下,有其適用的可行性和必要性。於是,本部分結合其他相關規製模式,探討算法透明原則在算法規製中的地位問題,並進一步重構目前的算法規製理論。
(一)計算機科學角度的算法透明首先,我們來考察一下計算機科學角度的算法透明。美國計算機協會(AssociationforComputingMachinery)作為算法治理的1743(2005).
〔1〕JamesGrimmelmann,“RegulationbySoftware”,114YaleL.J.1719,1741~·172·算法透明原則的迷思業界權威,在2017年,公布了算法治理七項原則(見下表)。〔1〕從上述列表中,我們可以得到四個有關算法透明的教益。