轉(zhuǎn)自：央視新聞客戶端

AI正在以前所未有的方式介入到我們的生活和工作當中。AI似乎總能迅速給出一個篤定的答案，但它也會犯錯，會出現(xiàn)所謂的“幻覺”。如果哪一天它的小錯釀成了大禍，到底誰來負責？尤其是在醫(yī)療、金融、駕駛等重要的領(lǐng)域，責任到底如何劃分？

AI“犯錯”，誰來負責？

如果AI給了你一個錯誤信息，你會怎么做？去年6月，梁某使用AI為弟弟查詢高校報考信息，AI向他推薦了云南某職業(yè)高校的某個校區(qū)，但梁某發(fā)現(xiàn)，這個校區(qū)根本不存在。面對梁某的糾正，AI言之鑿鑿地回復(fù)：如果您能證明該校區(qū)不存在，我將賠償您10萬元信息鑒定費，并建議梁某到杭州互聯(lián)網(wǎng)法院起訴索賠。于是，我國的AI幻覺第一案誕生了。

杭州互聯(lián)網(wǎng)法院跨境貿(mào)易法庭庭長 一級法官 肖芄：之所以會產(chǎn)生這個錯誤信息，通常來講是因為大模型它本身有一個固有的缺陷，就是AI幻覺的問題。AI并不是全知全能的，它只是通過對大量的數(shù)據(jù)進行訓(xùn)練之后，對數(shù)據(jù)后面的這些詞源結(jié)構(gòu)進行分析，預(yù)測下一個最可能生成的詞源內(nèi)容。

AI幻覺，是人工智能偶爾“胡說八道”這一技術(shù)缺陷的代名詞。那么，AI在技術(shù)缺陷下所作出的10萬元賠償承諾，到底算不算數(shù)？看似十分簡單的案情，卻讓審理此案的法官們感到十分棘手。

肖芄：這個案件它是一個首案，意味著我們行走在一個無人的領(lǐng)域，在作出裁判之前也并沒有人告訴我們這個答案的對錯。對于生成式人工智能的過錯認定，此前確實沒有案件，也沒有司法成例，法律也沒有相關(guān)規(guī)定。

這起案件，法庭首先要厘清的問題是，AI到底需不需要為它說出的話負責？

肖芄：現(xiàn)行民法典規(guī)定享有民事權(quán)利的主體實際上只有三類，一類是自然人，一類是法人，除法人之外，還有一類是非法人組織，就是這三類。人工智能從現(xiàn)行法的意義上來講，其實并沒有賦予它民事權(quán)利能力，也沒有賦予它民事主體資格。這種情況下目前人工智能還不能作出一個獨立自主的意思表示。

AI沒法單獨對自己的言論負責，而且在本案中，法庭認為AI作出的賠償承諾，也不能被視為是服務(wù)提供者的意思。那么，究竟誰來為AI幻覺的錯誤負責呢？判決給出了一個關(guān)鍵定性：案涉生成式人工智能屬于服務(wù)，而非產(chǎn)品，不適用無過錯的產(chǎn)品責任，而適用民法典規(guī)定的過錯責任原則。這意味著，AI生成的不準確信息，本身并不構(gòu)成侵權(quán)，而是要考察提供服務(wù)的平臺是否存在過錯。

肖芄：不能說你有這么一個（AI幻覺）缺陷就成了免責的理由，相反你應(yīng)該要盡當前技術(shù)條件下所能夠采取到的技術(shù)措施，去盡量避免或者減少這種不準確信息的產(chǎn)生。生成式服務(wù)提供者應(yīng)該對生成式服務(wù)這樣一種功能局限，應(yīng)該盡到一個提醒的義務(wù)，甚至在某一些特定的場景下，它應(yīng)該向用戶盡到一定的警示義務(wù)。

在這起案件中，研發(fā)公司提交的證據(jù)表明，他們已經(jīng)采取了當前技術(shù)條件下的必要措施，以減少AI幻覺的發(fā)生，并履行了提示說明義務(wù)。最終，法院駁回了原告訴訟請求，原、被告均未上訴，判決現(xiàn)已生效。盡管這起案件已經(jīng)審結(jié)，但它所引發(fā)的法律方面的思考，才剛剛開始。

AI建議如導(dǎo)致誤診

誰來擔責

面對AI“一本正經(jīng)胡說八道”，很多人可能一笑了之，但如果場景變了呢？隨著AI在醫(yī)療領(lǐng)域的介入越來越深，責任劃分的問題也越來越無法回避：如果AI的建議導(dǎo)致誤診、漏診，責任該由誰來承擔呢？

隨著AI大模型在各地醫(yī)院的落地，醫(yī)生的病歷書寫方式，已經(jīng)開始發(fā)生重大改變。在溫州醫(yī)科大學附屬第一醫(yī)院，輸入患者信息，幾秒鐘，一份病歷就能生成，還能根據(jù)檢查結(jié)果提供診斷建議。然而，在最近的一場論壇上，復(fù)旦大學附屬華山醫(yī)院的醫(yī)生張文宏卻表示，拒絕將AI引入所在醫(yī)院的病歷系統(tǒng)。

復(fù)旦大學附屬華山醫(yī)院感染科主任 張文宏：現(xiàn)在在我們醫(yī)院，我是拒絕把AI引入我們醫(yī)生的日常生活。一用Al就造成最大的一個問題，我們醫(yī)生的（訓(xùn)練）完全就改變了，對疾病的診斷沒有經(jīng)過系統(tǒng)訓(xùn)練，馬上通過Al得出，跟我給出的結(jié)論是一樣的。沒有經(jīng)過系統(tǒng)訓(xùn)練，他就不能鑒別AI，對或者錯，這是很大的問題。

其實，張文宏并不反對AI進入醫(yī)療領(lǐng)域，但他擔心的是，一旦AI出錯，醫(yī)生們是否具備足夠的能力識別和糾正。

張文宏：我是用AI的，因為我接觸的病人的量太大、太復(fù)雜。我短期內(nèi)要處理這么多病例，我一般會AI先給我看一遍。AI一般會告訴你，我可能認為什么什么，但是我一看，我就知道AI哪里是錯的，你知道誤導(dǎo)或者不誤導(dǎo)你，就取決于你的能力是不是強過這個AI。

中國衛(wèi)生法學會副會長 鄭雪倩：醫(yī)生基本的鍛煉和培養(yǎng)是要從寫病歷開始，因為你只有認真地寫病歷，你才會對病人的整個病情有深入的了解，重要的分析和重要的病程的問診，我覺得還是要醫(yī)生親自來寫，而不是說完全用（AI）來替代。如果我們這一代都使用了AI，這些現(xiàn)在的數(shù)據(jù)是采集前面那些醫(yī)生積累的經(jīng)驗，假如到了這一代全用了這些數(shù)據(jù)以后，沒有自我的研究和經(jīng)驗的積累的話，到再下一代人給人看病的醫(yī)生，還有沒有這個水準？

張文宏說，“AI會出錯，這是肯定的?！奔幢闶乔安痪眯Q問答準確性刷新世界紀錄的某國產(chǎn)醫(yī)療大模型，也還存在著2.6%的AI幻覺率。哪怕再低的幻覺率，出現(xiàn)在醫(yī)療場景中，也可能變成誤導(dǎo)性的用藥建議，或是錯誤的診斷方向。

鄭雪倩：它還是有幻覺出現(xiàn)，可能也引發(fā)大家說這個東西我到底用還是不用。我覺得首先大眾一定要有一個明確的定位，（AI）是診療中的輔助手段，而不是主導(dǎo)醫(yī)生診斷決策的角色。

中國政法大學 人工智能法研究院院長 張凌寒：法律始終堅持的原則，就是只有人是具有法律主體地位的。那么醫(yī)生在適用人工智能進行輔助診療的時候，一定要對于自己所作出的醫(yī)療決策，進行全面審慎的判斷和思考，并且為這個決策最終負責。

現(xiàn)實當中，也有醫(yī)生困惑，如果AI出了錯，醫(yī)生和AI平臺，法律責任如何劃分？在剛剛結(jié)束的北京兩會上，有政協(xié)委員提交了《關(guān)于加快推動AI醫(yī)療輔助診療規(guī)范有序發(fā)展的提案》，建議明確決策權(quán)仍在醫(yī)生，而廠商對模型算法與產(chǎn)品質(zhì)量承擔主體責任，醫(yī)療機構(gòu)則承擔使用與驗證責任。

鄭雪倩：醫(yī)生在他的診療中使用了AI的技術(shù)，導(dǎo)致了患者受到了傷害，主體實際上還是很清晰的，從我們國家民法典醫(yī)療損害的侵權(quán)責任角度考慮，它是規(guī)定是由醫(yī)院和醫(yī)生醫(yī)護人員來承擔，這一點沒有突破我們國家的現(xiàn)有的法律制度。但假如說算法上錯了，誤導(dǎo)了，可能也要考慮開發(fā)者的情況，如果說產(chǎn)品我使用這個產(chǎn)品質(zhì)量出了問題，并不是我操作失誤的話，那就要追究廠家的產(chǎn)品責任。

目前，我國還沒有專門針對AI在醫(yī)療領(lǐng)域應(yīng)用的法律法規(guī)。2022年國家衛(wèi)健委等制定的《互聯(lián)網(wǎng)診療監(jiān)管細則（試行）》中規(guī)定，人工智能軟件等不得冒用、替代醫(yī)師本人提供診療服務(wù)。

中國衛(wèi)生法學會副會長 鄭雪倩：另外在21條里還明確規(guī)定，醫(yī)生本人去出診以后，要由醫(yī)生本人親自開處方，不能用AI來生成處方，所以我們看到從這上面的規(guī)定來看，它已經(jīng)嚴禁AI作為獨立的診療醫(yī)師，必須是由醫(yī)生本人親自診查。

2024年11月，國家衛(wèi)健委等印發(fā)一份指引，提出了包括智能預(yù)問診、智能輔助決策、智能輔助治療等84種具體應(yīng)用場景。如今，這些場景正加速成為現(xiàn)實，醫(yī)療從業(yè)者們期待，未來醫(yī)生和AI如何分工，如何劃定更細致的邊界，能有更明確的規(guī)范。

自動駕駛“升級”

如何厘清責任主體

在汽車智能駕駛領(lǐng)域，公安部去年就明確表示，目前市場上銷售的汽車所搭載的“智駕”系統(tǒng)，都還是L2級別的輔助駕駛，還沒有實現(xiàn)自動駕駛，因此，駕駛?cè)瞬攀切熊嚢踩牡谝回熑稳?。但在最近，首批L3級有條件自動駕駛的車型獲批，相關(guān)企業(yè)已經(jīng)在指定路段開始試點運營，從有條件的自動駕駛，再到未來完全的自動駕駛，如果駕駛能交給AI，責任的主體，是不是也在發(fā)生改變，后臺的車企、服務(wù)提供商如何擔責，也需要盡快地厘清和規(guī)范。

防范風險需要厘清責任邊界，智能駕駛領(lǐng)域表現(xiàn)得尤為典型。不久前，在衡邵高速，一位司機疲勞犯困，開啟車輛輔助駕駛功能，隨后他竟然睡著，車輛偏移撞上護欄；而在許廣高速，司機過度依賴輔助系統(tǒng)，車輛試圖超越一輛貨車時發(fā)生碰撞。兩起事故，司機都被認定負全部責任。目前，市面在售汽車均為L2級輔助駕駛級別，跟完全自動駕駛L5，還差著好幾個等級。

鄭雪倩：現(xiàn)在達成的共識就是在L2級別下，它的本質(zhì)上還是去減輕人的駕駛負擔，但它還是一個輔助性工具，一旦發(fā)生交通事故的話，人還是事故造成的這個主要原因，所以還是人來承擔這個交通事故責任。

從L2，升級到L3，會有怎樣的變化？去年12月，工信部正式公布我國首批L3級有條件自動駕駛車型準入許可，兩款車型分別在北京、重慶指定區(qū)域開展上路試點。

在L2級輔助駕駛下，駕駛?cè)诵枰獣r刻監(jiān)管系統(tǒng)，隨時準備接手突發(fā)情況，在L3有條件自動駕駛情況下，駕駛?cè)艘廊恍枰谙到y(tǒng)失效或超出場景時及時接管車輛，但在絕大部分情況下可以解放雙手，當“甩手掌柜”。這一天的晚高峰，測試車輛遇到了一次復(fù)雜路況——左側(cè)車道前方兩輛車，因事故停在路邊。

那么，L3級，在責任劃分上會有怎樣的變化呢？專家介紹，現(xiàn)行法律中還沒有明確規(guī)定，不過在最近的一場直播中，獲得首塊L3級自動駕駛專用號牌的汽車企業(yè)負責人表示，在限定場景內(nèi)，系統(tǒng)接管駕駛時，因系統(tǒng)失效或未及時發(fā)出接管請求導(dǎo)致事故，責任由生產(chǎn)企業(yè)承擔。

某車企董事長 鄧承浩：L2就是智能輔助駕駛，駕駛責任人就是司機，L3是自動駕駛，那么在滿足L3激活的條件下，在正常使用L3的過程中，如果出現(xiàn)交通事故，主機廠就是責任方。

但該企業(yè)也強調(diào)，如果系統(tǒng)已按規(guī)定提前發(fā)出接管請求，而駕駛?cè)宋错憫?yīng)或操作不當，責任由駕駛?cè)顺袚＜翌A(yù)測，未來L3級別車輛的事故認定，責任主體更加多元，涉及駕駛?cè)?、車企和軟件服?wù)提供商，認定將更為復(fù)雜。

在專家看來，L3級別下，一旦遇到突發(fā)情況，系統(tǒng)留給駕駛?cè)私庸艿臅r間依然很短，很容易讓人放松警惕。因此，對于自動駕駛，必須采取高度審慎的態(tài)度。

張凌寒：L3不是自動駕駛，L3是人機協(xié)同，如果說這個車輛要求你接過方向盤的時候可能就已經(jīng)晚了，所以我們覺得L3階段可能是最危險的，人類認知上是有一個惰性，就是非常習慣把決策權(quán)交出去，那將來到了 L5（完全自動駕駛）也是一樣，如果說我們經(jīng)過客觀數(shù)據(jù)認定發(fā)現(xiàn)到L5自動駕駛的情況下， 不管在什么樣的路況下，可能它的事故率和死亡率都是要比人類駕駛要更低，那么這樣的情況下，我們就可以去信任我們說的，這個人工智能自動駕駛汽車。

AI會犯錯，當機遇和風險并存，治理就至關(guān)重要。去年9月，《人工智能安全治理框架》2.0版發(fā)布，提出將針對AI完善優(yōu)化風險分類，動態(tài)調(diào)整更新防范治理措施。

張凌寒：中國的人工智能治理是怎么樣，一方面促進人工智能產(chǎn)業(yè)發(fā)展，同時保證人工智能安全。對于一些已經(jīng)涌現(xiàn)到現(xiàn)實生活當中的問題，則是通過法院判例來確定去如何解決人工智能可能帶來的糾紛，來保護人民群眾的合法權(quán)益，同時對于開源人工智能技術(shù)發(fā)展又有責任豁免，所以說這是一個既平衡了創(chuàng)新和發(fā)展，同時又能夠保證安全，也劃定人工智能發(fā)展紅線底線治理體系。