中國工程院院士沈昌祥：完全消除大模型“幻覺”等安全風險較難實現 需強化構建數字經濟主動免疫保障體系

每經記者｜石雨昕    每經編輯｜陳旭    

中國工程院院士沈昌祥長期從事計算機信息系統、信息安全體系結構、系統軟件安全、網絡安全等方面的研究工作，有豐富經驗和成果。目前擔任中央網信辦專家咨詢委顧問、國家集成電路產業發展專家組成員等職。

近年來，全球重大網絡安全事件頻發，勒索軟件、數據泄露、黑客攻擊等層出不窮，且變得更具危害性。與此同時，大數據、云計算、人工智能等信息技術廣泛應用在隱私保護、數據安全等方面，也帶來了新的風險和挑戰。

2024年8月21日，中共中央辦公廳、國務院辦公廳印發《關于完善市場準入制度的意見》，其中明確提出要優化新業態新領域市場準入環境，聚焦人工智能、自主可信計算、信息安全等新業態新領域，推動生產要素創新性配置，提高準入效率。要實施前沿技術領域創新成果應用轉化市場準入環境建設行動，率先推動海陸空全空間智能無人體系應用和標準建設，加快構建綠色能源等領域準入政策體系，積極擴大數字產品市場準入。

隨著數字化轉型深入推進，如何讓更多人共享數字時代的便捷和紅利，同時解決好數據安全和隱私保護問題？在《每日經濟新聞》創刊20周年之際，圍繞相關問題，沈昌祥院士接受了《每日經濟新聞》記者（以下簡稱NBD）的專訪。

人工智能應用引發的安全風險已引起全球關注

NBD：大數據時代下，大模型應用越來越廣泛，在提高生產力的同時，在安全方面帶來了哪些挑戰？您認為隨著技術發展，這些問題能徹底解決嗎？對此應該持有什么樣的態度？

沈昌祥：首先需要明確一點，當前很多人對大數據的理解可能存在誤區，認為大數據就是海量數據，這并不準確。

實際上，大數據不僅是指數據的海量性，而且是指那些無法用現有軟件工具處理的復雜數據集。如果數據能夠被現有的數據庫處理，或者能夠通過軟件工具進行挖掘、開發和模型構建，那么這些數據并不屬于大數據的范疇。

我們可以將大數據類比為鉆石礦，本質是礦源，礦源必須經過開采和冶煉，才能轉變為大模型參數。大模型是基于大數據的半成品，為了得到大模型，需要進行學習模型的訓練，最終目的是產生人工智能（AI）產品，從而促進社會的數智化。

但是，大模型應用帶來的風險也不可忽略。大模型本質上屬于深度學習，但在參數的數量上要比深度學習高幾個數量級，比如GPT-4（OpenAI為聊天機器人ChatGPT發布的語言模型）的參數規模已經高達1.8萬億。因此，大模型在全面拓展深度學習算法模型能力的同時，也放大了已有的AI安全問題。

最為關鍵的是，大模型繼承了深度學習模型的“黑盒子”特性，再加上高達百億或千億的復雜參數與神經網絡結構，其內部決策與推理過程常常難以解釋，因此埋下了極大的風險隱患。

目前，常見的大模型可能引發的安全風險問題包括隱私信息泄露、侵權問題、可信與倫理問題、被用于惡意目的或攻擊等，其中，“幻覺”、偏見和違反當地法律法規及違背風俗習慣、價值觀等問題最難以察覺。

我們可以看到，當前，人工智能的應用所引發的安全風險，已經引起全球對生成式AI倫理和安全問題的高度關注。比如與中國《生成式人工智能服務管理辦法（征求意見稿）》征求意見幾乎同一時期，美國商務部也就相關問責措施正式公開征求意見，包括新人工智能模型在發布前是否應經過認證程序、建立人工智能模型可信度、建立合法性和道德準則相關審查制度等。

隨著技術的發展，我們期望能夠減少大模型出現“幻覺”、偏見等問題的頻次，提高可信度，但是完全消除這些風險是不太可能的，因為安全可信始終是相對的，而不是絕對的。即便實現產品本身安全可信也還是不夠的，人在使用新技術新產品過程中的倫理道德也需要強化，因此，加強網絡社會治理極為關鍵，要制定并完善相關法律法規，做好社會層面的保障和服務，確保網絡空間的安全和秩序。

NBD：最新數據顯示，我國網民規模近11億人，互聯網普及率達78.0%，在數字經濟時代，數據作為核心生產要素，數據泄露風險和隱私保護問題成為不容忽視的問題。您認為如何應對個人隱私泄露等安全問題？

沈昌祥：從技術層面來看，可信計算技術廣泛應用于國家重要信息系統，例如增值稅防偽、彩票防偽、二代居民身份證安全系統等領域，在數據安全與隱私保護層面，可信計算技術可以通過實施端到端的加密策略、嚴格的完整性驗證機制以及精細化的訪問控制體系，構建一個全方位動態免疫的數據防護網。

此外，可信計算技術通過構建可信云環境和實施邊緣設備的安全管理，提升云計算服務的可信性，以保障用戶數據與業務的安全。

但是，隱私保護是系統工程，除了技術，更要從法律層面、治理層面、經營層面來加以解決。

首先，國家要有法律保障，科學合理制定個人隱私保護原則，從國家層面建立這樣的保護體系來解決好個人隱私泄露及個人隱私安全保護的問題。其實技術本身是沒有好壞之分的，但是使用者道德意識是有區別的，需要從法律層面來約束違法行為。

其次，現在很多重要的個人隱私泄露，主要是企業運行者記錄個人身份信息所形成的，有大量個人信息存儲在企業端，尤其是在數據收集和使用方面，企業需要找到個人權益保護的方法。但是目前這方面我們還需要不斷探索完善，要先解決好諸如數據權利歸屬難以認定和劃分等關鍵問題。

要構建數字經濟主動免疫保障體系

NBD：近年來，我們面臨來自網絡空間的風險更加復雜，二維碼網絡釣魚攻擊、勒索軟件攻擊等持續成為威脅，在您看來，應對網絡安全問題的關鍵是什么？

沈昌祥：計算機網絡所面臨的威脅大體可分為對網絡中信息受到的威脅和對網絡中設備受到的威脅。

舉例來說，操作員安全配置不當造成的安全可靠缺陷等會對網絡設備安全帶來威脅，但更為嚴峻的人為惡意攻擊，即蓄意破壞以謀取利益的行為，這種有針對性的攻擊遍布網絡每個角落，對安全構成極大挑戰。此類攻擊又可以分為被動攻擊和主動攻擊，在討論網絡安全時，人們通常關注故障性安全，但往往忽略了系統人為攻擊的嚴重性。

事實上，真正的挑戰不僅僅在于黑客攻擊、病毒入侵或系統漏洞這些表面現象，根本問題在于計算科學缺少攻防理念、體系結構缺防護部件、重大工程應用缺乏安全服務這三大問題，本質還是計算原理的基礎科學技術問題。

具體而言，圖靈計算原理在奠定現代計算基礎的同時，其設計之初并未融入攻防理念，導致后續構建體系結構的過程中，在追求計算效率與功能集成的同時，缺乏內置的安全防護機體。

由此可以看到，一方面，傳統網絡安全系統主要是由防火墻、入侵監測和病毒查殺打補丁等組成，這種“封堵查殺”的模式難以應對人為攻擊，且容易被攻擊者利用。

另一方面，隨著科技的進步，尤其是機器人技術、仿生學以及人工智能的迅猛發展，這種技術進步的加速并未自然伴隨安全性的同步提升，反而因技術的廣泛應用與深入滲透，使得潛在的安全風險成為滅絕風險。

基于這一背景，我認為關鍵是要構建數字經濟主動免疫保障體系，打造安全可信的產業生態。

一方面，信息系統和人體一樣，比如人患了癌癥，可能手術后沒有病癥了，但免疫系統仍有排異反應，因此需要從被動防御轉為“主動免疫”，從而實現安全可控。主動免疫的原理是在計算的同時進行安全防護，并增加可信密碼模塊、可信控制平臺等形成免疫系統。

另一方面，安全可信就相當于建立起人體免疫系統，能動態實時全方位地進行可信驗證，使得存在的缺陷以及漏洞不至于被攻擊者所利用。因此需要按照國家網絡安全法規、戰略和等級保護制度要求，推廣安全可信產品和服務，要全面采用自主可信計算的網絡產品和服務。

此外，即便產品和服務都具備基本的免疫能力，安全可信，但充分的社會保障和服務體系對提升整體免疫力同樣不可或缺。其中，要加快健全完善適應新形勢的法律法規體系，制定一批社會急需的條例及規章制度，例如修訂和完善網絡隱私保護、信息內容安全、打擊網絡犯罪等法律制度。

NBD：當前我國可信計算體系發展如何？未來要達到哪些目標？

沈昌祥：世界可信計算演進可以分為三個階段。

在可信1.0階段，該技術聚焦于提升主機的可靠性，主要面向計算機部件，通過冗余備份的結構設計和容錯算法的形態應用，有效增強了系統的故障診查與容錯能力。

隨后，可信計算邁入2.0時代，其關注點轉向PC單機節點的安全性，采用功能模塊化的結構設計，以被動度量的機理為核心，通過可信平臺模塊（TPM）與可信軟件棧（TSS）的結合，實現安全性的初步提升，但串行掛接TPM仍面臨側信道攻擊的威脅，曾發生的事件影響了全球數十億節點的安全。

而目前是以中國為代表的自主可信計算即可信計算3.0時代。相較于國外可信計算被動調用的外掛式體系結構，我國可信計算革命性地開創了自主密碼為基礎、控制芯片為支柱、雙融主板為平臺、可信軟件為核心、可信連接為紐帶、策略管控成體系、安全可信保應用的全新的可信計算體系結構框架。

可信計算3.0經過長期攻關、滾動發展，已經形成了安全可信的系列產品和服務，比如具備可信計算功能的國產CPU（中央處理器）、可信BMC（基板管理控制器,）和智能安全卡，具備可信計算3.0技術的設備等，為構建高等級防護的關鍵信息基礎設施防護打下了物質基礎。

需要注意的是，在整個過程中，一定要對最終的系統擁有自主知識產權，保護好自主創新的知識產權及其安全。

我認為未來構建安全可信保障體系要達到“六不”效果的生態：第一是攻擊者進不去；第二是即使混入了，也無法獲取信息；第三是拿到了信息也看不懂，因為信息是加密的，無法理解其內容；第四是無法進行篡改，勒索無效；第五是即使出現了故障問題，也能及時發現并處理，防止系統崩潰；第六是行為都審計記錄在案，即具有不可抵賴性。