“可信”对话信通院陈俊琰：可信AI的五大趋势和四大挑战

今天，很高兴为大家分享来自C114通信网的对话信通院陈俊琰：可信AI的五大趋势和四大挑战，如果您对对话信通院陈俊琰：可信AI的五大趋势和四大挑战感兴趣，请往下看。

C114讯 1月11日消息（安迪）当前，人工智能技术持续加快演进，深刻改变着人们的生产生活方式。随之而来的数据隐私、算法歧视、安全风险等人工智能治理问题也引起各方的共同关注。发展可信AI，已经成为全球共识，更是人工智能发展的必由之路。

那么，可信AI需要包含哪些可信要素？可信AI面临哪些新的发展趋势和挑战？业界在可信AI方面又有哪些成功实践呢？对此，中国信息通信研究院华东分院人工智能与大数据事业部主任陈俊琰在接受C114专访时为我们进行了详细解读。

五大趋势

在陈俊琰看来，人工智能产业在发展运行过程中遇到诸多风险与隐患：一是算法安全导致的应用风险；二是黑箱模型导致算法不透明；三是数据歧视导致智能决策偏见；四是系统决策复杂导致责任事故主体难以界定；五是数据滥用导致隐私泄露风险。

“基于上述风险与隐患，可信人工智能至少应当包含安全性、可解释、隐私保护、可靠性、负责任等多方面要素。”陈俊琰指出，随着可信实践的逐步深入，业界对可信AI的认识也在不断变化，近年来更加强调“人类对可信AI认识及素养的提升”以及“对提升AI可信度的可持续性工具的提出”，进而从技术与工程的角度，落实伦理治理要求，实现创新发展和风险治理的有效平衡。当前，可信AI技术和产业正呈现以下五大发展趋势：

趋势1：形成产业共识，由各自表述向统一理念迈进。世界各国已针对可信人工智能内涵及侧重点逐步达成统一意见，并已针对透明度、隐私保护、公平等方面形成了初步共识，进而迈入了形成统一理念的新发展阶段。随着可信AI在更多领域的持续落地，理念与实践间将形成良性互动，以可信理念指导产业实践落地，用产业实践不断丰富可信内涵，从而进一步巩固统一的产业共识。

趋势2：突出理念落地，由抽象概念向具体实践发展。目前，可信AI正处于由抽象学术概念向产业实践加速落地的关键时期，产业主体正在由以理论界为主向产业界落地为主转变，产出形态由论文为主向产品服务为主转变，专利数量持续增长，并已经形成了一批可见可用的产业成果，诞生了一批代表性企业。未来，可信AI理念将更深层次地与AI产业链各环节结合，与元宇宙、人工智能生成内容等新技术、新业态互相促进，并在AI场景和产品中得到更加广泛的体现。

趋势3：注重动态平衡，由单一维度向综合框架转变。可信AI中的可解释、稳定性、隐私保护等要素之间存在协同与平衡的关系，这就要求可信AI的实现与衡量不能以单一要素为决定因素，而应结合实际应用需求，寻求最优的平衡效果。因此，可信AI的一体化研究将是未来重要趋势，从单一维度研究逐步过渡到关注各项可信能力之间的相互作用及其影响，使之具有较强的综合性和整体性，实现各项可信能力之间的动态平衡，以综合可信框架促进产业协调健康发展。

趋势4：优化技术布局，由前期研究向更深层次探索。可解释性方面，如何通俗易懂地向用户解释人工智能技术原理、算法自动决策机制、潜在风险及防范措施成为首要任务，并希望以此消除社会公众对新一代人工智能技术的疑惑和担忧。公平性方面还需要为现有的公平性定义提供更强的条件，进一步拓宽公平性覆盖面，涵盖现有问题中没有考虑到的歧视，同时合理松弛以提高预测模型准确度。隐私保护方面，进一步推进分级分类，特别是针对人脸、指纹等敏感数据，如何在便捷地实现尽可能高的识别准确率的同时提升隐私保护性能。安全性（鲁棒性）方面，当前可验证鲁棒性的理论和实践存在较大落差，如何把一些外部知识交给机器学习模型来帮助其提高防御能力成为一个有前景的研究方向。

趋势5：融合多元主体，由产学研向社会大众拓展。随着社会认知的深入，可信人工智能参与主体将进一步丰富，产业链多主体、多要素协调互动。在《网络安全法》、《数据安全法》、《个人信息保护法》等法律法规框架下，深圳、上海、北京等地加快推动人工智能立法，建立公共场所人工智能分级分类应用规范，形成具有地方特色的可信人工智能治理体系。行业协会、联盟和研究机构发挥积极作用，联合行业企业围绕先行领域制定和发布行业标准，在安全性、可靠性等领域已经取得了一些成果供落地实施进行参考。“人脸识别第一案”等引发社会关注，人民群众对可信人工智能的了解和需求增加，参与程度大幅提升，从需求层面倒逼可信人工智能发展。

四大挑战，五方面建议

基于可信AI最新发展趋势，陈俊琰认为，当前可信AI的发展正面临以下四大挑战：

挑战1：当前可信人工智能政策法规更偏向理念指引，顶层设计还不完善，政策法规间没有形成完整、协调的体系关系，在模型权属、风险责任主体、结果公平等方面还需要予以明确。

挑战2：针对可信人工智能技术的前瞻性研究与布局略显不足，尤其是在分布式计算、联邦学习、隐私计算等细分领域缺少完善可信的开源学习框架。在算法公平性、可靠性、隐私数据分级分类、可验证鲁棒性的等方面仍需进一步优化技术水平。

挑战3：针对可信人工智能产品及服务尚缺少成熟完善的认定标准体系，在产品与服务商能力评估、评测、治理、监管等方面缺乏能够敏捷响应、动态高效的认证机制，从而无法系统性解决可信人工智能落地难的问题。

挑战4：产业界尤其是社会公众对可信人工智能理念、意识及重要性仍然缺少必要的认识，对人工智能产业发展前景与局限性，以及可能造成的风险隐患还是缺少深入的了解，在可信人工智能领域技术交流、成果发布、渠道对接、资源整合方面仍需进一步加强。

为此，陈俊琰对于可信AI未来发展提出以下五方面建议：

一是加强政策法规协同，协调制度、技术、人员整体推进。围绕政策法规体系完善、指南规范指引路径、从业人员可信理念培育，形成合理协同推进可信人工智能产业化落地。针对当前可信人工智能政策法规顶层设计不完善、缺乏完整协调的体系关系以及在模型权属、风险责任主体、结果公平等方面的诸多问题，亟需制定形成人工智能企业规范化发展指南，为企业提升可信人工智能技术、将AI向善贯穿于人工智能企业业务全流程提供方法论指引，帮助企业更好地实践可信。此外，要注重从业人员可信理念培育，不断增强人工智能从业者可信认识，形成自觉践行可信人工智能理念的良好氛围，以制度、技术和人员协同加快可信人工智能产业化落地进程。

二是前瞻布局技术研究，以技术创新带动可信持续发展。前瞻布局可信开源学习框架，探索通用人工智能可信研究，强化代码可视化，持续优化现有技术，实现技术驱动的可持续创新。针对分布式计算、联邦学习、隐私计算等细分技术领域，不断建立完善可信开源学习框架，探索通用人工智能甚至是超级智能的可信研究。进一步强化代码可视化，加快推广集成了OCR、NLP等人工智能能力的低代码平台，为用户提供一体化的智能服务能力，提升开发效率。围绕可解释的人机交互、提供更强的公平性定义、提供公平且可靠的算法、隐私数据分级分类、可验证鲁棒性等方面，持续优化技术，实现可信能力之间的均衡协调。

三是健全标准评估体系，系统性推进更多领域可信落地。构建创新治理闭环，以标准提升可信人工智能规范化程度，以评估、测试、认证体系建设加快应用和产品落地。首先，构建完善的产品标准及评估体系，确立“可信的人工智能”产品与服务标准，提升对可信产品的认可度，并为可信产品和服务供应商提供能力评估，从而加快推动可信人工智能的落地。其次，分领域分阶段推进测试认证机制，发展可信人工智能评估评测及认证等监管技术，形成从理论原则、法律法规、合规增强技术、评估评测及认证的治理创新闭环；在医疗健康、自动驾驶、公共服务等领域分阶段推进研究能够适应场景特性、敏捷响应、动态的认证机制，系统性解决可信人工智能落地难的问题。

四是强化可信流程管理，将可信理念融入系统原生设计。运用可信理念重塑流程管理新能力、新形态，将人工智能可信融入系统原生设计，确保产品的可信品质。在《可信AI操作指引》等的基础上，面向业务数字化转型需求和生产研发实际，将可信理念融入流程发现、流程监控、流程优化、流程管理等各个环节，塑造形成全新的流程管理能力。同时，将人工智能可信融入系统原生设计，在人工智能应用系统建设过程中，将人工智能可信作为基础能力及要求纳入其设计范畴，以弹性适应未来人工智能安全的问题及挑战，以更加丰富的技术手段适配人工智能系统的不同发展阶段、不同应用要求、不同风险强度，为人工智能的可信应用保驾护航。

五是推动产业交流合作，共同打造可信产业生态朋友圈。加强国内外沟通合作，共建人工智能产业国际可信机制，做好宣传引导，增进社会公众的可信人工智能意识。进一步发挥行业组织和高水平专业平台作用，为可信人工智能企业和从业者提供技术交流、成果发布、资源对接的渠道，聚集行业各方力量共同打造可信人工智能生态圈。积极开展国际交流和技术合作，从人工智能系统测试和管控、危机沟通渠道等方面着手，主动参与国际人工智能治理，共建人工智能产业国际可信机制。加强对可信人工智能的宣传，通过对可信人工智能理念、典型案例的宣传和引导，增进社会公众对可信人工智能的认识了解，提高民众对人工智能潜能、挑战和局限性的认识，为可信人工智能产业发展营造良好的社会环境。

探索成功路径和实践

而事实上，近两年业界在可信AI方面已经进行了诸多路径的探索和实践。

立法方面，上海市于2021年12月、2022年9月和2022年11月先后发布《上海市智能网联汽车测试与应用管理办法》、《上海市促进人工智能产业发展条例》和《上海市浦东新区促进无驾驶人智能网联汽车创新应用规定》，强调了人工智能算法可信、伦理道德、治理与监管等方面，并针对智能网联汽车领域技术标准、数据安全与个人信息保护做了详细规定。此外，《上海市促进人工智能产业发展条例》明确，上海市人民政府设立“上海市人工智能战略咨询专家委员会”，为产业发展中的重大战略、重大决策提供咨询意见，同时设立“人工智能伦理专家委员会”，负责制定伦理规范指南、推动参与国内外人工智能领域伦理重大问题研讨和规范制定。

标准方面，《关于推进本市新一代人工智能标准体系建设的指导意见》于2021年7月发布。测试评估方面，《意见》围绕智能网联汽车、医疗影像辅助诊断、视觉图像身份识别、智能传感器等赛道，加快构建完善可信AI评测体系，同时针对测试评估建立共性标准；安全伦理方面，《意见》提出加强安全伦理标准对人工智能发展的引导和规范，提升安全保障能力，建立积极的治理规则，从安全与隐私保护规范和应用场景安全规范两大模块强化标准研制，并建立安全风险等级体系；与此同时，上海市人工智能标准化技术委员会于2021年7月揭牌成立，与相关行业主管部门共同推动上海在人工智能标准领域先试先行。其中，可信人工智能领域的标准包括《公共场所人脸识别分级分类应用规范》、《人脸识别系统通用建设规范》、《人脸识别系统工程验收规范》、《人工智能企业认定与分级分类指南》、《数据交易：第四部分，数据产品可信交付技术要求与评估规范》、《人工智能标准化工作导则》共6项地方标准以及《神经网络分类模型稳定性基本要求与测试方法》《隐私计算密码应用基本要求与测评规范》共2项团体标准，牵头单位包括中国信通院华东分院及行业知名机构和企业。

论坛方面，2021年，由中国信通院和京东探索研究院承办的可信AI论坛，以“AI向善 全球共治”为主题，深入探讨可信AI的认知演进、理论研究与产业探索。论坛发布了《可信人工智能白皮书》、《促进可信人工智能发展倡议》、《开放金融数据共享中隐私计算的平衡之道》等多项成果，同时成立了上海可信AI测评中心和中国人工智能产业发展联盟人工智能治理与可信委员会，深入开展技术研究、标准制定、评估测试、试点示范、成果发布、国际合作等工作。2022年，由中国信息通信研究院华东分院承办的可信AI论坛，以“可信AI，共建共治”为主题，就可信AI政策标准、理论技术、应用场景展开探讨。论坛发布了《可信人工智能产业生态发展报告(2022年)》、 “蚂蚁集团—蚁鉴AI安全检测平台”以及“星环科技T-DACM可信AI治理框架”等多项成果，同时成立可信人工智能联合实验室，该实验室将围绕AI应用管理、AI算法模型、平台系统与硬件产品等建立体系化可信评估规范，构建人工智能算法与平台安全测试评估的方法、技术、规范和工具集，引导企业参与可信人工智能的研究与发展。

实践方面，在基础能力方面，有孚云AI智算集群依托稳定、安全的GPU资源，基于采用Kubernetes架构，通过集中调度、管理和可定制化的模板服务，为用户提供开箱即用的框架平台和算法工具，应用场景涉及身份识别、隐私保护、反欺诈、AI反制等方面；算法技术方面，业界厂商建立基于真实场景数据的算法测评体系，针对商业化算法场景以及全方位多数据集算法进行评测，持续推动算法测评的成熟与创新，应用场景涉及医疗诊断数据集算法验证与评测以及金融业算法安全性、可解释性、精准性与性能评价等；应用场景方面，业界厂商推出基于安全多方计算进行人口实时数据统计，通过部署可信AI安全多方计算节点，基于场景开发人口数据统计计算模型规则，并保护用户数据隐私。同时，还发布了智能网联多方数据安全协同解决方案，向下接入主机厂、路侧及第三方机构数据，向上支撑交通、服务、运营等多种数据应用场景，依托可信AI隐私计算实现智能网联汽车数据安全共享。

好了，关于对话信通院陈俊琰：可信AI的五大趋势和四大挑战就讲到这。