2023·新青年·新思考|科技伦理治理：11位青年学者新年之际热切关注的11大议题

所有过往，皆为序章。2023年的大幕已经缓缓拉开。新的一年，我们期盼新的气象，期待新的开始。

在历史以及当下的大变局中，科技创新都被视为最有可能破局的一种解决方案，因此也被各方寄予厚望。

在新的一年开始之际，我们邀请研究科技创新的青年学者，结合学习贯彻落实党的二十大精神,谈论他们对于新一年科技创新的思考——我们希望新青年的新年新思考，能够为我们可以期待的2023年，增添思想研究的力量、贡献战略咨询的智慧。

本期“科技伦理治理”专题，我们特别邀请腾讯研究院研究员、清华大学与腾讯公司联合培养博士后胡晓萌主持。期待引发更多思考，也欢迎更多讨论。

主持人按语

科技伦理治理已经成为国家科技创新体系和国家治理体系的重要内容。它不仅是我国科技创新发展与科技强国建设的内在要求，也是解决我国科技伦理牵鼻子问题、提升我国科技创新的国际竞争力的要求，更是新时代科技发展与面向人类未来命运的要求。

以习近平同志为核心的党中央高度重视我国科技伦理治理体系建设，相关部门出台了一系列政策法规。2019年7月，中央深改委审议通过《国家科技伦理委员会组建方案》，推动构建覆盖全面、导向明确、规范有序、协调一致的科技伦理治理体系。党的十九届四中全会《决定》提出：健全科技伦理治理体制。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出，大力弘扬新时代科学家精神，强化科研诚信建设，健全科技伦理体系。2021年12月完成修订的《科学技术进步法》，新增“监督管理”章节，强调建立和完善科研诚信制度和科技监督体系，健全科技伦理治理体制。2022年3月，中共中央办公厅、国务院办公厅印发《关于加强科技伦理治理的意见》，对我国科技伦理治理工作作出顶层设计。

我们有幸邀请到十一位来自部属相关单位、学术界、技术和产业届的优秀青年专家，共同围绕“科技伦理治理”这一主题，从科技伦理基础理论与伦理原则、科技伦理法治建设和文化建设、人工智能治理与伦理标准、自动驾驶道德嵌入等角度分享观点，以飨读者。

——胡晓萌

以下按照姓氏拼音排序

原则主义在科技伦理治理中的作用

行原创性引领性科技攻关”

白惠仁

浙江大学哲学学院“百人计划”研究员

原则主义（Principlism）是20世纪70年代产生于生命医学伦理的重要方法，在当前的科技伦理研究和实践中，原则主义呈现出多层次、多领域的广泛应用：我国《关于加强科技伦理治理的意见》专门提出了五条科技伦理原则；各国各行业协会、学会的特定科技领域（如人工智能）的伦理文件中都概括了该领域的基础伦理原则；在各种“道德算法”的研究中也重点强调了伦理原则间的冲突和编码化的可能性。

原则主义也是当前科技伦理治理的一种有效工具，表现在：（1）原则主义为科技伦理治理的多元主体参与提供了基础，原则主义的明码化、可视化等特征可以将常识性原则直接应用而不涉及广泛的哲学复杂性，这对外行和专业人士都可行；（2）原则主义构成全球科技伦理治理的重要路径，可以在普遍需求和文化多样性之间进行调和；（3）伦理原则的广泛讨论塑造了研发共同体的认知规范，原则主义参与建构了科学文化和科研规范，在研发共同体形成文化自觉之后再加以规则引导，通过高阶伦理原则（principles）与低阶伦理规则（rules）的配合现实科技伦理治理；（4）原则主义可以根据新兴技术迭代和科技伦理研究的新特征，快速做出反应并及时进行调整，从而实现敏捷治理。

良法善治助推科技伦理治理体系建设

邓益志

科技部科技评估中心知识产权与法务部处长、副研究员

2019年国家科技伦理委员会组建以来，我国科技伦理治理加速迈入法治化轨道，修订、出台了民法典、刑法修正案（十一）、科技进步法、生物安全法、数据安全法、个人信息保护法等一系列法律，将从事与人体基因、人体胚胎等有关医学和科研活动伦理规范“入典入刑”，将生物安全、数据安全、信息保护等相关伦理规范纳入法律条款，将“科技伦理”纳入科技领域基本法，初步构建了我国科技伦理相关法律体系。

良法善治是法治的基本内涵，是科技伦理治理体系建设的有力保障。良法为科技伦理治理提供制度保障，善治保障科技伦理治理目标实现。2022年，中办、国办印发《关于加强科技伦理治理的意见》，从良法、善治两个层面对科技伦理治理法治化作出部署要求，明确提出要提高科技伦理治理法治化水平，加快推进科技伦理治理法律制度建设，坚持依法依规开展科技伦理治理工作。良法善治将从外在制度和内在价值两个层面为科技伦理治理体系建设提供有力支撑。

当前，科技伦理治理面临法治建构的新挑战和新任务。人工智能、基因编辑、合成生物学等领域的科技创新活动日新月异，可能会引发剧烈的伦理道德冲击，需要通过法律设置管制框架和红线，为科技创新融入经济社会发展设置缓冲区域。现有科技伦理规范强制性不够，相关法律条款零散，系统性不强。加强科技伦理治理法治化体系研究、构建和完善相关领域科技伦理法律制度、推动重要的科技伦理规范及时上升为法律规范，则是当前及今后一段时间面临的重要任务。

人工智能伦理治理应当凸显人的主体性

高奇琦

华东政法大学政治学研究院院长、教授

随着第四次工业革命进程的不断加深，人工智能作为其核心驱动力的重要性日益凸显。2022年，人工智能界最值得关注的事件就是生成式AI取得的突破性进展，尤其是ChatGTP的横空出世产生了不亚于AlphaGo战胜人类取得围棋胜利的产业价值。因此，产业界认为在一些特定场景之下的通用人工智能已经实现。通用人工智能（AGI，Artificial General Intelligence）是人工智能发展的最终阶段。当前，人工智能取得的种种突破显示其正在通用化的道路上加速前进。然而，通用人工智能的开发很有可能导致人类存在的意义受到挑战。不可否认的是，通用人工智能确实可以在许多方面提升人类解决问题的效率，但人类也必须对通用人工智能的开发保持足够警惕。

为此，我们可以坚持将“机器人新三原则”作为人工智能伦理治理的价值引领。“机器人新三原则”包括：第一，机器人永远是辅助；第二，人类决策占比不低于黄金比例；第三，人类应时刻把握着人工智能的发展节奏，随时准备好暂停或减速。更为重要的是，当前人工智能仍然主要依赖于深度学习算法，但其未来发展应当要更多向安全、人文和理性这些人类特征靠近。因此，我们可以通过“机器人新三原则”来进一步强调人工智能的辅助性，着重凸显人类的主体性，以确保可解释的、安全的人工智能成为未来发展方向。

科技伦理治理离不开科技伦理文化建设

黄小茹

中国科学院大学马克思主义学院教授、《科学与社会》杂志副主编

科技伦理治理的最终目的，是科学技术活动能够遵循社会认可的价值准则。因此，推动科技伦理价值准则形成、建立和传播的科技伦理文化建设，可以说是科技伦理治理的基石。从近年来国际上科技伦理文化建设的发展看，科技伦理文化建设的重要性不仅体现在培育伦理意识、达成伦理共识、防范伦理风险，而且已经成为研判前沿研究和技术应用，并据此形成伦理争议的“最终解释权”、前沿探索话语权的前置条件。二十大报告中提出要“培育创新文化，弘扬科学家精神，涵养优良学风，营造创新氛围。”当前，推进我国科技伦理文化建设，首先需要在与国际接轨的同时，研究提出符合“四个面向”的科技创新方向，符合我国的社会文化环境的科技伦理原则、规范和标准。其次，需要明确科技伦理文化建设的主体责任，需要发挥学术团体、科研机构的专业优势，研究和起草专业领域伦理准则和规范，同时开展科技伦理教育和培训，推进科技伦理传播的覆盖面，覆盖学生、研究人员、科技管理人员等不同受教育群体，覆盖科技活动的全过程。再次，在新传播条件下改革创新伦理教育和传播的方式方法。全媒体时代的技术进步推动了诸如新媒体平台等在科技伦理传播中的广泛应用，需要进一步研究教育主客体关系、教育客体与教育内容的适配性、教育渠道和话语体系建设、传播环境建设、传播机制等。

从科技治理到科技伦理治理

助力科技创新与中国式现代化

胡晓萌

腾讯研究院研究员、清华大学与腾讯公司联合培养博士后

2022年3月20日，中共中央办公厅、国务院办公厅印发《加强科技伦理治理的意见》，标志着我国科技伦理治理的顶层设计已经完成。从科技治理延伸到科技伦理治理，主要有两个层面的意蕴：一是，科技伦理治理的问题被空前的强调，科技治理延伸到科技活动生命周期的前端。科技发展快速，对安全、公平、自由等人类的基本价值观念造成冲击，引发诸多科技伦理问题。而科技伦理问题的后果和风险具有很大的不确定性，难以准确预测和判断，这就需要各方坚持“伦理先行”，从“善后型”的治理模式转型为“预警型”的治理模式，通过全过程的伦理审查、评估等治理手段对科技创新起到风险预防、价值引导和行为约束的作用。基于此，科技伦理治理是科技创新可持续发展的内在要求和重要保证。

二是，科技创新与科技治理需要科技伦理提供面向未来的价值导航，亟需建立全新的责任伦理体系。前沿科技正在迈入“深水区”、“无人区”，而科技在与人类社会的深度融合中，对人类社会的影响日益广普化和深层化，越来越涉及到人类的利益整体和未来世代。因此，通过科技伦理治理实现“未来转向”，建立面向未来的责任伦理观，既是对人类社会的当下负责，也是对未来的人类命运负责。这要求我们通过科技伦理教育和文化建设来提升责任伦理意识，探寻技术与人类未来、人与技术以及技术背景下人与人的自由和谐关系。从这个意义来说，科技伦理治理将作为社会治理现代化的一部分，保障人类生存的基本价值和人的全面发展，助力实现中国式现代化，打造真正的人类命运共同体。

科技伦理治理需要处理好专家与公众的关系

廖苗

长沙理工大学马克思主义学院副教授

2022年对科技伦理治理有重要意义。一方面，制度建设成果斐然，《关于加强科技伦理治理的意见》提供顶层设计，新修订的科技进步法提供法律保障，各地方政府和高校科研机构纷纷成立科技伦理委员会推进落实。另一方面，疫情期间的社会舆论突显了专家与公众之间的复杂张力，这对科技伦理治理是一大挑战。科技发展及带来的问题，必须依赖专业知识，伦理治理却又是超出专业领域、与普通大众息息相关的公共事务。要做好科技伦理治理，需要处理好专家与公众之间的关系。

首先，专家的专业性与公共性两难。在面对科技引发的伦理问题时，专家知识有助于及早识别风险、提供解决方案。专家知识在公共治理中必不可少，却并非充分。专家知识的有效性往往局限于专业领域。在伦理治理这一公共领域中，专家要跨出专业圈子，对公共事务发声，履行社会责任。仅在专业领域有效的知识不足以应对公共治理的需求。在伦理治理领域中，专家要对外行说话，要说外行听得懂的话，就不能说得太专业，太精确。要让外行公众听懂并接受，有可能以专业性的折损为代价。无论是对于科技专家还是伦理学家，在伦理治理中如何平衡专业性与公共性，都是一个现实的挑战。

其次，公众的自主性与盲目性并存。随着自主选择的权利意识提升，公众对专家意见并非言听计从，可以择善而从。但面对新兴科技的不确定性、专家意见的相互冲突，公众有可能无所适从。一边是需要专家提供意见，一边是“建议专家不要建议”。公众对科技产生困惑，对专家失去信任，有可能带来社会舆论的失序甚至群体间的情绪对立。后常规科学时代，公众不仅要知晓科技成就、支持科技创新，更要理解科学研究的不确定性和局限性。在科普工作中应更多强调公众参与，转变公众对科学的刻板印象，加深对科学规律的理解，形成对专家知识的合理预期。

再次，伦理治理应有益于社会团结。科技伦理治理要直面科技带来的道德困境、价值争议、社会风险，以公共治理的方式来解决这些问题。专家之间的意见分歧、专家与公众的知识鸿沟，以及由此带来的公众之间的情绪对立，有可能影响社会的安定团结。因此需要处理好专家与公众之间的关系，修复公众对专家的信任，也修复专家对社会的责任。对于诸多正在面临或即将面临的科技伦理问题，要逐步形成专家共识，进而达成社会共识。

从治理原则到实践落地

标准为人工智能治理体系“先行铺石”

瞿晶晶

上海人工智能实验室治理研究中心副研究员

人工智能治理的重要性和必要性已经成为全球共识。如何将治理原则落地成为具备操作性的实践手段是目前人工智能治理亟待解决的问题。技术标准作为一种“软法”，在推进人工智能由“野蛮生长”向“高质量发展”转向过程中有重要意义。首先，技术标准是天然“软硬结合”研究领域，需要标准制定者从复杂庞大的技术/技术-社会体系中凝练出与治理目标匹配的技术要求，并为更进一步的技术评测、认证等监管手段夯实规则基础。其次，标准制定能够原子式从点开始不断积累迭代，伴随技术的成熟发展逐渐形成稳定、完善的体系，因此相对于硬法更为灵活、敏捷，适宜于新兴技术的动态变化及适应性发展。再次，标准制定是多方参与，在不断自发性协商中达成共识的过程，因此在充分调动多主体参与治理体系建设积极性，促进技术在开源、开放的产业生态不断自我优化极具优势。

2020年，我国五部委联合发布《国家新一代人工智能标准体系建设指南》顶层设计和规划了我国人工智能标准体系整体框架，在此指导下，我国人工智能技术标准工作正在如火如荼开展，各类标准正在持续不断为我国人工智能治理添砖加瓦。与此同时，我国标准专家也深入参与例如ISO、IEEE国际标准制定，努力在国际治理规则体系形成中发挥重要作用，与全球专家一道共同推进人工智能的可持续发展。

自动驾驶、机器人如何嵌入道德

孙鑫

之江实验室基础理论研究院研究专家

自动驾驶技术正在快速成熟，当大量自动驾驶汽车行驶在路上时，人类将会第一次大规模遭遇有道德能力的机器人——遵守交通法规的自动汽车。更一般的“有道德感的智能体”的研究在过去20多年在学术界获得了越来越多的关注。而基于逻辑与博弈的路径是一条具有可行性的路径。

具体地讲，基于逻辑与博弈的路径是采用了一种道义逻辑+布尔博弈的方法构造有道德感的智能体。其道义逻辑用来对规范和法律进行形式化地表达和推理，再用布尔博弈来表示智能体之间的交互。规范被用于评价行动的道德价值，并进一步影响和改变智能体的偏好和行为。不同类型的智能体根据不同的步骤来改变他们的偏好。这其中设计了6种类型的有道德感的智能体：道德的、无道德的、社会性的、自私的、消极中立的和积极中立的。

道德的智能体偏好有更高道德价值的行动，忽视行动的收益；无道德的智能体偏好有更高收益的行动，忽视行动的道德价值；自私的智能体首先偏好有更高收益的行动，当两个行动有同样收益时，他们偏好有更高道德价值的行动；社会性的智能体首先偏好有更高道德价值的行动，当两个行动有同样的道德价值时，他们偏好有更高收益的行动；消极中立的智能体首先把行动区分为被禁止的和没被禁止的两类，然后根据收益对以上两类行动进行排序；积极中立的智能体首先把行动区分为被允许的和没被允许的两类，然后根据收益对以上两类行动进行排序。这6种智能体的定义在数学上已经比较精确清晰，下一步工作是其工程上的实现。

兼顾当前与长远

构建系统性和前瞻性的AI治理研究议程和解决方案

谢旻希

安远AI创始人、牛津大学人工智能治理中心（Centre for the Governance of AI）政策研究员

AI的技术突破和商业应用在带来巨大发展红利的同时，也会带来潜在的风险。AI治理应强化底线思维，加强风险预判，提出兼顾当前与长远的研究议程和解决方案，并提供必要的政策支持。

近年来，代表AI前沿的大模型的潜在伦理问题与安全风险已引起国内各界更多的关注和讨论，如何实现可控生成、让模型更可解释、确保模型输出符合社会伦理等受到了普遍关注，不少国产大模型在发布时已提及各种单一的社会风险，如歧视和暴力的言论，被恶意使用的危害等，但在更全面的研究和应对方案上还有待提升，需要由零散的关注提升到系统性布局。可借鉴国际前沿工作，如业界OpenAI采用RLHF技术减少模型不安全行为，DeepMind开发Sparrow时定义了23条伦理规则，Anthropic的机械可解释性研究，Google的大模型涌现能力研究等；学界斯坦福、牛津、剑桥、多伦多大学、伯克利等也都有教授正在开展相关研究。

长远看，人机对齐(AI Alignment)问题，即机器学习系统的目标是否真正与人类的设计意图相吻合，将是未来对科学和人类来说最重要的研究之一，并已受到越来越多的关注。如OpenAI和DeepMind等都成立了相关研究团队，通院和北大的研究员发表了相关论文。但还需要政府在AI的可靠性、鲁棒性、可信验证、奖励学习、可解释性等研究上给予更大的支持，解决这一挑战需要多元的思想、足够的研究员和政策的支持。

真正理解科技伦理治理

文贤庆

湖南师范大学道德文化研究中心暨人工智能道德决策研究所教授

伴随着生物技术、信息与通讯技术等深入而广泛地进入人们的日常生活，科技带来的伦理价值问题也随之而来，如何对科技带来的问题进行伦理治理成为时代的当务之急，《加强科技伦理治理的意见》也正是在此背景下应运而生。然而，科技伦理治理不可能一蹴而就，它是科技快速发展促逼的结果。科技的快速发展是物质文明的典型代表，而科技伦理治理当属于精神文明，两种文明并不具有天然的协同关系。如何对科技发展进行伦理治理是协调两种文明的事情。这是真正理解科技伦理治理的关键。

首先，既然伦理治理是精神文明，那么进行科技伦理治理就要求我们进行精神观念的确立。科技是按照规律和原则进行发展的事物现象，但伦理是人与人、人与社会在相互关系时应该遵循的道理和准则；前者按照规律必然发生，后者则按照理想应然发生。在这个意义上，科技伦理治理要求人们按照理想的价值发展科技，科技的发展必须受到应然的伦理价值观念的指导。因为人们关于应然伦理价值的观念只在抽象的精神理念一致，而科技带来的伦理问题却是具体经验的，所以伦理治理只能作为一个调适的概念先行引导科技实践。

其次，伦理治理的重点是通过具体经验向着应然伦理价值观念摸索前行。基于伦理治理是一个调适的先行概念，而科技发展是具体经验的事，科技伦理治理必须分场景、分应用，在社会实验中摸索前行。伦理治理只存在于应然伦理价值观念指导下分歧的摸索，而一旦成熟则应该归于法律。

最后，伦理治理是具体经验中的利益相关方在应然伦理价值观念下的博弈研究，其目标是走向政策和法律的制度化。伦理治理只适合于具体经验中重要但纷争不止的领域或场景中，一个领域或场景一旦通过政策和法律走向制度化，伦理治理就应该退位或者成为制度化的组成部分。

儒家“藏礼于器”思想

对当代科技伦理治理的启示

张卫

大连理工大学哲学系教授、“科技伦理学科加强平台”执行负责人

儒家提出的“藏礼于器”是我国古代造物制器的基本法则，同时也是儒家科技伦理治理的重要原则。在全球治理时代背景下，在建构当代科技伦理治理体系和加强科技伦理治理能力的紧迫需要下，有必要回顾和总结儒家科技伦理治理的历史经验，以史为鉴、返本开新，更好地服务于我国当前的科技伦理治理实践，同时为世界科技伦理治理提供中国智慧。“藏礼于器”即按照“礼”的要求制作与使用器物，通过“器”来强化“礼”的观念，以实现“无言之教”的社会治理目的。“藏礼于器”思想对当前的科技伦理治理具有重要的启示意义在于，首先，科技的发展不能脱离现代伦理的规约框架，科技伦理治理应被视为国家治理的重要组成部分，在国家整体安全观的视域下审视科技带来的伦理风险和社会风险；其次，科技的伦理治理和伦理的科技治理之间是互补的，科技一方面是被伦理治理的对象，同时也可以作为一种手段来治理社会；最后，儒家看待科技伦理问题的视角有别于西方，“藏礼于器”原则可以为西方科技伦理治理思想“本土化”提供了一个切入点，有助于促进二者的“视域融合”。需要注意的是，“藏礼于器”思想产生于“礼治”社会，而现代社会已经变为“法治”社会，在重视“藏礼于器”思想价值的同时，也要对其进行批判性的反思。由于“礼”的重要功能在于维护社会的等级尊卑秩序，所以“藏礼于器”难免与当代社会的主流价值观念发生冲突，这意味着“藏礼于器”思想必须经过创造性转化与创新性发展，方能在应对技术伦理困境、规范个人行为、塑造社会秩序和精神文明建设中提供历史的洞见。

三思派2023新年的新青年新思考系列近期将陆续推出，敬请关注！欢迎在文末直接点击评论，也欢迎对本系列提出意见建议。

三思君微信：19512369220

文章观点不代表主办机构立场。

编辑邮箱：sciencepie@126.com