评估AI和ML中的伦理挑战

评估AI和ML中的伦理挑战
Author: 约书亚·斯卡皮诺博士.SC., CISM
Date Published: 1 July 2022
Related: Blue Teams Security人工智能应用|数字|英文
français

总的来说,隐私、偏见和歧视目前受到了很多关注. However, 在技术实现中,它们的优先级通常被低估,并被视为孤立的问题, 只在必要时得到关注. 相反,许多组织优先考虑提高效率或增加利润等目标, 这通常需要更丰富的数据集, 但他们没有考虑到他们的数据处理方法对基本社会正义问题的最终影响.1 在没有充分理解隐私的情况下实现技术的后果, 它们带来的偏见和可能的歧视问题对个人和澳门赌场官方下载都构成威胁. 内在偏见会对个人在社会中获得公平待遇的能力产生负面影响. 的组织, 潜在的负面影响包括声誉受损, financial impact, litigation, 监管反弹, 隐私问题以及客户和员工信任度的下降.2 技术应用程序的开发人员应该力求公正, 公正中立, 在新兴技术的实施过程中,组织应该考虑这些基本问题,以确保偏见和歧视不是系统设计的基本组成部分.

Ethical Behavior

道德通常被定义为一套标准,用来决定一个特定群体的行为是对是错, 以公认规范为基础的文化或社会.3, 4 尽管对于某些行为——撒谎和欺骗通常被认为是不道德的——人们往往达成共识,但对于什么是道德行为的看法,有时会因文化的不同而产生巨大差异. 与技术相关的一些道德困境包括使用人工智能(AI)代替人类执行某些角色,以及利用这些系统在几乎没有监督的情况下在组织内做出自动化决策, 最终可能对社会造成不利后果.

Systemic Issues

关于人工智能和机器学习(ML)的实现, 伦理问题已经到了一个关键的转折点, 要求组织平衡运营目标和个人权利.5 Trust is a component of ensuring confidence in technology; knowing that a system made a decision at the right time for the correct reason is critical. 随之而来的是对系统的解释的基本需求,这样就可以很容易地阐明为什么系统做出给定的决定,并保持对设计的高度信心.6, 7

一篇文章提出了将人工智能应用于广泛利益相关者群体的10条实用准则. 虽然重点是在医疗案例中使用人工智能, 这些指导方针可以普遍适用. 除此之外, 他们的目的是确保技术操作可以很容易地解释, 设计是透明的, 决策是可识别的和可重复的, 人类拥有这些决定的所有权.8

十项准则中有两项涉及相关的基础问题:

  1. “An AI decision, action, 或通信不得违反任何适用法律,不得导致人身伤害.”
  2. “人工智能的决定、行动或沟通不应具有歧视性. 这尤其适用于算法的训练.9

尽管很多人都在努力确定需要遵守什么, 一些贡献者甚至提供了框架来指导部署, 目前仍没有可靠的方法来识别和帮助确定危害风险的优先次序, 可能存在歧视或其他道德问题. 尽管大规模部署对人工智能和机器学习的影响是重大的, 这种潜在的风险并不局限于这些技术.

尽管人们的意识在增强, 目前还没有一个统一的方法来识别这些系统性问题, 而且没有统一的程序来解决这些问题.

In recent years, 个人隐私权受到越来越多的关注, 社会正义意识成为许多地区讨论的核心问题. At the same time, 采用通用标准以确保合乎道德的技术实施的必要性日益增加. 随着AI和ML功能的发展, 需要一种标准化的方法来确定组织是否受到额外风险的影响. 澳门赌场官方下载领导者必须了解,由于缺乏对隐私的控制,未能减轻风险的后果, 人工智能和机器学习技术中的偏见和歧视挑战. 尽管人们的意识在增强, 目前还没有一个统一的方法来识别这些系统性问题, 而且没有统一的程序来解决这些问题. 这是世界上许多组织面临的一个基本问题. 领导者必须了解这些问题的重要性,并采取适当行动,消除所有技术实施中的偏见和歧视.10

创建可信系统

当前的行业实例和专家意见可以用来确定组织是否会从量化潜在隐私中受益, 技术实施中存在偏见和歧视风险. 可以使用一个模型来了解组织目前如何处理这种风险,并强调实现技术控制的统一方法的好处,同时提高对与这些基本社会正义问题相关的潜在道德问题的认识. 开发这样一个模型并帮助组织在技术实现和设计阶段突出这些关键问题的好处是显而易见的, 与不考虑这些基本问题而实现技术的缺点相比. 必须检查给定系统的相关要求和组织可能在实施之前利用的当前方法,以了解这些风险领域,以确保有关潜在偏见的关键问题得到适当解决. 初步的回顾可以为谈话提供一个起点, 帮助提高对这些问题的认识,并为将减轻已识别风险的补救工作提供基础.11

对当前一些关于组织目前如何处理基本问题的实现的文献的回顾揭示了重要的关注.12 一个例子描述了亚马逊的人工智能实现,它使用了一种被发现有偏见的招聘算法. 该系统倾向于使用“俘虏”或“处决”之类的词.这些话更常出现在男性简历上, 是什么导致算法偏向于男性申请人. 这种人工智能的部署不公平地限制了女性求职者的参与. 尽管亚马逊已经纠正了这个问题, 受影响的个人很可能没有得到赔偿.13 这个例子只突出了部署的技术可能导致基本问题的众多方式之一. 允许基于固有偏见的决策不仅会对直接受影响的人造成伤害,还会增加对这些系统的不信任. 另一个例子是一个普遍的观点,即歧视是建立在评估系统的经典公平艾萨克公司(FICO)模型.14 批评人士认为,它偏袒美国白人,而不是有色人种,因为它更重视传统的信用,而不是积极的支付记录. Aracely Panameño, 负责任贷款中心拉丁裔事务主任, 他指出,“如果你输入的数据是基于历史歧视, 那么你基本上是在巩固另一端的歧视.”15

许多机器学习算法很难解释和推导出系统是如何获得答案的.

尽管组织声称数据是公正的, 他们往往不能或不愿提供证据证明他们的主张.16 许多机器学习算法很难解释和推导出系统是如何获得答案的; these are known as black box systems. 结果是基于系统如何做出决策的假设.17, 18 这些系统具有深远的影响. 对大部分出版物的研究表明,他们讨论的许多主题仅部分与“可解释”相关, 负责任和可理解的系统.”19 唯一被确定与道德和隐私有任何关系的类别是“大数据隐私”, trust, 算法的公平性, 解释和推理.“这些重点领域只占该领域完成的所有研究的一小部分.20 人工智能中明显缺乏对伦理和基于歧视的研究的关注. 当人工智能和相关系统被设计和实施时, 重要的是要了解它们如何有助于组织内可能具有道德含义的决策.

前进的道路:一致的方法

随着技术的发展, preventing bias, 促进数据隐私和保护固有人权至关重要. 要讨论这些基本问题,关键是要认识到人类天生就有偏见, 人类创造的任何东西都有偏见的风险.21 尽管努力设计没有偏见或最小化偏见的人工智能和机器学习系统, it may, nevertheless, exist, 要么是由于创作者的个人信仰, 数据集用于训练系统的方式中的文化偏见或内置歧视. 组织必须努力从根本上理解他们设计的系统如何影响用户.22

研究AI/ML开发生命周期, 大多数公开共享的开发生命周期共享或类似于左侧所描述的步骤 figure 1. 在联邦制度中打击偏见的一个独特组成部分是在制定和实施之前完成对偏见的影响评估, 确定解决方案的适当性, 并在整个部署过程中进行迭代验证.23 需要从根本上改变这些系统的创建、设计和实施方式. 在AI/ML开发生命周期中增加不同的步骤来解决偏见将使所有组织受益,并促进确定这些基本问题的一致方法. 增加两个不同的步骤——一个评估潜在的偏见和由此产生的伦理影响,一个在部署后验证风险——可以在很大程度上确保在这些技术实施过程中考虑到伦理挑战. 建议增加的部分在图的右侧 figure 1.

评估AI和ML中的伦理挑战

评估道德和隐私影响要求组织考虑并记录这些关注点,将其作为开发过程的一部分. 尽管有许多道德人工智能框架来指导道德人工智能的发展和评估, 这些不同的步骤并没有被普遍采用到一般的人工智能开发生命周期中, 它们通常是这个过程的附加内容. 使其成为所有AI和ML实现生命周期的核心组件对于普遍采用和成功至关重要. 道德和隐私风险的验证是必要的,以确保一旦开发和部署系统,所考虑和评估的风险不会发生变化.

挑战不在于工具和框架不可用,也不在于个人不关心这些问题. 在线搜索“道德人工智能”框架,可以发现大量促进道德方法的资源和专家. 当前的挑战是,许多组织仍然专注于满足业务或运营目标,并确保项目期限和预算保持在目标范围内. 很可能对偏见的担忧并不是有意抛弃的——它们只是由于操作目标而没有得到充分的优先考虑.

Conclusion

为了推进这一对话,需要解决当前的行业行为模式. 在没有优先考虑道德的情况下支持运营目标和效率不再是一种可接受的方法. 气候可能正在发生变化, 正如一些大型澳门赌场官方下载所面临的挑战所揭示的那样,它们在系统中设计并大规模部署了偏见. 一些人重新评估和修改了他们的技术实现,以解决固有的偏见,并改进了他们的方法. 系统的设计者必须承认将他们个人的偏见灌输给系统的倾向. Further, 澳门赌场官方下载必须意识到,当技术实现有内在的偏差时, 利用它们来利用数据集可能会使大规模歧视永久化. 只有了解这些根本问题产生的地方,才有可能发展非歧视制度并减轻风险.

一个有希望的前进道路是在人工智能和机器学习生命周期中采用和添加不同的步骤, 确保道德和隐私问题是人工智能和机器学习所有设计和开发过程的基本组成部分. Furthermore, 在开发之后但在实施之前验证潜在剩余风险以确保预期结果的过程至关重要. 对技术和组织的持续信心, 确保新兴的人工智能和机器学习系统维护个人公平参与社会的权利至关重要.

Endnotes

1 Lo Piano, S.; “Ethical Principles in Machine Learning and 人工智能: Cases From the Field and Possible Ways Forward,” 人文社会科学传播学, vol. 7, iss. 1, 17 June 2020, http://www.nature.com/articles/s41599-020-0501-9
2 Cheatham, B.; K. Javanmardian; H. Samandari; “Confronting the Risks of 人工智能,” 麦肯锡季刊, 26 April 2019, http://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/confronting-the-risks-of-artificial-intelligence
3 Singer, P.; “Ethics Philosophy,” Britannica, 15 December 2021, http://www.britannica.com/topic/ethics-philosophy
4 IGI Global,“什么是伦理” http://www.igi-global.com/dictionary/ethics-in-higher-education/10276
5 Op cit Lo Piano
6 Ibid.
7 Muller, H.; M. Mayrhofer; E. Van Veen; A. Holzinger; “The Ten Commandments of Ethical Medical AI,” Computer, July 2021, http://ieeexplore.ieee.org/document/9473208
8 Ibid.
9 Ibid.
10 Liu, X.; D. Murphy; “A Multi-Faceted Approach for Trustworthy AI in Cybersecurity,” 战略创新与可持续发展杂志, vol. 15, iss. 6.2020年12月16日
11 Munoko, I.; H. L. Brown-Liburd; M. Vasarhelyi; “The Ethical Implications of Using 人工智能 in Auditing,” 商业道德杂志, vol. 167, iss. 2020年1月8日, http://link.springer.com/article/10.1007/s10551-019-04407-1
12 Trunk, A.; H. Birkel; E. Hartmann; “On the Current State of Combining Human and 人工智能 for Strategic Organizational Decision Making,” Business Research2020年11月20日 http://link.springer.com/article/10.1007/s40685-020-00133-x
13 Manyika, J.; J. Silberg; B. Presten; “What Do We Do About the Biases in AI?” 《澳门赌场官方软件》2019年10月25日 http://hbr.org/2019/10/what-do-we-do-about-the-biases-in-ai
14 消费者金融保护局,“什么是FICO评分??2020年9月4日, http://www.consumerfinance.gov/ask-cfpb/what-is-a-fico-score-en-1883/
15 Martinez, E.; L. Kirchner; “The Secret Bias Hidden in Mortgage-Approval Algorithms,” The Markup, 25 August 2021, http://themarkup.org/denied/2021/08/25/the-secret-bias-hidden-in-mortgage-approval-algorithms
16 Op cit Manyika et al.
17 Op cit Liu
18 Op cit Lo Piano
19 Abdul, A.; J. Vermeulen; D. Wang; B. Lim; “Trends and Trajectories for Explainable, 负责任和可理解的系统:HCI研究议程,2018年计算系统中的人为因素会议论文集, 21 April 2018, http://dl.acm.org/doi/10.1145/3173574.3174156
20 Ibid.
21 Livingston, M.; “Preventing Racial Bias in Federal AI,” 科学政策与治理杂志, vol. 16, iss. 2, May 2020
22 Wallach, W.; “Robot Minds and Human Ethics: The Need for a Comprehensive Model of Moral Decision Making,” 道德及资讯科技, vol. 12, iss. 3, September 2010
23 Op cit Livingston

约书亚·斯卡皮诺(Joshua scarpino

是Sales Boomerang的信息安全副总裁吗?他在那里领导IT运营和安全项目和团队. 他在IT和安全领域拥有超过18年的经验,在美国空军拥有16年的经验. 他曾监督财富500强澳门赌场官方下载的安全运营,并为金融和SaaS组织建立, 建立和审核他们的安全程序以达到国际合规性. 在他的职业生涯中,他跨越了多个安全领域来解决运营问题, 治理风险和遵从性挑战. 他对教育充满热情,是马里兰大学(阿灵顿)的网络安全博士候选人, VA, USA). 他还在斯塔克州立澳门赌场官方下载学院(北坎顿,OH, USA)兼职任教。.