Liable, but Not in Control? Ensuring Meaningful Human Agency in Automated Decision-Making Systems

Ben Wagner

DOI: https://doi.org/10.1002/poi3.198

2019-01-24

Abstract:Automated decision making is becoming the norm across large parts of society, which raises interesting liability challenges when human control over technical systems becomes increasingly limited. This article defines “quasi‐automation” as inclusion of humans as a basic rubber‐stamping mechanism in an otherwise completely automated decision‐making system. Three cases of quasi‐automation are examined, where human agency in decision making is currently debatable: self‐driving cars, border searches based on passenger name records, and content moderation on social media. While there are specific regulatory mechanisms for purely automated decision making, these regulatory mechanisms do not apply if human beings are (rubber‐stamping) automated decisions. More broadly, most regulatory mechanisms follow a pattern of binary liability in attempting to regulate human or machine agency, rather than looking to regulate both. This results in regulatory gray areas where the regulatory mechanisms do not apply, harming human rights by preventing meaningful liability for socio‐technical decision making. The article concludes by proposing criteria to ensure meaningful agency when humans are included in automated decision‐making systems, and relates this to the ongoing debate on enabling human rights in Internet infrastructure. 摘要 自动化决策正成为大部分社会范围内的常态。当人类对技术系统的控制变得越来越有限时,这就带来了有趣的责任挑战。本文将“准自动化”定义为人类作为一种基本的橡皮图章式机制纳入一个完全自动化的决策系统。笔者研究了三种准自动化案例:自动驾驶汽车,基于乘客姓名记录的边境搜索和社交媒体的内容调节。在这些案例中,个人能动性在决策中的作用是有争议的。虽然有专门的调控机制进行完全自动化的决策,但如果人为例行公事做决定(橡皮图章),这些调控机制就不适用了。更广泛地说,大多数调控机制都遵循二元责任模式,试图对人或机器进行监管,而不是寻求对两者共同调控。这便产生了调控机制不适用的调控灰色地带,通过防止人类对社会技术决策承担有意义的责任而损害人权。文章最后提出了在人类被纳入自动决策系统时确保意义能动性的标准,并将其与如火如荼的网络基础设施促进人权辩论联系起来。 Resumen La toma de decisiones automatizada se está convirtiendo en la norma en grandes partes de la sociedad, lo que plantea desafíos de responsabilidad interesantes cuando el control humano sobre los sistemas técnicos se vuelve cada vez más limitado. Este artículo define la “casi automatización“ como la inclusión de los seres humanos como un mecanismo básico de “rubber‐stamping” en un sistema de toma de decisiones que de lo contrario sería completamente automatizado. Se examinan tres casos de casi automatización, donde la agencia humana en la toma de decisiones es actualmente discutible: automóviles sin conductor, requisas fronterizas basadas en registros de nombres de pasajeros y moderación de contenido en las redes sociales. Si bien existen mecanismos regulatorios específicos para la toma de decisiones puramente automatizada, estos mecanismos reguladores no se aplican si los seres humanos están siendo entidades de “rubber‐stamping” mientras existen las decisiones automatizadas. En términos más generales, la mayoría de los mecanismos regulatorios siguen un patrón de responsabilidad binaria al intentar regular la agencia humana o de máquinas, en lugar de buscar regular ambas. Esto da como resultado áreas regulatorias grises donde los mecanismos reguladores no aplican, lo que perjudica los derechos humanos al evitar responsabilidades significativas para la toma de decisiones socio‐técnicas. El artículo concluye al proponer criterios para garantizar una agencia significativa cuando se incluye a los seres humanos en los sistemas de toma de decisiones automatizados, y se relaciona con el debate en curso sobre la habilitación de los derechos humanos en la infraestructura de Internet.

communication,political science