• 2019년 4월 12일, 영국 정보위원사무국(Information Commissioner’s Office, ICO)은 인공지능(AI) 시스템에서 인간의 개입에 대하여 폭넓게 논의하기 위해 블로그를 개설하고, 그 첫 번째 시리즈로서 인간 리뷰어(human reviewers)의 역할에 대한 이슈를 게재함

- (배경) 영국 ICO는 공공부분에서 정보권(information rights)을 지지하기 위해 설립된 독립 기관으로, AI 시스템에서 인간 리뷰의 정도와 품질, 특히 인간의 개입이 실제로 의미가 있을 수 있는 상황에서 AI 감사를 위한 프레임워크 개발 작업에 대하여 논의 중임

- (주요내용) ICO는 AI 시스템에서 인간 리뷰어의 역할에 대하여 다음과 같이 설명하고 있음
∙ 인간 리뷰어는 적극적으로 시스템의 권장사항 확인, 사용 가능한 모든 입력 데이터 검토, 권장사항에 대한 비판과 해석, 추가 요소에 대한 고려, 필요에 따라서는 권위와 권한을 사용하여 권장사항에 이의를 제기해야하며, 종종 복잡한 AI 시스템에서 발생하는 자동화 편향(automation bias) 및 해석가능성 부족(lack of interpretability)에 대처해야 함
(1) 자동화 편향
∙ 자동화 편향은 인간 이용자가 컴퓨터 생성물을 객관적이고 정확한 수학 및 데이터처리 결과로 신뢰하기 때문에 발생하며, 인간 이용자가 판단을 개입시키지 않거나 AI의 결과가 잘못되었는지 여부를 묻지 않으면 시스템이 전적으로 자동화 될 수 있음
∙ 이 문제를 해결하는 방법은 AI 시스템의 설계 및 구축 단계에서 자동화 편향을 줄이고 인간 리뷰어의 검토를 지원하기 위한 설계를 개발해야 함
∙ 조직(특히 ‘front-end interface’ 개발자)은 인간 리뷰어가 생각하고 행동하는 방식을 고려하여 개입할 수 있는 기회를 제공해야 하며, 조기에 인간 리뷰어와 옵션을 상담하고 테스트하는 것도 도움이 될 수 있음
(2) 해석가능성 부족
∙ 해석가능성 부족은 인간 리뷰어가 AI 시스템의 권고에 대하여 판단 또는 도전을 멈출 때 발생하며, 이는 그 권고사항을 해석하는 것이 어렵기 때문에 생김
∙ 이 문제를 해결하기 위해서는 해석의 어려움을 초기 설계단계에서도 고려해야 하며, 조직은 특정 상황에서 AI 시스템의 해석가능성을 측정하는 방법을 정의하고 설명해야함
∙ 예를 들어, 모형보다는 일반적으로 특정 산출물에 대한 설명이나 각 산출물에 첨부된 신뢰도의 사용이 해당될 수 있으며, 이는 최종 결정에 대하여 인간 리뷰어의 더 많은 개입이 필요하다는 것을 의미함
(3) 전적으로 자동화된 AI 시스템에 대한 권고
∙ ICO는 AI 애플리케이션이 인간의 의사결정을 향상시키거나 또는 전적으로 자동화된 결정을 내리는 것을 목표로 하는지를 설계단계 초기에 결정할 것을 권고함
∙ 또한 조직은 AI 평가자가 AI 시스템의 메커니즘과 한계를 이해하고 전문성을 연마할 수 있도록 교육해야 하며, AI의 산출물을 수용하거나 거부하는 리뷰어의 성향을 모니터링하고 그러한 접근법을 분석해야 한다고 권고함