개요

Amazon Rekognition 안면 인식을 사용하면 한 얼굴의 이미지와 두 번째 얼굴의 이미지 간의 유사성을 측정할 수 있습니다. 이 AI 서비스 카드는 일반적인 신원 확인형 사진과 미디어(예: 영화, 사진 앨범 및 통제되지 않거나 자연스러운 환경에서 캡처된 ‘와일드’ 이미지)에서 CompareFaces 및 SearchFaces API를 사용하여 안면 인식을 책임 있게 수행하는 것과 관련된 고려 사항을 설명합니다. 일반적으로 고객은 CompareFaces를 사용하여 소스 얼굴을 대상 얼굴과 비교(1:1 일치)하고 SearchFaces를 사용하여 소스 얼굴을 대상 얼굴 컬렉션과 비교(1:N 일치)합니다. Rekognition은 미리 구축된 얼굴 컬렉션을 제공하지 않으므로 고객이 직접 얼굴 컬렉션을 만들고 채워야 합니다. 이 카드 전체에서 ‘안면 인식’은 Rekognition의 CompareFaces API 및 SearchFaces API를 지칭합니다.

두 이미지에 같은 사람의 얼굴이 있으면 한 쌍의 얼굴 이미지가 ‘실제 일치’가 되고 그렇지 않으면 ‘실제 불일치’가 됩니다. ‘소스’와 ‘대상’ 이미지로 구성된 입력 쌍에 대해 Rekognition은 소스 이미지의 소스 얼굴과 대상 이미지의 대상 얼굴 간의 유사성에 대한 점수를 반환합니다. 최소 유사성 점수는 0이며 이는 유사성이 거의 없음을 의미합니다. 최대 유사성 점수는 100이며 유사성이 매우 높음을 의미합니다. Rekognition 자체는 이미지의 두 얼굴이 실제로 일치하는지, 실제로 일치하지 않는지 여부를 독립적으로 결정하지 않습니다. CompareFaces 또는 SearchFaces를 직접적으로 호출하는 고객 워크플로에서 자동 로직(0~100의 유사성 임계값을 설정하고 유사성 점수가 임계값을 초과하는 경우 실제 일치를 예측), 인간의 판단 또는 이 둘의 조합을 사용하여 결정합니다.

사람의 얼굴은 피부색이나 기하학 등에 따라 물리적으로 다릅니다. 그러나 한 개인이 서로 다른 이미지로 표현될 수 있고, 반대로 서로 다른 개인이 매우 유사한 이미지로 표현될 수 있습니다. 예를 들어 눈 모양만 다른 두 사람이 같은 선글라스를 착용하면 동일한 사람으로 보일 수 있습니다. 이는 여러 요인(‘교란 변수’라고 함)이 결합되어 얼굴을 나타내는 이미지 픽셀의 위치와 색상을 변경하기 때문입니다. 이러한 교란 요인에는 (1) 조명 방향, 강도 및 파장의 분포, (2) 머리 자세, (3) 카메라 초점 및 영상 결함, (4) 픽셀 해상도, (5) 손, 얼굴 털, 머리카락, 휴대폰, 혀 내밀기, 스카프, 안경, 모자, 장신구 또는 기타 물체에 의한 가림, (6) 얼굴 표정(예: 무표정 또는 크게 뜬 눈), (7) 피부색 변화(예: 메이크업, 페이스 페인트, 일광 화상 또는 여드름)이 포함됩니다. Rekognition의 유사성 점수는 교란 변수를 무시하고 서로 다른 개인의 얼굴 이미지에서는 낮게, 같은 얼굴의 이미지에서는 높게 책정되도록 설계되었습니다. Rekognition은 소스 이미지와 대상 이미지에서 제공되는 정보만 사용하여 사람 얼굴 이미지의 유사성을 평가합니다.

대상 사용 사례 및 제한 사항

Rekognition 안면 인식은 사람의 얼굴만 비교하도록 설계되었습니다. 만화, 애니메이션 캐릭터 또는 인간이 아닌 엔터티의 얼굴 인식은 지원하지 않습니다. 사람이 인식하기에 너무 흐릿하고 거친 얼굴 이미지 또는 얼굴의 많은 부분이 머리카락, 손 및 기타 물체로 가려진 얼굴 이미지의 사용도 지원하지 않습니다. 또한 AWS는 경찰이 범죄 수사의 일환으로 Rekognition::CompareFaces 및 Rekognition::SearchFaces API를 사용하는 것에 대해 일시적 중단 조치를 취했습니다(자세한 내용은 AWS 서비스 약관 섹션 50.9 참조).

Rekognition 안면 인식은 실종 아동 식별, 건물 또는 컨퍼런스 접객용 스위트 이용 권한 부여, 온라인 신원 확인, 개인 사진 라이브러리 구성 등 다양한 애플리케이션을 지원합니다. 이러한 애플리케이션은 관련된 개인의 수, 각 개인에 대해 사용할 수 있는 서로 다른 이미지의 수, 예상되는 교란 변수의 양, 허위 일치 및 허위 불일치의 상대적 비용 및 기타 요인에 따라 달라집니다. 이러한 애플리케이션은 크게 2가지 사용 사례로 분류됩니다.

ID 확인 사용 사례: ID 확인 애플리케이션은 안면 인식을 사용하여 새 사용자를 등록하고 기존 사용자에게 리소스에 대한 액세스 권한을 부여합니다. 이 사용 사례에서는 정부에서 발급한 신분증(예: 여권, 운전면허증)의 사진과 밝은 조명에서 얼굴을 가리지 않는 정면 포즈를 장려하는 실시간 셀카를 사용하여 교란 변수를 최소화하는 것이 일반적입니다. 이렇게 하면 대상 컬렉션의 각 개인을 소수의 얼굴 이미지로 표현할 수 있고 컬렉션에 많은 수(예: 수백만)의 서로 다른 개인을 포함할 수 있습니다. 이 사용 사례에서는 특정 최종 사용자가 액세스 권한을 얻기 위해 시스템을 속이려 할 수 있습니다. 따라서 고객은 Rekognition에 제출된 소스 및 대상 이미지가 고객의 기대치를 충족하는지 수동으로 확인하거나, 일치하는 이미지에 높은 유사성 점수(예: 95)를 요구함으로써 이러한 위험을 완화할 수 있습니다.

미디어 사용 사례: 미디어 애플리케이션은 안면 인식을 사용하여 알려진 개인 집합의 사진 및 비디오에서 개인을 식별합니다(예: 휴가 비디오에서 가족 구성원 찾기). 이 사용 사례에서는 동일한 개인의 소스 이미지와 대상 이미지 간에 교란 변수가 많으므로 대상 컬렉션에는 적은 수의 개인과 사용자당 더 많은 이미지가 포함될 수 있습니다(개인의 생활이 여러 해에 걸쳐 있을 수 있음). 이 사용 사례에서는 최종 사용자가 시스템을 속이려 할 동기가 적기 때문에 고객은 고도로 자동화된 워크플로를 선택할 수 있으며, 교란 변수가 많으므로 일치 항목에 대한 유사성 점수가 낮아질 수 있습니다(예: 80).

Rekognition 안면 인식의 설계

기계 학습: Rekognition 안면 인식은 ML 및 컴퓨터 비전 기술을 사용하여 구축되었습니다. 작동 방식은 다음과 같습니다. (1) 입력 이미지에서 얼굴이 포함된 부분을 찾습니다. (2) 머리가 포함된 이미지 영역을 추출하고 얼굴이 ‘정상’ 수직 위치에 오도록 영역을 정렬하여 잘린 얼굴 이미지를 출력합니다. (3) 잘린 각각의 얼굴 이미지를 ‘얼굴 벡터’(기술적으로, 얼굴 이미지의 수학적 표현)로 변환합니다. SearchFaces로 검색하는 컬렉션은 얼굴 이미지 세트가 아니라 얼굴 벡터 세트라는 점에 유의하세요. (4) 소스와 대상 얼굴 벡터를 비교하고 얼굴 벡터에 대한 시스템의 유사성 점수를 반환합니다. API 호출에 대한 자세한 내용은 개발자 안내서를 참조하세요.

성능 기대치: 개별 및 교란 변수는 고객의 애플리케이션마다 다릅니다. 즉, 애플리케이션에서 동일한 사용 사례를 지원하더라도 애플리케이션 간에 성능이 다르다는 의미입니다. 2가지 ID 확인 애플리케이션 A와 B를 예로 들어 보겠습니다. 각 애플리케이션에서 사용자는 먼저 여권 스타일 이미지로 ID를 등록하고 나중에는 실시간 셀카를 사용하여 ID를 확인합니다. 애플리케이션 A를 사용하면 스마트폰 카메라를 사용하여 밝은 조명에서 초점이 잘 맞는 정면 포즈로 가려지지 않은 높은 해상도의 셀카를 캡처하여 스마트폰에 액세스할 수 있습니다. 애플리케이션 B를 사용하면 출입구 카메라를 사용하여 약한 조명에서 낮은 해상도의 흐릿한 셀카를 캡처하여 건물에 접근할 수 있습니다. A와 B는 입력 종류가 다르기 때문에 각 애플리케이션이 Rekognition을 사용하여 완벽하게 배포되었다고 가정하더라도 안면 인식 오류율이 달라질 수 있습니다.

테스트 기반 방법론: AWS는 여러 데이터 세트를 사용하여 성능을 평가합니다. 하나의 평가 데이터 세트로 성능에 대한 절대적인 그림을 얻을 수는 없습니다. 평가 데이터 세트는 인구통계학적 구성(정의된 그룹의 수와 유형), 교란 변수의 양(콘텐츠 품질, 목적 적합성), 사용 가능한 레이블의 유형 및 품질, 기타 요인에 따라 달라지기 때문입니다. Rekognition 성능은 동일한 개인의 이미지 쌍(일치하는 쌍)과 서로 다른 개인의 이미지 쌍(일치하지 않는 쌍)이 포함된 평가 데이터 세트에서 Rekognition을 테스트하는 방식으로 측정됩니다. 유사성 임계값을 선택하고 Rekognition을 사용하여 각 쌍의 유사성 점수를 계산하고 임계값을 기반으로 이 쌍이 일치하는지 또는 일치하지 않는지 확인합니다. 데이터 세트에 대한 전체 성능은 두 가지 숫자인 실제 일치율(일치하는 쌍의 유사성이 임계값 이상인 비율)과 실제 불일치율(유사성 점수가 임계값 미만인 일치하지 않는 쌍의 비율)로 나타납니다. 유사성 임계값을 변경하면 실제 일치율과 실제 불일치율이 변경됩니다. 데이터 세트의 그룹은 인구통계학적 특성(예: 성별), 교란 변수(예: 수염의 유무) 또는 이 둘의 혼합으로 정의할 수 있습니다. 평가 데이터 세트는 이러한 요인 및 기타 요인에 따라 다릅니다. 이로 인해 전체 및 그룹의 실제 일치 및 실제 불일치율은 데이터 세트마다 다릅니다. AWS는 이러한 변화를 고려하여 개발 프로세스에서 여러 평가 데이터 세트를 사용함으로써 Rekognition 성능을 검사하고, Rekognition의 성능이 가장 낮은 그룹의 실제 일치 및 실제 불일치율을 높이기 위한 조치를 취하고, 평가 데이터 세트 전체를 개선하기 위한 작업을 수행한 다음 반복합니다.

공정성 및 편향: AWS의 목표는 모든 사람 얼굴에서 Rekognition 안면 인식이 잘 작동하도록 하는 것입니다. 이를 위해 위에서 설명한 반복적 개발 프로세스를 사용합니다. 이 프로세스의 일환으로 다양한 교란 변수를 바탕으로 인간의 다양한 얼굴 특징과 피부색을 캡처하는 데이터 세트를 구축합니다. 성별, 연령, 피부색과 같은 신뢰할 수 있는 인구통계학적 레이블이 있는 얼굴 이미지 데이터 세트를 사용하여 사용 사례 전반에 걸쳐 정기적으로 테스트합니다. Rekognition은 인구 통계학적 특성 전반에 걸쳐 우수한 성능을 제공하는 것으로 나타났습니다. 예를 들어 책임 있는 AI를 전문으로 하는 회사인 Credo AI는 조명이 좋고 흐림이 없고 가림이 없는 피사체의 고품질 이미지가 포함된 ID 확인 데이터 세트를 사용하여 Rekognition에 대한 서드 파티 평가를 수행했습니다. Credo AI는 피부색과 성별로 정의된 6개 인구통계학적 그룹에서 가장 낮은 실제 일치율은 99.94816%이고, 6개 그룹 모두에서 가장 낮은 실제 비일치율은 99.99995%인 것을 확인했습니다. 유사성 임계값은 95로 설정되었습니다. 성능 결과는 Rekognition, 고객 워크플로, 평가 데이터 세트를 비롯한 다양한 요인에 따라 달라지므로 고객은 자체 콘텐츠를 사용하여 Rekognition을 추가로 테스트하는 것이 좋습니다.

설명 가능성: 특정 소스 및 대상 이미지 쌍에 대해 Rekognition에서 반환한 유사성 점수에 대해 궁금한 점이 있는 경우 Rekognition에서 반환한 경계 상자 및 얼굴 랜드마크 정보를 사용하여 얼굴 이미지를 직접 검사하는 것이 좋습니다.

강건성: 다양한 기법을 사용하여 강건성을 극대화합니다. 예를 들어 여러 개인에 걸친 다양한 차이를 포착하는 대규모 훈련 데이터 세트를 사용하는 것이 여기에 포함됩니다. Rekognition에서는 서로 다른 개인(일란성 쌍둥이 등) 간의 작은 차이에 대한 민감도를 매우 높게 설정하는 동시에 광대뼈를 돋보이게 하는 메이크업과 같은 교란 변수에 대한 민감도를 매우 낮게 설정할 수는 없습니다. 따라서 고객은 해당하는 사용 사례에 적합한 실제 일치와 실제 불일치율에 대한 기대치를 설정하고, 자체 콘텐츠에서 유사성 임계값 선택을 포함한 워크플로 성능을 테스트해야 합니다.

개인 정보 보호 및 보안: Rekognition 안면 인식은 고객 입력 이미지, 입력 이미지의 얼굴 벡터, 출력 유사성 점수 및 출력 메타데이터라는 3가지 종류의 데이터를 처리합니다. 얼굴 벡터는 서비스에서 반환하는 출력에 절대 포함되지 않습니다. 입력 및 출력은 고객 간에 공유되지 않습니다. AWS Organizations 또는 AWS가 제공할 수 있는 기타 옵트아웃 메커니즘을 통해 고객 콘텐츠가 훈련에 사용되는 것을 거부할 수 있습니다. 자세한 내용은 AWS 서비스 약관의 섹션 50.3과 AWS 데이터 프라이버시 FAQ를 참조하세요. 서비스별 개인 정보 보호 및 보안 정보는 Rekognition FAQ의 데이터 개인 정보 보호 섹션과 Amazon Rekognition 보안 설명서를 참조하세요.

투명성: 사용 사례에 적합한 경우, 고객은 워크플로에 Amazon Rekognition 안면 인식 API를 통합할 때 애플리케이션의 영향을 받는 최종 사용자 및 기타 개인에게 ML 및 안면 인식 기술 사용 사실을 공개하고 최종 사용자의 피드백을 받는 기능을 통해 워크플로를 개선해야 합니다. 고객사 설명서에서 이 AI 서비스 카드를 참조해도 됩니다.

거버넌스: AWS는 책임 있는 방식으로 AWS AI 서비스를 구축하기 위한 엄격한 방법론을 가지고 있습니다. 여기에는 책임 있는 AI를 설계 단계에 통합하는 역방향 제품 개발 프로세스, 책임 있는 AI에서 설계 상담 및 구현 평가를 제공하는 전담 과학 및 데이터 전문가, 정기 테스트, 고객과 함께 하는 검토, 모범 사례 개발, 보급 및 교육이 포함됩니다.

배포 및 성능 최적화 모범 사례

AWS는 AWS Responsible Use of Machine Learning guide(AWS의 책임 있는 기계 학습 사용 가이드)에 설명된 대로 애플리케이션을 책임 있게 구축하고 운영할 것을 장려합니다. 여기에는 공정성 및 편향, 견고성, 설명 가능성, 개인 정보 보호 및 보안, 투명성, 거버넌스와 같은 주요 측면을 해결하기 위한 책임 있는 AI 사례를 구현하는 것이 포함됩니다.
 
워크플로 설계: Rekognition 안면 인식을 사용하는 애플리케이션의 정확도는 (1) 인식할 고유한 개인의 수, (2) 허용되는 교란 변수의 양, (3) 유사성 임계값 선택, (4) 일치 결정 방법, (5) 인구통계 그룹 전체에 적용되는 워크플로의 일관성 (6) 드리프트에 대한 주기적인 재테스트 등 고객 워크플로의 설계에 따라 달라집니다.
 
  1. 개인차: 대상 얼굴의 컬렉션 중에서 소스 얼굴을 검색할 때는 대상 세트 내 여러 개인 간의 물리적 차이 정도에 따라 성공률이 높아집니다. 예를 들어 일란성 쌍둥이 간의 인식은 이란성 쌍둥이나 혈연 관계가 아닌 개인을 인식하는 것보다 훨씬 더 어렵습니다. 일반적으로 대상 컬렉션에 고유한 개인의 수가 많은 경우 비슷해 보이는 고유한 개인이 2명 있을 위험이 더 높으므로 일치에 대한 최종 결정을 내릴 때 더 많은 주의가 필요합니다. 따라서 소스 이미지에 대해 반환된 유사성 점수를 해석할 때 대상 컬렉션에 있는 개인의 유사성 가능성을 워크플로에서 고려해야 합니다.

  2. 교란 변수: 소스 및 대상 이미지 쌍을 선택할 때 워크플로에는 소스 이미지와 대상 이미지 간의 차이(예: 조명 조건의 차이)을 최소화하는 단계를 포함해야 합니다. 차이가 큰 경우 각 대상 개인에 대해 예상되는 변수(예: 자세, 조명, 연령)를 다루는 여러 얼굴 이미지(‘옵션’)를 추가하고, 소스 얼굴 이미지를 각 대상 옵션과 비교하는 것이 좋습니다. 실질적으로 한 가지 옵션밖에 사용할 수 없다면 여권 스타일의 가려지지 않은 전면 얼굴 사진을 사용하는 것이 좋습니다. 허용 가능한 입력 이미지에 대한 정책을 설정하고 입력을 주기적으로 무작위로 샘플링하여 규정 준수를 모니터링해야 합니다.

  3. 유사성 임계값: 애플리케이션에 적합한 유사성 임계값을 설정하는 것이 중요합니다. 그렇지 않으면 워크플로에서 일치하는 항목이 없다고(허위 일치) 또는 그 반대(허위 불일치)로 결론을 내릴 수 있습니다. 허위 일치로 인한 비용은 허위 불일치의 비용과 동일하지 않을 수 있습니다. 예를 들어 인증에 적절한 유사성 임계값은 미디어의 유사성 임계값보다 훨씬 높을 수 있습니다. 적절한 유사성 임계값을 설정하려면 대표적인 입력 쌍 세트를 수집하여 각각에 일치 또는 불일치로 레이블을 지정하고 만족할 때까지 유사성 임계값을 높이거나 낮춰야 합니다.

  4. 인적 감독: 애플리케이션 워크플로에 개인의 권리나 필수 서비스 액세스에 영향을 미치는 결정과 같이 위험도가 높거나 민감한 사용 사례가 포함되는 경우 적절한 선에서 애플리케이션 워크플로에 인적 검토를 통합 해야 합니다. 안면 인식은 완전 수동 솔루션으로 인해 발생하는 작업을 줄이고 사람을 통해 가능한 일치 및 불일치를 신속하게 검토 및 평가할 수 있게 하는 도구 역할을 할 수 있습니다.

  5. 일관성: 허용되는 소스 및 대상 이미지의 종류와 인간이 유사성 임계값과 자체 판단을 함께 사용하여 일치 여부를 결정하는 방식에 대한 정책을 설정하고 적용해야 합니다. 이러한 정책은 모든 인구통계 그룹 전반에 걸쳐 일관되어야 합니다. 소스 및 대상 이미지 또는 유사성 임계값을 일관되지 않게 수정하면 여러 인구통계 집단에 불공정한 결과가 초래될 수 있습니다.

  6. 성능 드리프트: Rekognition에 제출하는 이미지 종류가 변경되거나 서비스가 변경되면 출력이 달라질 수 있습니다. 이러한 변경 사항을 해결하려면 Rekognition의 성능을 정기적으로 다시 테스트하고 필요한 경우 워크플로를 조정하는 것을 고려해야 합니다.

추가 정보

  • AWS AI 서비스 카드에 대한 질문이나 피드백이 있는 경우 이 양식을 작성해 주세요.

용어집

공정성 및 편향은 AI 시스템이 사용자의 다양한 하위 집단(예: 성별, 민족)에 미치는 영향을 나타냅니다.

설명 가능성이란 AI 시스템의 출력을 이해하고 평가할 수 있는 메커니즘을 갖추는 것을 의미합니다.

견고성은 AI 시스템의 안정적인 작동을 보장하는 메커니즘을 갖추는 것을 말합니다.

개인 정보 보호 및 보안이란 데이터를 도난 및 노출로부터 보호하는 것을 말합니다.

거버넌스는 조직 내에서 책임 있는 AI 관행을 정의, 구현 및 시행하기 위한 프로세스를 갖추는 것을 말합니다.

투명성은 이해 관계자가 시스템 사용에 대해 정보에 입각한 선택을 할 수 있도록 AI 시스템에 대한 정보를 전달하는 것을 말합니다.