Abstract
딥러닝 발전은 얼굴인식(Face Recognition)을 상당히 개선 시켰다.
1. Network Architecture와 Loss function
2. "one-to-many augmentation"와 "many-to-one normalization" 카테고리로 나눈 후,
모델 학습 및 평가에 사용되는 데이터베이스를 비교한다.
3. 기타 응용 FR 기술을 다룸
4. 기술적 과제와 유망한 방향성을 강조함
Introduction
얼굴인식(Face Recognition)은 신원 인증을 위한, 생체인식 등에서 널리사용되는 분야다.
얼굴인식의 발전은 1990년 부터의 4단계의 주요 기술 변화가 일어나면서 발전했다.
※ 얼굴 인식의 발전 과정 - 세부 설명
※ 얼굴 인식의 발전 과정 - 세부 설명
1단계 :
Holistic Approach : 특정한 분포의 가정을 통하여, 저차원(Low-Dimensional) 표현을 얻음
→ 문제 : 이전에 설정한 가정에서 벗어나는, 얼굴의 변화에 대해서 해결할 수 없음
2단계 :
Local-feature-based : 고차원 확장가능 및 Invariant Properties을 가지는 Local Filtering을 통한 견고한(Robust) 성능
→ 문제 : Handcraft Feature의 한계 - distinctiveness and compactness가 부족
* Invariant Properties : 예 - 이미지 내에서 개체(Object)가 이동(Shift)해도 인식 가능
* distinctiveness : 다른 얼굴과 구별 가능한 특징
* compactness : 형태 및 특징을 압축적으로 표현
3단계 :
Learn-based Local Descriptor : local filters는 distinctiveness를 학습 / encoding codebook은 compactness을 학습
→ 문제 : Shallow Representaion의 한계 (딥러닝 전으로, Nonliear Facial appearance Variation에 취약함)
전처리, local descriptors, feature transformation 등을 개별적으로 연구
표정, 조명, 자세 변화 등에 대한 문제를 복합적으로 해결할 수 없었음
4단계 :
딥러닝 : 저층(Lower Layer)는 수년간 연구한, Gabor나 SIFT 처럼 Edge등을 판단
→ 고층(Higher Layer)는 더 추상적인(표정 등)을 학습
→ 추상적인 표현을 종합하여, 얼굴을 인식
Deep learning 의 발전은
- Train/Test 데이터셋 구성
- 어플리케이션 시나리오
- 평가 프로토콜
까지 FR(Face Recognition)의 모든 것을 바꾸었다.
본 논문은
- Section 2 : FR의 구성요소, 배경 및 용어 소개
- Section 3 : Network Architecture 및 Loss function 소개
- Section 4 : 얼굴 처리 알고리즘과 데이터셋 소개
- Section 5 : 여러 FR 활용에 사용할 수 있는 Deep FR 소개
으로 구성되어 있습니다.
※ 본 논문의 핵심 내용
※ 본 논문의 핵심 내용
1. Loss Fucntion : softmax(변형) loss / Euclideandistance-based / angular/cosine-margin-based
2. 어려운 Task(Pose 변화)를 처리하는 딥러닝 방법을 크게 두 개로 나눔 :
"one-to-many augmentation"와 "many-to-one normalization"
3. GAN이 어떻게 deep FR을 발전 시키는지
4. 공개 Database 비교 및 분석
- training methodology, evaluation tasks and metrics, and recognition scenes 관점에서
5. "scenario-specific" 데이터베이스 소개 : 위조방지, Cross-Age FR 등
6. Deep FR의 향후 방향성 논의 : 알고리즘/데이터 편향성, 모델 해석, adversarial samples
Section 2와 3 을 중심으로 다룰 예정입니다.
FR 시스템 모듈
1. Face Detection : 얼굴의 위치를 파악
2. Face Alignment : Facial Landmark Detector를 통해, 얼굴의 좌표를 맞춤
※ Anti-Spoofing을 통해, 다양한 위조(문제)에 대해서 방지함
3. FR Module : 정렬된 얼굴 이미지를 활용하여, Face Processing, Feature Extraction, Face Matching등을 수행
※ 본 논문은 FR Module에 대해서 중점적으로 논의
* Object Classification과의 차이점 :
Test Face 이미지를 Classifier가 학습하지 않음 = 학습에 사용한 데이터와 테스트 ID와는 분리(disjoint)되어있음
▶ Matching Algorithm은 FR에서 핵심 파트 !!
FR Module의 세부 구성
1. Face Processing : 포즈, 조명, 표정, 오클루전(Occlusion)등을 처리하는 것 ( ∵ Deep FR에 영향을 줌)
* Occlusion : 얼굴이 변장이나 선글라스 등의 가려지는 것.
- "One-to-Many Augmentation" : 단일 이미지 → 포즈가 변화되는 이미지를 생성 →
→ 딥러닝 모델이 poseinvariant representations를 학습
- "Many-to-One Normalization" : 정면이 아닌 얼굴 이미지 → 표준(정면) 얼굴로 복구(normalization) →
→ 제어된 조건에서 FR 진행
▶ deep face processing method에 대해서 다룰 예정 (∵ Main Challenge 이다)
※ Face Processing 접근법
※ Face Processing 접근법
2. Feature Extraction :
○ Network Architecture
- 단일 모델
- Multi-Task and Multi-Input 모델
○ Loss Function : 기존의 Softmax loss는 부적합함
∵ Softmax는 Intra-variation > Inter-difference 경향을 보임, FR에서는 Inter-difference가 중요
- Inter-difference를 키울 수 있는 여러 Loss function 연구
3. Face Matching by Deep Features :
○ FR은 크게 두 가지로 나누어짐 : Identification과 Verification
- Identification : 일대다 유사성 계산
- Verification : 일대일 유사성 계산
○ FR 시나리오 : Gallery가 사전에 등록되어있고, 새로운 subject(Probe)가 제시됨
- 효과적인 Face Matching을 위해서, Deep Feature의 후처리(PostProcess)에 대해서 소개할 예정
- Metric Learning, sparse-representation-based classifier (SRC) 등
FR은 일반적으로 위에 3 과정을 거치며, Cross-age FR같은 FR의 응용은 일반적인 FR과정에서 좀 더 추가 과정이 붙는다.
※ 이 논문의 핵심 중 하나인
Section 3 : Network Architecture 및 Loss function 소개
에 대해서, 다음 블로그에서 이어서 진행하겠습니다
'실용적인 AI > Metric Learning' 카테고리의 다른 글
| [번외] Metric Learning을 위한 딥러닝 - CBAM(Conv Block Attention Module) (0) | 2021.03.03 |
|---|---|
| Metric Learning을 위한 딥러닝 - CGD(Combination Global Descriptors) (1) | 2021.02.20 |
| Metric Learning 이란 - Feature 추출 (0) | 2021.02.12 |
| Metric Learning 이란 - 학습 방법(Loss) (0) | 2021.02.05 |
| Metric Learning(Image Retrieval) 이란? - 기본 (5) | 2021.02.02 |