KM-Hana

Transformer 설명 중 두 번째와 세 번째 파트 1. Transformer 구조 2. Position Encoding 3. 학습 방법 및 결과 "Position Encoding"와 "학습 방법 및 결과"에 대해서 소개해 드립니다! Transformer 의 구조에 대한 설명은 https://kmhana.tistory.com/28 Have A Nice AI kmhana.tistory.com 에서 요약해 두었습니다! https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 poi..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1706.03762.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 평가 불가 2. 실용성 : 평가 불가 설명 : 게임 체인저(Game Changer), Transformer 구조의 제안으로 Text 분야를 천하통일! - Transformer를 제안한 매우 중요한 논문 - Text 분야를 압도적으로 발전시킴 - BERT 등 최신 Text 모델에서 기본적으로 사용하는 구조 - 심지어, 이제는 Image 분야에서도 SOTA를 찍고 있다 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) "언젠간 Transformer를 다루어야지" 미루다가 드디어 정리하게 되었습니다 "Attention Is Al..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2010.11929.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2. 실용성 : 4점 설명 : 게임 체인저(Game Changer), Convolutional Network구조였던 시각 문제를 Transformer구조로 대체 - Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있으며, ViT논문이 그 시작점 - 더 많은 데이터를 더 적은 Cost로, 사전 학습 - Image Classification의 판도를 바꾼 논문으로 매우 중요한 논문 - 대용량의 학습 자원과 데이터가 필요.. 개인이 사전 학습하기엔 쉽지 않음 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고..

*크롬으로 보시는 걸 추천드립니다* 3. Metric Learning을 위한 딥러닝 - 번외 편 - Attention arxiv.org/pdf/1807.06521.pdf CBAM(Convolutional Block Attention Module) 논문을 중심으로 소개드리고자 합니다. CGD 논문 소개[ kmhana.tistory.com/19?category=842461 ] 이후, 어떤 Metric Learning관련 논문을 소개해 드릴까 고민하던 중에 CBAM(Convolutional Block Attention Module) 논문을 선정했습니다. 이전에 소개해 드린 Learning Loss for Active Learning 논문을 쓴 루닛(Lunit)에서 kmhana.tistory.com/10?cat..