KM-Hana

Transformer 설명 중 두 번째와 세 번째 파트 1. Transformer 구조 2. Position Encoding 3. 학습 방법 및 결과 "Position Encoding"와 "학습 방법 및 결과"에 대해서 소개해 드립니다! Transformer 의 구조에 대한 설명은 https://kmhana.tistory.com/28 Have A Nice AI kmhana.tistory.com 에서 요약해 두었습니다! https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 poi..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1706.03762.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 평가 불가 2. 실용성 : 평가 불가 설명 : 게임 체인저(Game Changer), Transformer 구조의 제안으로 Text 분야를 천하통일! - Transformer를 제안한 매우 중요한 논문 - Text 분야를 압도적으로 발전시킴 - BERT 등 최신 Text 모델에서 기본적으로 사용하는 구조 - 심지어, 이제는 Image 분야에서도 SOTA를 찍고 있다 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) "언젠간 Transformer를 다루어야지" 미루다가 드디어 정리하게 되었습니다 "Attention Is Al..

*크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개해 드리려고 합니다. 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 4점 2. 실용성 : 5점 설명 : 최대한 성능을 끌어올려 보자! - 성능을 높이기 위한 종합 선물 세트 - ResNet 모델을 학습할 때, 최대한의 성능을 뽑아내기 위한 여러 보조적인 방법들을 소개합니다 - Learning Rate Schedule이나 Regularization, Decay 적용 등에 대한 Ablation Study를 진행했습니다 - 성능 향상을 위한, 여..

☆딥러닝 공부를 위해서 꼭 읽어야 할 논문(사이트)들의 리스트를 정리해보고자한다. 순수히 개인적인 의견으로, 사용자의 관점에서 평가했다. 실제 AI 프로젝트를 진행할 때 도움이 되었던 논문들을 중심으로 우선순위를 작성했다. * 지표 : 1. 논문의 중요성 : 마일드스톤, 인용, 중요저자 등 2. 실용성 : 실제 모델 개발 시, 활용도 * 참고사이트: 1. github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap 2. github.com/terryum/awesome-deep-learning-papers 3. paperswithcode.com/sota/image-classification-on-imagenet Papers with Code - ImageNet B..