KM-Hana

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2003.10580v4.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5 점 2. 실용성 : 4 점 설명 : Semi-supervised Learning으로도 엄청난 성능을 기록한 훌륭한 방법론 - 학생을 가르치는 선생과, 그 선생님을 발전시키는 학생 - Semi-Supervised Learning의 가능성을 여김 없이 보여준 논문 - 엄청난 모델 크기를 자랑하고 있는 Transformer 계열 모델 사이에서, 상대적으로 매우 작은 모델로 고성능 기록! - Noisy Student 논문을 함께 읽은 효과는 보너스 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) 2020년 처음 ImageN..

Transformer 설명 중 두 번째와 세 번째 파트 1. Transformer 구조 2. Position Encoding 3. 학습 방법 및 결과 "Position Encoding"와 "학습 방법 및 결과"에 대해서 소개해 드립니다! Transformer 의 구조에 대한 설명은 https://kmhana.tistory.com/28 Have A Nice AI kmhana.tistory.com 에서 요약해 두었습니다! https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 poi..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1706.03762.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 평가 불가 2. 실용성 : 평가 불가 설명 : 게임 체인저(Game Changer), Transformer 구조의 제안으로 Text 분야를 천하통일! - Transformer를 제안한 매우 중요한 논문 - Text 분야를 압도적으로 발전시킴 - BERT 등 최신 Text 모델에서 기본적으로 사용하는 구조 - 심지어, 이제는 Image 분야에서도 SOTA를 찍고 있다 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) "언젠간 Transformer를 다루어야지" 미루다가 드디어 정리하게 되었습니다 "Attention Is Al..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2010.11929.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2. 실용성 : 4점 설명 : 게임 체인저(Game Changer), Convolutional Network구조였던 시각 문제를 Transformer구조로 대체 - Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있으며, ViT논문이 그 시작점 - 더 많은 데이터를 더 적은 Cost로, 사전 학습 - Image Classification의 판도를 바꾼 논문으로 매우 중요한 논문 - 대용량의 학습 자원과 데이터가 필요.. 개인이 사전 학습하기엔 쉽지 않음 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고..

*크롬으로 보시는 걸 추천드립니다* kmhana.tistory.com/25 [논문요약] Classification 학습방법 - Bag of Tricks(2018) *크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개.. kmhana.tistory.com Classification 학습방법 - Bag of Tricks에 이어서, 효율적인 CNN Architecture를 다루고자 합니다. arxiv.org/pdf/1905.11946.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2..

*크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개해 드리려고 합니다. 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 4점 2. 실용성 : 5점 설명 : 최대한 성능을 끌어올려 보자! - 성능을 높이기 위한 종합 선물 세트 - ResNet 모델을 학습할 때, 최대한의 성능을 뽑아내기 위한 여러 보조적인 방법들을 소개합니다 - Learning Rate Schedule이나 Regularization, Decay 적용 등에 대한 Ablation Study를 진행했습니다 - 성능 향상을 위한, 여..

☆딥러닝 공부를 위해서 꼭 읽어야 할 논문(사이트)들의 리스트를 정리해보고자한다. 순수히 개인적인 의견으로, 사용자의 관점에서 평가했다. 실제 AI 프로젝트를 진행할 때 도움이 되었던 논문들을 중심으로 우선순위를 작성했다. * 지표 : 1. 논문의 중요성 : 마일드스톤, 인용, 중요저자 등 2. 실용성 : 실제 모델 개발 시, 활용도 * 참고사이트: 1. github.com/floodsung/Deep-Learning-Papers-Reading-Roadmap 2. github.com/terryum/awesome-deep-learning-papers 3. paperswithcode.com/sota/image-classification-on-imagenet Papers with Code - ImageNet B..