KM-Hana

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2003.10580v4.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5 점 2. 실용성 : 4 점 설명 : Semi-supervised Learning으로도 엄청난 성능을 기록한 훌륭한 방법론 - 학생을 가르치는 선생과, 그 선생님을 발전시키는 학생 - Semi-Supervised Learning의 가능성을 여김 없이 보여준 논문 - 엄청난 모델 크기를 자랑하고 있는 Transformer 계열 모델 사이에서, 상대적으로 매우 작은 모델로 고성능 기록! - Noisy Student 논문을 함께 읽은 효과는 보너스 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) 2020년 처음 ImageN..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2010.11929.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2. 실용성 : 4점 설명 : 게임 체인저(Game Changer), Convolutional Network구조였던 시각 문제를 Transformer구조로 대체 - Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있으며, ViT논문이 그 시작점 - 더 많은 데이터를 더 적은 Cost로, 사전 학습 - Image Classification의 판도를 바꾼 논문으로 매우 중요한 논문 - 대용량의 학습 자원과 데이터가 필요.. 개인이 사전 학습하기엔 쉽지 않음 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고..

*크롬으로 보시는 걸 추천드립니다* kmhana.tistory.com/25 [논문요약] Classification 학습방법 - Bag of Tricks(2018) *크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개.. kmhana.tistory.com Classification 학습방법 - Bag of Tricks에 이어서, 효율적인 CNN Architecture를 다루고자 합니다. arxiv.org/pdf/1905.11946.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2..

Google Brain팀에서 발표한 Big Transfer (Bit) : General Visual Representation Learning 논문에 대해서 소개하고자 합니다. 종합 : ⭐⭐⭐ 1. 논문 중요도 : 4점 2. 실용성 : 3점 설명 : Transfer Learning에 인사이트를 줌 - 대용량 데이터를 사전학습 할 때와 그 모델을 Fine-tuning할때에 대한 고찰 - Transfer Learning에 좋은 참고가 될 수 있다 - 단, Google 전용 데이터를 사용했으며, 엄청난 자원이 필요하다는 점은 큰 단점이다. Big Transfer (BiT) 의의 1. '어떻게 해야 Transfer Learning을 잘 할 수 있을까?'에 대한 Insight를 얻을 수 있다. 2. 게다가, im..