KM-Hana

Transformer 설명 중 두 번째와 세 번째 파트 1. Transformer 구조 2. Position Encoding 3. 학습 방법 및 결과 "Position Encoding"와 "학습 방법 및 결과"에 대해서 소개해 드립니다! Transformer 의 구조에 대한 설명은 https://kmhana.tistory.com/28 Have A Nice AI kmhana.tistory.com 에서 요약해 두었습니다! https://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer Discussions: Hacker News (65 points, 4 comments), Reddit r/MachineLearning (29 poi..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1706.03762.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 평가 불가 2. 실용성 : 평가 불가 설명 : 게임 체인저(Game Changer), Transformer 구조의 제안으로 Text 분야를 천하통일! - Transformer를 제안한 매우 중요한 논문 - Text 분야를 압도적으로 발전시킴 - BERT 등 최신 Text 모델에서 기본적으로 사용하는 구조 - 심지어, 이제는 Image 분야에서도 SOTA를 찍고 있다 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) "언젠간 Transformer를 다루어야지" 미루다가 드디어 정리하게 되었습니다 "Attention Is Al..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2010.11929.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2. 실용성 : 4점 설명 : 게임 체인저(Game Changer), Convolutional Network구조였던 시각 문제를 Transformer구조로 대체 - Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있으며, ViT논문이 그 시작점 - 더 많은 데이터를 더 적은 Cost로, 사전 학습 - Image Classification의 판도를 바꾼 논문으로 매우 중요한 논문 - 대용량의 학습 자원과 데이터가 필요.. 개인이 사전 학습하기엔 쉽지 않음 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고..

*크롬으로 보시는 걸 추천드립니다* kmhana.tistory.com/25 [논문요약] Classification 학습방법 - Bag of Tricks(2018) *크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개.. kmhana.tistory.com Classification 학습방법 - Bag of Tricks에 이어서, 효율적인 CNN Architecture를 다루고자 합니다. arxiv.org/pdf/1905.11946.pdf 종합 : ⭐⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2..

*크롬으로 보시는 걸 추천드립니다* 이미지 Classification의 성능을 최대한도로 높이기 위한 방법을 제시하는 논문 : Bag of Tricks for Image Classification with CNN [arxiv.org/pdf/1812.01187.pdf] 을 소개해 드리려고 합니다. 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 4점 2. 실용성 : 5점 설명 : 최대한 성능을 끌어올려 보자! - 성능을 높이기 위한 종합 선물 세트 - ResNet 모델을 학습할 때, 최대한의 성능을 뽑아내기 위한 여러 보조적인 방법들을 소개합니다 - Learning Rate Schedule이나 Regularization, Decay 적용 등에 대한 Ablation Study를 진행했습니다 - 성능 향상을 위한, 여..

*크롬으로 보시는 걸 추천드립니다* "영상 분석(Video Analysis) 이란? - Tracking ① 탄" kmhana.tistory.com/22 에 이어서, Object Tracking을 위한 딥러닝을 정리하고자 합니다. 원래는 전편에서 마무리 지을 생각이었으나, Object Tracking을 다룬 경험이 적다 보니, 다소 늦어졌습니다 nanonets.com/blog/object-tracking-deepsort/ DeepSORT: Deep Learning to track custom objects in a video Learn about the theory and challenges in object tracking, how to use pre-trained object detection mode..

*크롬으로 보시는 걸 추천드립니다* 본 "영상 분석(Video Analysis) 이란? - Tracking"을 보시기 전에 kmhana.tistory.com/20 영상 분석(Video Analysis) 이란? - 기본 *크롬으로 보시는 걸 추천드립니다* 이미지 분석(Image Analysis)을 연구하거나, 산업에 적용하다 보면 영상 분석(Video Analysis)에 대해서 종종 접하게 됩니다. 영상 분석을 접할 기회가 적은 편이고, ' kmhana.tistory.com 를 먼저 보시면서, Video Analysis의 기본적인 개념에 대해서, 참고하시는 것을 추천드립니다. 비디오(영상) 분석의 핵심 요소 : 1. Object Detection 2. Object Tracking 3. Action Clas..