KM-Hana

Multi-task learning(MTL)은 다양한 추천 시스템에 성공적으로 활용되고 있습니다.추천 분야에서 많이 인용되는 논문 중 하나 인 Progressive Layered Extraction(PLE)에 대해서 소개드리고자 합니다. 추천 분야의 MTL 개요는 다음 내용을 참고하시면 좋습니다https://kmhana.tistory.com/54 Mixture-of-Experts 추천 시스템 개요 - ②https://kmhana.tistory.com/53 Mixture-of-Experts 기반 추천 시스템 - ①Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버kmhana.tistory..

Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분야에서 혁신적으로 결합되어, 다양한 분야에서 MoE를 광범위하게 사용하게 되었습니다. 특히, LLM(Large Language Model)와 같은 대규모 어플리케이션에 성공적으로 활용되고 있습니다. Mixture-of-Experts (MoE)에 대한 소개와 중요하게 개선된 히스토리를 소개하고자 합니다. ※ https://blog.reachsumit.com/posts/2023/04/moe-for-recsys/ Mixture-of-Experts based Recommender Sys..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1707.07435.pdf딥러닝을 적용한 추천 모델들을 전반적으로 소개하는 논문입니다.본 논문은 개인적으로 다음과 같은    1. 딥러닝을 적용한 추천 모델들의 맥락을 잡아주는 논문   2. 2019년 이후부터 현재까지 얼마나 딥러닝을 적용한 추천 모델이 발전했는지 보는 재미가 있는 논문 의미가 있었습니다. 추천 시스템에서의 딥러닝 모델추천 시스템이란?https://kmhana.tistory.com/30?category=882777  추천 시스템(Recommendation System) 시작*크롬으로 보시는 걸 추천드립니다* 사람들이 "AI(인공지능)"하면 떠오르는 것이 무엇이 있을까요 얼굴인식이나 파파고와 같은 기계 번역기, 알..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2003.10580v4.pdf종합 : ⭐⭐⭐⭐1. 논문 중요도 : 5 점2. 실용성 : 4 점설명 :  Semi-supervised Learning으로도 엄청난 성능을 기록한 훌륭한 방법론   - 학생을 가르치는 선생과, 그 선생님을 발전시키는 학생   - Semi-Supervised Learning의 가능성을 여김 없이 보여준 논문   - 엄청난 모델 크기를 자랑하고 있는 Transformer 계열 모델 사이에서, 상대적으로 매우 작은 모델로 고성능 기록!    - Noisy Student 논문을 함께 읽은 효과는 보너스 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요) 2020년 처음 ..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2010.11929.pdf 종합 : ⭐⭐⭐⭐ 1. 논문 중요도 : 5점 2. 실용성 : 4점 설명 : 게임 체인저(Game Changer), Convolutional Network구조였던 시각 문제를 Transformer구조로 대체 - Transformer구조를 사용한 Architecture가 수 많은 SOTA를 찍고 있으며, ViT논문이 그 시작점 - 더 많은 데이터를 더 적은 Cost로, 사전 학습 - Image Classification의 판도를 바꾼 논문으로 매우 중요한 논문 - 대용량의 학습 자원과 데이터가 필요.. 개인이 사전 학습하기엔 쉽지 않음 ( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고..

*크롬으로 보시는 걸 추천드립니다* 3. Metric Learning을 위한 딥러닝 - 번외 편 - Attention arxiv.org/pdf/1807.06521.pdf CBAM(Convolutional Block Attention Module) 논문을 중심으로 소개드리고자 합니다. CGD 논문 소개[ kmhana.tistory.com/19?category=842461 ] 이후, 어떤 Metric Learning관련 논문을 소개해 드릴까 고민하던 중에 CBAM(Convolutional Block Attention Module) 논문을 선정했습니다. 이전에 소개해 드린 Learning Loss for Active Learning 논문을 쓴 루닛(Lunit)에서 kmhana.tistory.com/10?cat..

*크롬으로 보시는 걸 추천드립니다* 2. Metric Learning을 위한 딥러닝 - Multi-Grain - CGD(Combination of Multiple Global Descriptors) arxiv.org/pdf/1903.10663v4.pdf CGD 논문을 중심으로 소개드리고자 합니다. Global Descriptor(SPoc, MAC, GeM)를 병렬로 연결하는 CGD 모델의 특성상, kmhana.tistory.com/18?category=842461 Metric Learning 이란 - Feature 추출 *크롬으로 보시는 걸 추천드립니다* 본 "Metric Learning 이란 - Feature 추출"을 보시기 전에 kmhana.tistory.com/14 Metric Learning(Im..