KM-Hana

Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분야에서 혁신적으로 결합되어, 다양한 분야에서 MoE를 광범위하게 사용하게 되었습니다. 특히, LLM(Large Language Model)와 같은 대규모 어플리케이션에 성공적으로 활용되고 있습니다. Mixture-of-Experts (MoE)에 대한 소개와 중요하게 개선된 히스토리를 소개하고자 합니다. ※ https://blog.reachsumit.com/posts/2023/04/moe-for-recsys/ Mixture-of-Experts based Recommender Sys..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2311.04635v1종합 : ⭐⭐⭐⭐1. 논문 중요도 : 4 점2. 실용성 : 4 점설명 :  추천 시스템에 주요 트렌드를 적용한 논문   - Cross Network를 활용하여 Feature Interaction을 활용   - Information Gate를 활용하여 중요한 상호작용(Interaction)을 동적(dynamic)으로 필터링   - Embedding Layer의 Field별 중요도에 따라서 dimension 압축   - 2023년 기준으로 SOTA (24년도에는 DCVN v3가 리더보드를 갱신했지만 그 차이는 크지 않음)( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요)딥러..

*크롬으로 보시는 걸 추천드립니다* https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/45530.pdf종합 : ⭐⭐⭐⭐1. 논문 중요도 : 5 점2. 실용성 : 4 점설명 :  추천 시스템에 적용된 딥러닝 모델을 보고자 한다면, 가장 우선적으로 봐야 하는 논문 중 하나   - Candidate Generation 모델과 Ranking 모델로 Two-Stage로 추천을 진행   - 유투브 추천 시스템에서 적용되는 모델을 조금이나마 느낄 수 있음   - Feature 엔지니어링의 중요성   - 클릭률(CTR) 예측이 아닌, 시청시간(watch time)을 목적으로 딥러닝 모델을 학습 ( * 개인적인 의견이며, 제 리..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1707.07435.pdf딥러닝을 적용한 추천 모델들을 전반적으로 소개하는 논문입니다.본 논문은 개인적으로 다음과 같은    1. 딥러닝을 적용한 추천 모델들의 맥락을 잡아주는 논문   2. 2019년 이후부터 현재까지 얼마나 딥러닝을 적용한 추천 모델이 발전했는지 보는 재미가 있는 논문 의미가 있었습니다. 추천 시스템에서의 딥러닝 모델추천 시스템이란?https://kmhana.tistory.com/30?category=882777  추천 시스템(Recommendation System) 시작*크롬으로 보시는 걸 추천드립니다* 사람들이 "AI(인공지능)"하면 떠오르는 것이 무엇이 있을까요 얼굴인식이나 파파고와 같은 기계 번역기, 알..

*크롬으로 보시는 걸 추천드립니다* 우리 일상생활에 녹아있는 "인공지능(AI)"에는 추천 시스템이 있다는 것을 소개해 드렸습니다 https://kmhana.tistory.com/30 Have A Nice AI kmhana.tistory.com 이제 부터는 조금 더 알고리즘 측면에서, 추천이 이루어지고 있는지 차근차근 뜯어 보겠습니다 가장 추천 알고리즘의 기본은 1) 협업 필터링(Collaborative Filtering) • Memory Based Approach - User-based Filtering - Item-based Filtering • Model Based Approach - 행렬 분해(Matrix Factorization) 2) 콘텐츠 필터링(Contents-Based Filtering) ..

*크롬으로 보시는 걸 추천드립니다* 사람들이 "AI(인공지능)"하면 떠오르는 것이 무엇이 있을까요 얼굴인식이나 파파고와 같은 기계 번역기, 알파고 같은 게 있을 겁니다 하지만, "AI(인공지능)"이 우리 일상생활에서 가장 잘 녹아있는 분야는 "추천(Recommendation)"일 것입니다 추천 시스템은 우리 주변에서 어떤 영화를 볼지(넷플릭스)나 어떤 동영상을 볼지(유튜브), 무엇을 살지(Amazon) 등을 추천해주고 있습니다! 이러한 추천 시스템은 우리의 패턴과 행동 파악하여, 무엇을 앞으로 더 좋아할지 예측합니다 https://medium.com/@springboard_ind/how-netflixs-recommendation-engine-works-bd1ee381bf81 How Netflix’s Re..