KM-Hana

Multi-task learning(MTL)은 다양한 추천 시스템에 성공적으로 활용되고 있습니다.지난번에는 추천 분야의 주요 Multi-Task 논문 중 하나인 2020년 텐센트 논문 Progressive Layered Extraction(PLE)에 이어서,https://kmhana.tistory.com/55?category=882777 추천 MTL - Progressive Layered Extraction(PLE)Multi-task learning(MTL)은 다양한 추천 시스템에 성공적으로 활용되고 있습니다.추천 분야에서 많이 인용되는 논문 중 하나 인 Progressive Layered Extraction(PLE)에 대해서 소개드리고자 합니다. 추천 분야kmhana.tistory.com 2023년 최..

Multi-task learning(MTL)은 다양한 추천 시스템에 성공적으로 활용되고 있습니다.추천 MTL 중 핵심 논문 중 하나 인 Progressive Layered Extraction(PLE)에 대해서 소개드리고자 합니다.종합 : ⭐⭐⭐⭐1. 논문 중요도 : 4 점2. 실용성 : 4 점설명 : 추천 Multi-Task Learning 분야에서 핵심 논문 - MMoE를 효과적으로 개선 - 공유 전문가와 작업별 전문가를 명확히 분리 - Task간의 안좋은 영향인 Negative transfer와 시소 현상 완화 - 효율적인 Shared Representation 학습 구현Multi-Task Learning의 기초가 되는 기술 MoE(Mixture of Experts)의 역사에서 PLE가..

https://kmhana.tistory.com/53 Mixture-of-Experts 기반 추천 시스템 - ①Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분kmhana.tistory.com에 이어서, 추천 시스템에서의 Mixture-of-Experts(MoE)를 소개 드리고자 합니다. 많은 추천 시스템(recommender system) 응용은 다중 작업 학습(Multi-task learning)  기반으로 구축됩니다. 이러한 접근법의 핵심 아이디어는 사용자 참여(user engagement), 사용자 만족(user sat..

Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분야에서 혁신적으로 결합되어, 다양한 분야에서 MoE를 광범위하게 사용하게 되었습니다. 특히, LLM(Large Language Model)와 같은 대규모 어플리케이션에 성공적으로 활용되고 있습니다. Mixture-of-Experts (MoE)에 대한 소개와 중요하게 개선된 히스토리를 소개하고자 합니다. ※ https://blog.reachsumit.com/posts/2023/04/moe-for-recsys/ Mixture-of-Experts based Recommender Sys..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2311.04635v1종합 : ⭐⭐⭐⭐1. 논문 중요도 : 4 점2. 실용성 : 4 점설명 : 추천 시스템에 주요 트렌드를 적용한 논문 - Cross Network를 활용하여 Feature Interaction을 활용 - Information Gate를 활용하여 중요한 상호작용(Interaction)을 동적(dynamic)으로 필터링 - Embedding Layer의 Field별 중요도에 따라서 dimension 압축 - 2023년 기준으로 SOTA (24년도에는 DCVN v3가 리더보드를 갱신했지만 그 차이는 크지 않음)( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요)딥러..

*크롬으로 보시는 걸 추천드립니다* https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/45530.pdf종합 : ⭐⭐⭐⭐1. 논문 중요도 : 5 점2. 실용성 : 4 점설명 :  추천 시스템에 적용된 딥러닝 모델을 보고자 한다면, 가장 우선적으로 봐야 하는 논문 중 하나   - Candidate Generation 모델과 Ranking 모델로 Two-Stage로 추천을 진행   - 유투브 추천 시스템에서 적용되는 모델을 조금이나마 느낄 수 있음   - Feature 엔지니어링의 중요성   - 클릭률(CTR) 예측이 아닌, 시청시간(watch time)을 목적으로 딥러닝 모델을 학습 ( * 개인적인 의견이며, 제 리..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/1707.07435.pdf딥러닝을 적용한 추천 모델들을 전반적으로 소개하는 논문입니다.본 논문은 개인적으로 다음과 같은    1. 딥러닝을 적용한 추천 모델들의 맥락을 잡아주는 논문   2. 2019년 이후부터 현재까지 얼마나 딥러닝을 적용한 추천 모델이 발전했는지 보는 재미가 있는 논문 의미가 있었습니다. 추천 시스템에서의 딥러닝 모델추천 시스템이란?https://kmhana.tistory.com/30?category=882777  추천 시스템(Recommendation System) 시작*크롬으로 보시는 걸 추천드립니다* 사람들이 "AI(인공지능)"하면 떠오르는 것이 무엇이 있을까요 얼굴인식이나 파파고와 같은 기계 번역기, 알..