KM-Hana

Mixture-of-Experts 추천 시스템 개요 - ②

https://kmhana.tistory.com/53 Mixture-of-Experts 기반 추천 시스템 - ①Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분kmhana.tistory.com에 이어서, 추천 시스템에서의 Mixture-of-Experts(MoE)를 소개 드리고자 합니다. 많은 추천 시스템(recommender system) 응용은 다중 작업 학습(Multi-task learning)  기반으로 구축됩니다. 이러한 접근법의 핵심 아이디어는 사용자 참여(user engagement), 사용자 만족(user sat..

Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분야에서 혁신적으로 결합되어, 다양한 분야에서 MoE를 광범위하게 사용하게 되었습니다. 특히, LLM(Large Language Model)와 같은 대규모 어플리케이션에 성공적으로 활용되고 있습니다. Mixture-of-Experts (MoE)에 대한 소개와 중요하게 개선된 히스토리를 소개하고자 합니다. ※ https://blog.reachsumit.com/posts/2023/04/moe-for-recsys/ Mixture-of-Experts based Recommender Sys..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2311.04635v1종합 : ⭐⭐⭐⭐1. 논문 중요도 : 4 점2. 실용성 : 4 점설명 :  추천 시스템에 주요 트렌드를 적용한 논문   - Cross Network를 활용하여 Feature Interaction을 활용   - Information Gate를 활용하여 중요한 상호작용(Interaction)을 동적(dynamic)으로 필터링   - Embedding Layer의 Field별 중요도에 따라서 dimension 압축   - 2023년 기준으로 SOTA (24년도에는 DCVN v3가 리더보드를 갱신했지만 그 차이는 크지 않음)( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요)딥러..

"데이터 사이언티스트 하지 마세요" 반론과 비판 2탄에 이어서, 3탄을 이어서 이야기해 보고자 합니다. "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업만으로는 성과 내기 어렵다. - 석·박사보다 성과를 내기 어렵기에, 신입을 잘 뽑지 않는다. - AI 프로젝트에서 모델링은 5% 정도다.. (그에 비해, 요즘 학부생들이 머신러닝에만 관심이 높다) 3. 백앤드로 시작해야 한다. - 백앤드가 수요가 더 높고 연봉도 높다. - 백앤드에서 데이터 엔지니어링으로 가기 쉬우며, 백앤드에서 머신러닝으로 가..

어떤 문제를 해결하고자 할지에 따라서, 머신러닝의 테스크(Task)가 나누어집니다. 기초 머신러닝 태스크(Task) 기본적인 Task는    ○ 회귀(Regression) : 연속형 문제를 해결하며, 예를 들어 "하루에 몇 건의 메일이 오는지"와 같은-∞~+∞ 범위의 문제를 다룹니다    ○ 분류(Classification) : 범주형 문제를 해결하며, 예를 들어 "받은 메일이 스팸인지 아닌지"와 같은 범주형 문제를 다룹니다 다시 분류 문제는     ○ 이진 분류(Binary Classification) : 두 개의 카테고리를 맞추는 문제를 해결하며, 예를 들어 스팸인지 아닌지를 다룹니다.    ○ 다중 분류(Multi Classification) :  세 개의 이상의 카테고리 문제를 해결하며, 예를 들..

"데이터 사이언티스트 하지 마세요" 반론과 비판 1탄에 이어서, 2탄을 이어서 이야기해보고자 합니다. "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업만으로는 성과 내기 어렵다. - 석·박사보다 성과를 내기 어렵기에, 신입을 잘 뽑지 않는다. - AI 프로젝트에서 모델링은 5% 정도다.. (그에 비해, 요즘 학부생들이 머신러닝에만 관심이 높다) 3. 백앤드로 시작해야 한다. - 백앤드가 수요가 더 높고 연봉도 높다. - 백앤드에서 데이터 엔지니어링으로 가기 쉬우며, 백앤드에서 머신러닝으로 가기..

데이터 사이언티스트이란 직무에 관심 있던 취준생이라면 연관 검색어로 "데이터 사이언티스트 하지 마세요"를 봤을 수 있을 것입니다. 더보기 ※ "데이터 사이언티스트 하지 마세요" : 관련 영상 : https://youtu.be/8 mjeJpHtLVQ 저는 이 영상을 보면서, 데이터 사이언티스트의 현실과 어려움에 대하여 공감 가는 부분이 있었지만, 데이터 사이언티스트를 하지말라는 이야기에는 동의하지 않습니다. 관련하여, 반박과 비판을 하고자 합니다 "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업..