KM-Hana

Mixture-of-Experts 추천 시스템 개요 - ②

https://kmhana.tistory.com/53 Mixture-of-Experts 기반 추천 시스템 - ①Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분kmhana.tistory.com에 이어서, 추천 시스템에서의 Mixture-of-Experts(MoE)를 소개 드리고자 합니다. 많은 추천 시스템(recommender system) 응용은 다중 작업 학습(Multi-task learning)  기반으로 구축됩니다. 이러한 접근법의 핵심 아이디어는 사용자 참여(user engagement), 사용자 만족(user sat..

Mixture-of-Experts (MoE)는 1991년 Jacobs 등이 처음 제한한 고전적인 앙상블 기법입니다.MoE는 모델 용량을 크게 확장할 수 있으며, 계산 오버헤드 가능성이 크지 않습니다. 이러한 능력은 최근 딥러닝 분야에서 혁신적으로 결합되어, 다양한 분야에서 MoE를 광범위하게 사용하게 되었습니다. 특히, LLM(Large Language Model)와 같은 대규모 어플리케이션에 성공적으로 활용되고 있습니다. Mixture-of-Experts (MoE)에 대한 소개와 중요하게 개선된 히스토리를 소개하고자 합니다. ※ https://blog.reachsumit.com/posts/2023/04/moe-for-recsys/ Mixture-of-Experts based Recommender Sys..

*크롬으로 보시는 걸 추천드립니다* https://arxiv.org/pdf/2311.04635v1종합 : ⭐⭐⭐⭐1. 논문 중요도 : 4 점2. 실용성 : 4 점설명 :  추천 시스템에 주요 트렌드를 적용한 논문   - Cross Network를 활용하여 Feature Interaction을 활용   - Information Gate를 활용하여 중요한 상호작용(Interaction)을 동적(dynamic)으로 필터링   - Embedding Layer의 Field별 중요도에 따라서 dimension 압축   - 2023년 기준으로 SOTA (24년도에는 DCVN v3가 리더보드를 갱신했지만 그 차이는 크지 않음)( * 개인적인 의견이며, 제 리뷰를 보시는 분들에 도움드리기 위한 참고 정도로 봐주세요)딥러..

"데이터 사이언티스트 하지 마세요" 반론과 비판 2탄에 이어서, 3탄을 이어서 이야기해 보고자 합니다. "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업만으로는 성과 내기 어렵다. - 석·박사보다 성과를 내기 어렵기에, 신입을 잘 뽑지 않는다. - AI 프로젝트에서 모델링은 5% 정도다.. (그에 비해, 요즘 학부생들이 머신러닝에만 관심이 높다) 3. 백앤드로 시작해야 한다. - 백앤드가 수요가 더 높고 연봉도 높다. - 백앤드에서 데이터 엔지니어링으로 가기 쉬우며, 백앤드에서 머신러닝으로 가..

어떤 문제를 해결하고자 할지에 따라서, 머신러닝의 테스크(Task)가 나누어집니다. 기초 머신러닝 태스크(Task) 기본적인 Task는    ○ 회귀(Regression) : 연속형 문제를 해결하며, 예를 들어 "하루에 몇 건의 메일이 오는지"와 같은-∞~+∞ 범위의 문제를 다룹니다    ○ 분류(Classification) : 범주형 문제를 해결하며, 예를 들어 "받은 메일이 스팸인지 아닌지"와 같은 범주형 문제를 다룹니다 다시 분류 문제는     ○ 이진 분류(Binary Classification) : 두 개의 카테고리를 맞추는 문제를 해결하며, 예를 들어 스팸인지 아닌지를 다룹니다.    ○ 다중 분류(Multi Classification) :  세 개의 이상의 카테고리 문제를 해결하며, 예를 들..

"데이터 사이언티스트 하지 마세요" 반론과 비판 1탄에 이어서, 2탄을 이어서 이야기해보고자 합니다. "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업만으로는 성과 내기 어렵다. - 석·박사보다 성과를 내기 어렵기에, 신입을 잘 뽑지 않는다. - AI 프로젝트에서 모델링은 5% 정도다.. (그에 비해, 요즘 학부생들이 머신러닝에만 관심이 높다) 3. 백앤드로 시작해야 한다. - 백앤드가 수요가 더 높고 연봉도 높다. - 백앤드에서 데이터 엔지니어링으로 가기 쉬우며, 백앤드에서 머신러닝으로 가기..

데이터 사이언티스트이란 직무에 관심 있던 취준생이라면 연관 검색어로 "데이터 사이언티스트 하지 마세요"를 봤을 수 있을 것입니다. 더보기 ※ "데이터 사이언티스트 하지 마세요" : 관련 영상 : https://youtu.be/8 mjeJpHtLVQ 저는 이 영상을 보면서, 데이터 사이언티스트의 현실과 어려움에 대하여 공감 가는 부분이 있었지만, 데이터 사이언티스트를 하지말라는 이야기에는 동의하지 않습니다. 관련하여, 반박과 비판을 하고자 합니다 "데이터 사이언티스트 하지 마세요"를 요약하자면 다음과 같습니다. 1. 대부분의 회사에서는 데이터가 없다. 즉 머신러닝만으로 성과를 낼 환경이 부족하다. - 로그를 직접 남기거나 백앤드 개발자를 설득해야 하므로 업무의 진행 속도가 느리다. 2. 신입이나 학부 졸업..

데이터 사이언티스트(AI 전문가) 취업 설명회에서 받았던 첫 질문이었다. “경영학과인데 파이썬를 공부해야 할까요?” “또, 저는 좋은 학교가 아닌데, 데이터 분석 관련 일을 할 수 있을까요?” 라는 질문이었다. 데이터 사이언티스트(Data Scientist)라는 직무를 고민하는 사람들이 "학력과 학과"에 대해 고민이 많다는 것을 알게 되었다. 나 또한, 관련된 고민이 많았었다. 내가 처음 AI 직무로 취업할 때 "석사 이상"이라는 필수조건이 심심치 않게 보였기 때문이다. 높은 연차가 아님에도, 면접관으로 참여하면서 경험하고 배운 점 덕분에, 데이터 사이언티스트가 되고 싶은 분들의 "학력과 학과"에 대한 고민을 답하고자 한다. 나의 답은 다음과 같았다. "우리는 함께 성장할 수 있는 사람을 뽑는다." "그..

글로벌 대기업 중심으로 초거대 AI가 개발되고, 상업화가 이루어지고 있습니다 우리나라의 경우, 국내 대기업을 중심으로 AI 트렌드(초거대 AI)를 따라가려는 움직임이 계속되고 있으며. 스타트업을 중심으로 초거대 AI를 활용하거나, 직접 중소형 AI 모델을 만들려는 추세가 이어지고 있습니다. 초거대 AI를 그대로 사용할 수도. 아니면 직접 AI 모델을 만들 수 있겠지만, 결국은 그 AI를 어떻게 활용할지. 어떻게 모델을 구축할지는. ○ Data Scientist ○ AI 전문가 가 만들어 갑니다. 이 글은 데이터 사이언티스트나 AI 전문가가 되고 싶은 분들을 위해 적어봅니다 ○ 그렇기에, 이 내용은 동생이나 후배, 친구를 위해. 좀 더 도움이 되었으면 하는 마음으로 작성했습니다 ○ 그렇기에, 기술적인 내용..

*크롬으로 보시는 걸 추천드립니다* https://static.googleusercontent.com/media/research.google.com/ko//pubs/archive/45530.pdf종합 : ⭐⭐⭐⭐1. 논문 중요도 : 5 점2. 실용성 : 4 점설명 :  추천 시스템에 적용된 딥러닝 모델을 보고자 한다면, 가장 우선적으로 봐야 하는 논문 중 하나   - Candidate Generation 모델과 Ranking 모델로 Two-Stage로 추천을 진행   - 유투브 추천 시스템에서 적용되는 모델을 조금이나마 느낄 수 있음   - Feature 엔지니어링의 중요성   - 클릭률(CTR) 예측이 아닌, 시청시간(watch time)을 목적으로 딥러닝 모델을 학습 ( * 개인적인 의견이며, 제 리..