mayreel 님의 블로그

본 논문에서는 Yandex.Music이라는 음악 스트리밍 서비스에서 수집한 대규모 공개 데이터셋 Yambda-5B를 소개Abstract데이터셋 규모, 구성Yambda-5B는 1백만 명의 사용자로부터 939만 개 트랙에 걸쳐 약 47억 9천만 건의 User-Item 상호작용 데이터를 포함Yambda-5B의 user-item 상호작용암묵적 피드백: 사용자가 음악 재생명시적 피드백: 사용자가 '좋아요(likes)', '싫어요(dislikes)', '좋아요 취소(unlikes)', '싫어요 취소(undislikes)'를 누른 선호/비선호 여부또한 대부분의 트랙에 대해 오디오 스펙트로그램으로 학습된 CNN을 통해 생성된 오디오 임베딩도 제공Yambda-5B의 주요 특징(is_organic)is_organic의 도..

Meta AI의 문장 기반 고차원 언어 모델(LCM: Large Concept Models)Meta AI에서 기존의 토큰 단위 언어 모델(LLM)이 가진 한계를 극복하고, 인간의 사고방식에 더 가까운 문장 단위의 의미 표현을 구현한 LCM(Large Concept Models)을 제안1. LCM 도입 배경사람은 문장이나 단락 단위로 의미를 이해하고 추론하는 경향이 있지만, 기존의 LLM은 단어 또는 token 단위로 입력과 출력을 처리하기 때문에 문맥에 대한 이해와 token 단위 기반 모델의 한계가 있음문맥의 깊이 있는 이해: 인간은 긴 문서를 읽을 때 단어 하나하나보다 문장 전체의 맥락을 파악하며 이를 기반으로 계획과 추론을 수행토큰 기반 모델의 한계: 토큰 단위로 문장을 처리할 경우 문맥 정보가 산..

1.INTRODUCTION전통적인 A/B Test는 대규모 실사용자 트래픽과 긴 실험 기간에 의존하기 때문에 신속한 디자인 검증이 어렵다. 따라서 해당 논문은 LLM 기반 자율 에이전트를 도입해 웹사이트 A/B 테스트를 자동화·대규모 확장하는 Agent A/B를 제안.Agent A/B를 적용하여 다양한 페르소나를 가진 LLM 에이전트를 생성하고 실시간 웹 환경에서 검색·클릭·구매 행동을 수행하도록 함으로써 수시간 내에 실험 결과를 확보 가능2. 전통적인 A/B Test의 한계기존의 A/B 테스트: 웹페이지나 앱 등 디지털 인터페이스의 두 가지 버전을 비교하여 사용자 행동 차이를 분석함으로써 디자인 전략에 대한 데이터 기반 의사결정을 지원하는 기본 방법론A/B Test가 실험 환경 통제와 신뢰도를 제공하지..

3-3 HIERARCHICAL ENCODER-DECODER서로 다른 scale에 대한 정보를 얻기 위해 MTS forecasting의 transformer에서는 주로 hierarchical structure를 사용DSW embedding, TSA layer, segment merging을 사용하여 Hierarchical Encoder-Decoder(HED)를 생성Fig. 3처럼, upper layer는 예측을 위해 주어진 정보의 대략적인 내용(coarser scale)만 사용여러 가지 scale에서의 예측값은 최종 산출물인 output에 더해짐Encoder각 encoder의 첫 번째 layer를 제외한 layer에서 time domain에 인접한 두 개의 vector는 coarser level을 나타내기..

ABSTRACT다변량 시계열(MTS)을 예측하는 Transformer 기반 모델들은 long-term dependency에 뛰어난 성능을 가지지만, temporal dependency에 초점을 두고 있어서 여러 차원(변수) 간의 의존성을 무시하는 경향이 있음이러한 문제점을 해결하기 위해서 차원 간 의존성을 활용하는 Transformer 기반 모델인 Crossformer를 제안해당 모델에서는 Dimension-Segment-Wise(DSW) embedding을 통해 입력된 MTS를 2D Vector array에 embedding하여 시간과 차원(변수) 사이의 정보를 보존이후, 시간과 차원 간의 dependency를 효율적으로 가저오기 위해 Two-Stage Attention(TSA) layer를 사용해당 ..

Infolink: Deep Neural Networks for YouTube RecommendationsSummaryDeep Neural Networks를 활용한 유튜브의 추천 시스템 논문Youtube 추천 시스템을 구현하는 과정에서 발생한 제약사항(scale, Freshness, Noise)를 Tensorflow, MF를 사용하여 해결AbstractYouTube는 당시 추천 시스템 중 가장 큰 규모의 사용자를 보유하고 있었고 정교함을 가진 추천 시스템을 서비스에 적용하고 있었음해당 논문에서 딥러닝 모델(Deep Candidate Generation Model, Separate Deep Ranking Model)이 어떻게 Youtube의 추천 시스템에 영향을 줬는지를 주로 설명추가적으로 대규모 추천 시스..