mayreel 님의 블로그

3-3 HIERARCHICAL ENCODER-DECODER서로 다른 scale에 대한 정보를 얻기 위해 MTS forecasting의 transformer에서는 주로 hierarchical structure를 사용DSW embedding, TSA layer, segment merging을 사용하여 Hierarchical Encoder-Decoder(HED)를 생성Fig. 3처럼, upper layer는 예측을 위해 주어진 정보의 대략적인 내용(coarser scale)만 사용여러 가지 scale에서의 예측값은 최종 산출물인 output에 더해짐Encoder각 encoder의 첫 번째 layer를 제외한 layer에서 time domain에 인접한 두 개의 vector는 coarser level을 나타내기..

ABSTRACT다변량 시계열(MTS)을 예측하는 Transformer 기반 모델들은 long-term dependency에 뛰어난 성능을 가지지만, temporal dependency에 초점을 두고 있어서 여러 차원(변수) 간의 의존성을 무시하는 경향이 있음이러한 문제점을 해결하기 위해서 차원 간 의존성을 활용하는 Transformer 기반 모델인 Crossformer를 제안해당 모델에서는 Dimension-Segment-Wise(DSW) embedding을 통해 입력된 MTS를 2D Vector array에 embedding하여 시간과 차원(변수) 사이의 정보를 보존이후, 시간과 차원 간의 dependency를 효율적으로 가저오기 위해 Two-Stage Attention(TSA) layer를 사용해당 ..

Infolink: Deep Neural Networks for YouTube RecommendationsSummaryDeep Neural Networks를 활용한 유튜브의 추천 시스템 논문Youtube 추천 시스템을 구현하는 과정에서 발생한 제약사항(scale, Freshness, Noise)를 Tensorflow, MF를 사용하여 해결AbstractYouTube는 당시 추천 시스템 중 가장 큰 규모의 사용자를 보유하고 있었고 정교함을 가진 추천 시스템을 서비스에 적용하고 있었음해당 논문에서 딥러닝 모델(Deep Candidate Generation Model, Separate Deep Ranking Model)이 어떻게 Youtube의 추천 시스템에 영향을 줬는지를 주로 설명추가적으로 대규모 추천 시스..