| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- Deep Neural Network
- regex
- yambda5b
- Retrieval
- nlp
- time series
- ML
- llm
- RecSys
- 시계열
- yambda
- music dataset
- 정규표현식
- Data Warehouse
- Python
- Datalake
- recommendation system
- Ai
- MySQL
- Data Engineering
- SQL
- Machine Learning
- query
- DataSet
- a/b test
- META AI
- crossformer
- yandexmusic
- LCM
- Transformer
- Today
- Total
목록crossformer (2)
mayreel 님의 블로그
CROSSFORMER: Transformer Utilizing Cross-dimension Dependency for Multivariate Time Series Forecasting(2/2)
3-3 HIERARCHICAL ENCODER-DECODER서로 다른 scale에 대한 정보를 얻기 위해 MTS forecasting의 transformer에서는 주로 hierarchical structure를 사용DSW embedding, TSA layer, segment merging을 사용하여 Hierarchical Encoder-Decoder(HED)를 생성Fig. 3처럼, upper layer는 예측을 위해 주어진 정보의 대략적인 내용(coarser scale)만 사용여러 가지 scale에서의 예측값은 최종 산출물인 output에 더해짐Encoder각 encoder의 첫 번째 layer를 제외한 layer에서 time domain에 인접한 두 개의 vector는 coarser level을 나타내기..
CROSSFORMER: Transformer Utilizing Cross-dimension Dependency for Multivariate Time Series Forecasting(1/2)
ABSTRACT다변량 시계열(MTS)을 예측하는 Transformer 기반 모델들은 long-term dependency에 뛰어난 성능을 가지지만, temporal dependency에 초점을 두고 있어서 여러 차원(변수) 간의 의존성을 무시하는 경향이 있음이러한 문제점을 해결하기 위해서 차원 간 의존성을 활용하는 Transformer 기반 모델인 Crossformer를 제안해당 모델에서는 Dimension-Segment-Wise(DSW) embedding을 통해 입력된 MTS를 2D Vector array에 embedding하여 시간과 차원(변수) 사이의 정보를 보존이후, 시간과 차원 간의 dependency를 효율적으로 가저오기 위해 Two-Stage Attention(TSA) layer를 사용해당 ..