mayreel 님의 블로그

데이터 파이프라인을 설계할 때 가장 먼저 고민하게 되는 것은 '데이터를 어떻게 가져올 것인가'입니다. 전통적인 데이터 웨어하우징의 수집 방식부터, 최근 Snowflake나 Iceberg를 중심으로 트렌드가 되고 있는 데이터 통합 개념까지, 엔지니어가 반드시 알아야 할 내용을 정리했습니다.1. 데이터 수집데이터 수집은 소스 시스템의 데이터를 데이터 웨어하우스의 스테이징 영역으로 적재하는 과정을 말합니다. 크게 배치, 스트리밍, 변경 데이터 캡처로 나뉩니다.1) 배치 수집가장 일반적인 형태입니다. 일정 주기마다 데이터를 묶어서 처리합니다.배치: 보통 3시간 이상 간격준실시간: 1시간 미만(10분, 30분 등)의 간격실시간: 주기가 아닌 지연 시간의 개념입니다. 데이터 생성 후 수 초 이내에 적재증분 추출배치..

본 논문에서는 Yandex.Music이라는 음악 스트리밍 서비스에서 수집한 대규모 공개 데이터셋 Yambda-5B를 소개Abstract데이터셋 규모, 구성Yambda-5B는 1백만 명의 사용자로부터 939만 개 트랙에 걸쳐 약 47억 9천만 건의 User-Item 상호작용 데이터를 포함Yambda-5B의 user-item 상호작용암묵적 피드백: 사용자가 음악 재생명시적 피드백: 사용자가 '좋아요(likes)', '싫어요(dislikes)', '좋아요 취소(unlikes)', '싫어요 취소(undislikes)'를 누른 선호/비선호 여부또한 대부분의 트랙에 대해 오디오 스펙트로그램으로 학습된 CNN을 통해 생성된 오디오 임베딩도 제공Yambda-5B의 주요 특징(is_organic)is_organic의 도..

Meta AI의 문장 기반 고차원 언어 모델(LCM: Large Concept Models)Meta AI에서 기존의 토큰 단위 언어 모델(LLM)이 가진 한계를 극복하고, 인간의 사고방식에 더 가까운 문장 단위의 의미 표현을 구현한 LCM(Large Concept Models)을 제안1. LCM 도입 배경사람은 문장이나 단락 단위로 의미를 이해하고 추론하는 경향이 있지만, 기존의 LLM은 단어 또는 token 단위로 입력과 출력을 처리하기 때문에 문맥에 대한 이해와 token 단위 기반 모델의 한계가 있음문맥의 깊이 있는 이해: 인간은 긴 문서를 읽을 때 단어 하나하나보다 문장 전체의 맥락을 파악하며 이를 기반으로 계획과 추론을 수행토큰 기반 모델의 한계: 토큰 단위로 문장을 처리할 경우 문맥 정보가 산..

1.INTRODUCTION전통적인 A/B Test는 대규모 실사용자 트래픽과 긴 실험 기간에 의존하기 때문에 신속한 디자인 검증이 어렵다. 따라서 해당 논문은 LLM 기반 자율 에이전트를 도입해 웹사이트 A/B 테스트를 자동화·대규모 확장하는 Agent A/B를 제안.Agent A/B를 적용하여 다양한 페르소나를 가진 LLM 에이전트를 생성하고 실시간 웹 환경에서 검색·클릭·구매 행동을 수행하도록 함으로써 수시간 내에 실험 결과를 확보 가능2. 전통적인 A/B Test의 한계기존의 A/B 테스트: 웹페이지나 앱 등 디지털 인터페이스의 두 가지 버전을 비교하여 사용자 행동 차이를 분석함으로써 디자인 전략에 대한 데이터 기반 의사결정을 지원하는 기본 방법론A/B Test가 실험 환경 통제와 신뢰도를 제공하지..

0. WITH문이 필요한 이유쿼리를 작성하다보면 SubQuery를 사용하는 경우가 많음쿼리를 한두개만 사용하면 괜찮지만 그 수가 많아질 수록 가독성이 떨어지며, 재사용할 수가 없어서 매번 같은 Query를 작성해줘야함따라서 쿼리의 가독성을 높이고 재사용이 가능하다는 장점을 가진 WITH문을 사용해야 함1. WITH문이름을 가진 SubQuery를 정의한 후 사용하는 구문.Query의 전체적인 가독성을 높이고, 재사용할 수 있다는 장점을 가짐대부분의 DBMS에서 지원계층형쿼리를 구현 가능하게 함WITH문은 가독성이나 재사용성 때문에 많이 사용되는 것도 있지만, 계층형 쿼리를 만들기 위해서도 반드시 필요2. 기본 구조WITH {WITH_TABLE} AS ( WITH문으로 저장하고 싶은 SQL 쿼리..

3-3 HIERARCHICAL ENCODER-DECODER서로 다른 scale에 대한 정보를 얻기 위해 MTS forecasting의 transformer에서는 주로 hierarchical structure를 사용DSW embedding, TSA layer, segment merging을 사용하여 Hierarchical Encoder-Decoder(HED)를 생성Fig. 3처럼, upper layer는 예측을 위해 주어진 정보의 대략적인 내용(coarser scale)만 사용여러 가지 scale에서의 예측값은 최종 산출물인 output에 더해짐Encoder각 encoder의 첫 번째 layer를 제외한 layer에서 time domain에 인접한 두 개의 vector는 coarser level을 나타내기..

ABSTRACT다변량 시계열(MTS)을 예측하는 Transformer 기반 모델들은 long-term dependency에 뛰어난 성능을 가지지만, temporal dependency에 초점을 두고 있어서 여러 차원(변수) 간의 의존성을 무시하는 경향이 있음이러한 문제점을 해결하기 위해서 차원 간 의존성을 활용하는 Transformer 기반 모델인 Crossformer를 제안해당 모델에서는 Dimension-Segment-Wise(DSW) embedding을 통해 입력된 MTS를 2D Vector array에 embedding하여 시간과 차원(변수) 사이의 정보를 보존이후, 시간과 차원 간의 dependency를 효율적으로 가저오기 위해 Two-Stage Attention(TSA) layer를 사용해당 ..

Infolink: Deep Neural Networks for YouTube RecommendationsSummaryDeep Neural Networks를 활용한 유튜브의 추천 시스템 논문Youtube 추천 시스템을 구현하는 과정에서 발생한 제약사항(scale, Freshness, Noise)를 Tensorflow, MF를 사용하여 해결AbstractYouTube는 당시 추천 시스템 중 가장 큰 규모의 사용자를 보유하고 있었고 정교함을 가진 추천 시스템을 서비스에 적용하고 있었음해당 논문에서 딥러닝 모델(Deep Candidate Generation Model, Separate Deep Ranking Model)이 어떻게 Youtube의 추천 시스템에 영향을 줬는지를 주로 설명추가적으로 대규모 추천 시스..

정규표현식?정규표현식의 사전적인 의미로는 특정한 규칙을 가진 문자열의 집합을 표현하는 데 사용하는 형식 언어이다. 주로 특정 패턴을 가진 문자열을 검색, 매칭, 치환하는 데 사용한다. 입력한 문자열에서 특정한 조건을 표현할 경우 일반적인 조건문으로는 다소 복잡할 수도 있지만, 정규표현식을 이용하면 매우 간단하게 표현할 수 있다. 하지만 코드가 간단한 만큼 가독성이 떨어져서 표현식을 숙지하지 않으면 이해하기 힘들다.정규표현식 문법정규식 플래그표현식설명i대소문자를 구별하지 않음g문자열 내의 모든 패턴 검색(전역매칭)m문자열의 행이 바뀌더라도 검색s공백 문자(스페이스, 탭, 폼 피드, 라인 피드), 개행 문자(\n)u유니코드 전체y문자 내 특정 위치에서 검색을 진행하는 ‘sticky’ 모드 활성화정규식 매칭 ..

pandas가 느린 이유pandas는 numpy와 Mathplotlib 기반으로 이루어진 데이터프레임 라이브러리이다. 하지만 numpy와 연산 속도를 비교했을 때 numpy 기반으로 이루어졌다고 생각하지 못할 정도로 속도 측면에서 차이가 심하게 난다. 그 이유는 다음과 같다.Numpy array에 추가적으로 Label, row, columns, index와 그 외의 Metadata가 필요Python 작성하여 GIL 발생기본적으로 Single 코어에서 동작태생적으로 느린 코드 한계 (인터프리터 언어)Polarshttps://pola.rs/ PolarsDataFrames for the new erapola.rs Polars는 pandas의 느린 연산 속도 문제를 해결하기 위해 만든 데이터프레임 라이브러리로 ..