Seq2Seq(Sequence to Sequence) sequence를 입력 받고 sequence를 출력하는 모델 예) 번역, 챗봇 RNN과 Seq2Seq의 차이점 RNN은 단어 입력 시마다 출력 생성 챗봇 상황에서 사용자가 문장을 다 듣기 전에 적절한 답변을 생성하지 못하는 경우가 발생할 수 있으며, 이는...

Time Series Data 시계열 데이터 일정 시간 간격으로 배치된 데이터 예) 주가 데이터 Apply RNN 일별 구글 주가 데이터 Many-to-One 7일간의 데이터를 입력받아서 8일 차 종가 예측을 하는 모델 모델은 8일 차 종가 예측을 위해 일주일 간의 데이터를 사용한다는 전제를 기반...

Longseq introduction 기존의 RNN 모델들은 짧은 문장을 하나의 샘플로 사용 실용적인 모델은 긴 문장 데이터셋을 사용해야 함 하지만 긴 문장을 하나의 입력으로 처리하는 것은 어려움 → 특정 사이즈의 청크로 나눠 학습해야 한다 Making sequence dataset from long sente...

“ Hihello” problem hihello 문자열 예측 ‘h’ → ‘i’ 예측, ‘i’ → ‘h’ 예측 → ‘h’ → ‘e’ 예측, ‘e’ → ‘l’ 예측, ‘l’ → ‘l’예측, ‘l’ → ‘o’ 예측 character에 따라 다음 character를 예측 다른 char들은 하나라서 예측이 쉽지만, ‘h’ 가 들어오면 ‘e’,...

RNN in Pytorch 데이터 입력과 텐서 변환 PyTorch에서 입력 데이터는 3차원 텐서 형태 Batch Size, Sequence Length, Feature Dimension를 의미한다 RNN 네트워크에 데이터 전달 입력 데이터 $x_t$를 RNN에 전달하면, 결과값...

RNN이란? RNN의 구조 Sequential Data를 처리하기 위한 대표적인 알고리즘 데이터의 순서와 문맥(Context)을 학습하는 데 효과적 Sequential Data: 데이터 자체뿐만 아니라 순서가 중요한 데이터 유형 예: “Hello”라는 단어는 글자의 순서에 따라 의미가 결정됨 R...

앞으로 뭘 하면 좋을까? Classification 이미지의 내용을 분석하여 어떤 객체인지 식별 예) 강아지 사진 → “강아지” 주요 모델 DenseNet: 레이어 간 연결성을 극대화하여 학습 효율을 높인 신경망 구조 SENet: 채널 간의 중요도를 학습하여 성능을 높이는 네트워크 MobileN...

특징 ResNet50 기반의 커스텀 모델 구현 CIFAR-10 데이터셋 사용 데이터 전처리 및 정규화 기법 적용 Visdom을 통한 학습 과정 시각화 모델 성능 평가 및 체크포인트 저장 코드 설명 필요한 라이브러리 및 환경 설정 PyTorch 및 torchvision을 사용해 데이터 로드와 모델 구성 Visdom으...

torchvision.models.resnet 구현 ResNet은 크게 두 가지 블록 타입을 사용 BasicBlock: ResNet-18, ResNet-34에 사용 Bottleneck Block: ResNet-50, ResNet-101, ResNet-152에 사용 가장 간단하고 성능이 좋은 모델 (a)를 만들어 보자 Conv ...

ResNet이란? ResNet(Residual Network)은 딥러닝에서 깊은 네트워크를 안정적으로 학습할 수 있도록 설계됨 2015년 Microsoft Research에서 개발 딥러닝 모델이 깊어질수록 발생하는 기울기 소실(Gradient Vanishing) 문제와 성능 저하(Performance Degradation) 문제를 해결하...