딥러닝 학습 단계 반드시 순서를 따라야 하는 것은 아니다 GPU가 없을 경우 CPU로 대체하여 연산 라이브러리를 가져온다(torch, torchvision, matplotlib 등) GPU 사용 설정 및 random value를 위한 seed 설정 학습 parameter 설정(learning_rate, training_epo...

Convolution 이미지 위에서 stride 값 만큼 filter(kernel)을 이동시키면서 겹쳐지는 부분의 각 원소의 값을 곱해서 모두 더한 값을 출력으로 하는 연산 Stride와 Padding에 따라 출력 크기와 연산 영역이 달라진다 Stride filter가 연산 한 번에 이동하는 크기 값이 커질...

문제 링크 문제 링크 성능 요약 메모리: 11268 KB, 시간: 60 ms 문제 설명 간선에 가중치와 방향성이 없는 임의의 루트 있는 트리가 주어졌을 때, 아래의 쿼리에 답해보도록 하자. 정점 U를 루트로 하는 서브트리에 속한 정점의 수를 출력한다. 만약 이 문제를 해결하는 데에 어려움이 있다면, 하단의 힌트에 첨부한 문서를 참고하...

문제 링크 문제 링크 성능 요약 메모리: 2412 KB, 시간: 60 ms 문제 설명 KOI 부설 과학연구소에서는 많은 종류의 산성 용액과 알칼리성 용액을 보유하고 있다. 각 용액에는 그 용액의 특성을 나타내는 하나의 정수가 주어져있다. 산성 용액의 특성값은 1부터 1,000,000,000까지의 양의 정수로 나타내고, 알칼리성 용액의 특성값은...

문제 링크 문제 링크 성능 요약 메모리: 2180 KB, 시간: 4 ms 문제 설명 2차원 평면상에 N(3 ≤ N ≤ 10,000)개의 점으로 이루어진 다각형이 있다. 이 다각형의 면적을 구하는 프로그램을 작성하시오. 입력 첫째 줄에 N이 주어진다. 다음 N개의 줄에는 다각형을 이루는 순서대로 N개의 점의 x, y좌표가 주어진다. 좌표값은...

Gradient Vanishing / Exploding Gradient Vanishing 역전파 과정에서 입력층으로 갈수록 그라디언트가 너무 작아져 소멸하는 현상 Gradient Exploding 기울기가 입력층으로 갈수록 너무 큰 값이 되면서 발산되는 현상 해결책 Activate F...

Overfitting 목표 : 주어진 데이터에 대해 fitting 된 regression을 학습 Undorfitting 선형으로 fitting 데이터를 잘 표현하지 못함 (학습이 덜 되었음) 저차원의 모델 사용 곡선으로 fitting 선형보다 복잡한 방...

Why good initialization? 제프리 힌튼 : We initialized the weights in a stupid way 기존의 무작위 가중치 초기화는 비효율적인 방식이었음 체계적인 가중치 초기화가 모델의 성능 향상에 큰 영향을 미침 모든 가중치를 0으로 초기화할 경우 역전파 과정에서 모...

Problem of Sigmoid 인공지능 학습 과정 입력 데이터에 가중치와 편향 적용 활성화 함수를 통해 예측 값 계산 예측 값과 실제 값(Ground Truth) 간의 오차를 손실 함수로 계산하여 모델의 성능을 평가 역전파로 그래디언트 계산 경사 하강법으로 가중치 업데이트 문제점 : 활성화 함수으로 Sigmoid를 사용하...

backpropagation 등장 배경 1960-80년대 초 단일 퍼셉트론과 같은 얕은 신경망에 초점이 맞춰져 있었음 다층 퍼셉트론과 같은 깊은 신경망의 학습은 역전파 알고리즘이 개발되기 전까지는 해결되기 어려운 문제 1986년 Geoffery Hinton, David Rumelhart, ...