용두사미 ㅁ The MINIST Dataset of Handwirtten numbers 파일을 아나콘다에서 실행해서 폴더를 만들고 거기에 데이터를 업로드를 한다. 그리고 파일을 해당 폴더가 있는 폴더에서 notebook을 실행하고 아래의 내용을 실행하면 100이 나온다. 출력값의 범위는 활성함수의 출력 범위에 있어야한다. 로지스틱 함수의 범위 => 0.0 ~ 1.0(실제론 양 끝단에 도달할 수없다. 결과값은 출력이 어떻게되어야하는가? 이미지로출력? 28 x 28 = 784개의 출력노드 필요한것인가? 이미지를 분류해 정확한 클래스에 할당하는 것이 목표다. 0 ~ 9 까지 총 10개의 출력 노드에 각각 결과 값 할당 https://colab.research.google.com Google Colaborato..
ㅁ Weight update o 인공신경망에서 가중치 업데이트를 어떻게 하는가? - 현재 역전파되는 오차까지 계산했다. - 오차는 가중치를 조절해 가는데 중요한 지표다. - 신경망의 오차는 단순한 선형 분류자가 아니다. - 각 노드에 입력과 가중치를 곱하고 합한 후 활성함수를 통과한다. - 각각의 노드를 연결하는 가중치의 업데이트는 정교한 계산이 필요하다. ㅁ 단계별 신경망 만들기 o 구조 - 초기화(입력,은닉,출력노드수 결정) - 학습(학습을 통해 가중치 업데이트) - 질의(연산 후 출력 노드에 결과 전달) - 입력 데이터를 받을때 0 부터 1사이의 작은 값을 쓰는데, 범위 안네 들어올 수 있또록 데이터를 바꾸고 학습해야한다. - 데이터셋이 있으면 첫번째 데이터셋을 받아서 가중치를 받고 sigmoid하..
Preparing data ㅁ 포화(Saturaion) ㅁ Input Data o 입력값(x)이 클 경우 그래프 양 끝단의 기울기가 평평한 형태가 된다 o 가중치의 변화는 활성함수의 기울기에 영향을 받는다. o 신경망의 한계로 변화값이 너무 작아져서 변화가 나오지 않는다. - 양 끝단에 들어가면 업데이트가 안되는 것을 포화라고 한다. o 기울기가 작아져 학습이 제한되는 것. o 입력 시 입력 값(x값)을 작게 유지 해야함 o 가중치를 너무 작게 만들어도 정확도를 잃어버림 o 입력 값을 0.0 ~ 1.0 사이의 값이 오도록 조정 o 0.01같은 작은 값을 더해 입력이 0이 들어오는 것을 막기도함 o 이 문제는 학습중에 언제 저기로 빠지는지 알수가 없다. o 포화상태를 20년간 해소를 못했고, 포화상태를 막..
ㅁ Weight update o 인공신경망에서 가중치업데이트는 어떻게 하고 있지? o 현재 역전파되는 오차까지 계산이 된다. o 오차는 가중치를 조절해 가는데 아주 중요한 지표이다. o 신경망의 오차 - 단순한 선형 분류자가 아니다. - 각 노드에 입력과 갖우치를 곱하고 합한 후 활성함수를 통과 - 각각의 노드를 연결하는 가중치의 업데이트는 정교한 계산이 필요하다. o 그렇다면 가중치는 계산이 가능한가? - 각각의 노드를 연결하는 가중치는 서로 연결이 되어 잇다. - 하나를 수정하면 나머지 노드의 가중치가 모두 영향을 받는다. - 대수학적인 접근이 어렵다. - 그래서 완전탐색(블루트포스)으로 해보면 500개의 노드를 가지는 3계층 신경망으로 예시로할때 총 5억 가지에 대해 테스트하는데, 하나의 조합 연산..
ㅁ 개요 o 지금까지 앞으로 전진(순 전파)하면서 입력 값과 가중치를 연산하여 신호를 전달했다. o 다음으로는 결과값에 대해 target 값과 모델의 결과 값을 비교해 오차를 계산 o 오차를 이용해 가중치를 업데이트하여 모델을 정교하게 개선할 수 있지 않을까? o 그리고 Backpropagation이지만 앞에 왠만하면 Error를 붙여서 Error Backpropagation이라고 하자. o 그렇다면 하나이상 입력값이 왔을 때 어떻게 에러를 전달할 것인가? - 그냥 1/n 하여 균등 전달 하는 방법도 있고, - 가중치(Weight)에 비례하여 전달하는 방법이 있다. 가중치가 크면 클수록 영향이 크니까 에러도 많이 반영해야 하는 것이 아닌가? 라는 접근법이라고 보면 될 것이다. w11와 w21의 가중치에 ..
ㅁ Artificial Neural network Neuron 작동원리 o 뉴런세포에 착안하여 만든 알고리즘으로 어떤 데이터를 취합하고 그 값을 활성함수에 넣어서 0과 1의 활성함수로 도출한다. o 퍼셉트론에서는 step함수를 활성함수를 사용했다. 하지만 step 함수는 인공신경망에서 사용할수가 없다. o 퍼셉트론에서는 step함수를 활성함수를 사용했다. 하지만 step 함수는 인공신경망에서 사용할수가 없다. - 0과 1 밖에 안나오기 떄문에 o 흔히들 가장 기본적으로 쓰는 함수는 sigmoid 함수이다. 아웃풋이 무한대에서 가능하기 떄문이다. ㅁ Artificial Modeling o 구조 : 각 뉴런을 상호연결 o 신경망 구조에서 어떤 부분이 학습이 되는 것일까? o 학습은 어떻게 일어나는 것일까? ..
ㅁ sing layer perceptron o Threshold : 어떤 값이 활성화 되기 위한 최소값 o Weight : 선형분류모델의 기울기 o Bias : 선형분류를 위한 직선의 절편 o Neuron : 인공신경망의 가장 작은 요소 o Epoch : 전체 데이터를 한번 학습했을때 1 Epoch o 아래의 그림 그대로 신경망과 딥러닝에도 설명이 들어간다. - $$ F(x) = W_0X_0 + W_1X_1 + W_2X_2 + W_3X_3 .... $$ - 위의 식은 범위가 무한대 인데 어떻게 퍼셉트론은 이진분류가 나올 수 있는 것인가? - Activation Function = f 인 활성함수를 써서 이진분류로 나온다. - 여기서 쓰는 활성함수는 Step function을 쓴다. - 무한대가 나오는 아..
ㅁ Differential, 미분, 변화 o 미분은 순간 기울기를 구하기 위함이다. 내가 이만큼 변하면 쟤는 얼만큼 변하는지 알 기 위해 - 하나의 변화가 다른 하나에 어떤 영향을 끼치는가? - 시간에 변화에 따른 자동차 속도의 변화, 일조량에 따른 수확량의 변화. - 상수는 변하지 않는 값이기 때문에 바뀌는 값을 찾는 미분에서는 안써먹히니 버리는 것이다. ㅁ 자동차 예제 o 시간에 따라 속도의 변화가 없는 경우 - s = 40 - 시간의 변화에 따라 속도는 어떻게 변하는가? 0이다. o 일정한 비율로 증가 - 속도가 일정한 비율로 증가 - s = 40 + t o 정지상태에서 차량 출발 - 어떤 순간에 속도의 변화율은 얼마인가? - 국선에서는 어떻게 적용 되는 것인가? - s = t^2 - 위의 표에서 ..
ㅁ Python o 매트랩은 행렬에서 돌때 속도가 많이 느려진다. 그래서 행렬은 C로 돌렸다. o 파이썬은 매트릭스 연산을 빨리 돌려준다. 파이썬에서 행렬이 돌면 알아서 C로 변환하여 구동된다. o 파이썬은 Java처럼 변수형이 없다. o 변수를 왜쓰는가? - 변수를 쓰는 이유는 한번 쓰고 버리지 않는 값이기 때문이다. - 변수의 정의는 많지만, 제일 공감하는 정의는 "데이터를 저장하기 위해 메모리 공간에 붙여진 이름"이다. - 데이터를 저장하는 것이 목적이다. 주민등록번호, 사번처럼 고유한 넘버가 있는데 이름을 부르는 것 처럼. - 메모리 공간의 이름을 변수라고 한다. o constant 상수의 정의 - 데이터가 변하지 않는다는 것은 특성을 이야기하는 것이지 정의는 아니다. - 상수의 정의는 변수와 같..
ㅁ Logistic Regression o Supervised Learning으로 Classification 문제를 해결하며 2범주 문제를 다룬다. - 회귀분석으로 분류문제를 해결한다. - 로지스틱 회귀분석이 끝나면 결과물이 확률로 나와야 한다. o A와 B, 두 카테고리 중 하나로 분류한다. - 선형 회귀분석 식에서 - 우리가 예측하려는 Y값을 A일 확률로 가정하고, - Y값(A일 확률)이 0.5보다 크면 A로 분류하고, 0.5보다 작으면 B라고 분류하면 되지 않나! ㅁ 수식 전개 선형회귀식 $$ y = ax + b $$ y를 확률로 변환 $$ P = ax = b $$ 이때 양변이 갖는 값의 범위가 일치하지 않는다. 선형 회귀식은 0 ~ 1 범위이지만 확률은 무한대의 범위를 가지기 때문 그리고 범위를 ..
최근댓글