Song 컴퓨터공학

인공신경망이란? 인공 신경망 ( Artificial neural network, ANN ) 이란 앞서 배웠던 퍼셉트론과 활성 함수의 아이디어를 결합한 모델을 뜻합니다. 즉 인공신경망은 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)가 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델을 전반적으로 지칭하는 단어입니다. 위 같은 인공신경망은 행렬을 통해 구현할 수 있습니다. 입력층을 Input layer, 중간의 은닉층을 Hidden layer, 출력층을 Output layer 라고 부릅니다. 이 때 $x_i, a_j^{(i)}, W^{(j)} $ 들이 의미하는 바는 아래와 같습니다. $$ a_j^{(i)} : \text{“Activation" of the i-th unit in..

활성 함수란? ( Heaviside, Sigmoid, ReLU ) 지난 포스팅에서 살펴본 퍼셉트론의 구조에 대한 그림을 다시 살펴보면 오른쪽에 활성 함수(Activation Function) 이라는 것이 있습니다. 다시 한 번 퍼셉트론을 나타낸 수학적 수식을 살펴보면 아래와 같습니다. $$ y=\begin{cases}0,\ \quad \ \ \ b+w_1x_1+w_2x_2\ \le 0\\1,\quad \ \ \ \ b+w_1x_1+w_2x_2\ >0\end{cases} \quad \quad ↔ \quad \quad y = h(w_1x_1+w_2x_2+b) $$ 이 때 $h$ 는 헤비사이드 함수(Heaviside function) (= 단위 계단 함수(unit step function)) 을 뜻합니다. $..

퍼셉트론(Perceptron) 이란? 퍼셉트론(Perceptron) 이란 사람의 뇌신경 세포의 동작과정을 흉내내어 만든 수학적 모델으로 신경망의 기원이 되는 알고리즘입니다. 따라서 퍼셉트론의 구조를 잘 이해하는 것이 앞으로의 신경망과 딥러닝으로 나아가는데 중요한 밑거름이 됩니다. 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 퍼셉트론 신호는 0이나 1 둘 중의 하나의 값을 가지게 됩니다. $$ y=\begin{cases}0,\ \quad \ \ \ w_1x_1+w_2x_2\ \le \theta \\1,\quad \ \ \ \ w_1x_1+w_2x_2\ >\theta \end{cases} $$ 위의 예시에서 $x_i$ 들은 입력(input) 신호, $y$는 출력 신호, $w_i$ 들은 ..