Matrix Multiplication : Part 1 - Element-wise Operation에 관해서 앞서 다뤘었다. - 이번엔 Matrix Multiplication에 대해 알아볼거고 더 복잡한 편이다. - 대부분의 행렬 곱셈은 Matrix Multiplication을 의미하는것이 아니라 Matrix Product를 의미한다. - 일반적인 행렬식의 곱셈을 짚고 넘어가보자. - 행렬 A의 첫번째 행벡터와 행렬 B의 첫번쨰 열벡터간의 각 인덱스가 일치하는 원소끼리의 곱을 모두 합한것이 - Matrix Product의 결과가 된다. - 두가지 동일한 길이의 벡터가 있을때 같은 인덱스에 위치한 원소끼리의 곱을 합한 결과를 dot products 라 부른다. Matrix Multiplication : P..
Scalar Math - 2 + 3 = 5 또는 2 * 3 = 6과 같이 대부분의 스칼라값 계산은 덧셈과 곱셈이다. - 신경망 네트워크에선 이러한 스칼라값의 계산도 수천 수백개씩 해야할 경우가 다수이다. - 또 [2^2 4^2 6^2 ...] 와 같은 행렬에서도 여기에 다시 제곱을 해야 할 수도 아니면 - 동일한 값으로 모두 나눠야 하는 경우도 있다. - 또한 프로그램을 설계함에 있어 모든 값에 대해 어느 시점에서 반복문을 돌려야 할 지도 고려해야한다. - 그런데 이러한 연산에 대한 복잡도를 고려할 때 행렬이 한가지 대안이 될 수 있다. Element-wise Operation - 이러한 수많은 스칼라 값들이 행렬에 저장되어 있으면 Element-wise Operation이 가능한데, - 행렬의 개별 원..