공부하는 제이의 블로그

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Stochastic Gradient Descent / (Bacth) Gradient Descent / Mini-batch Gradient Descent 이 3가지의 차이는 몇 개의 examples 을 가지고 gradient descent 를 update 하느냐에 따라 달라진다. Stochastic gradient descent 의 경우, 하나의 데이터 포인트마다 gradient update 을 하고, gradient descsent 는 m 개의 data 전체를 돌았을 때 (1 iteration) 에 update 한다. Mini batch 는 이 중간이라고 할..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Dot product : 내가 아는 행렬 곱. x1, x2 2개의 features 가 있다고 할 때, hidden unit 이 하나 있다고 해 봐 x1*w1 + x2*w2 + b => 즉 x1*w1 + x2*w2 이 dot product 라서 곱할 때 dot product 를 구하는 거임. 반면 np.multiply 는 element wise 곱이기 때문에 두 행렬의 shape 이 같아야지만 곱할 수 있음. 같지 않아도 되는 경우는 numpy 가 broad casting 으로 임의로 2개의 shape 을 같도록 만들어서 가능한 거임. np.dot |A B| . |..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 코드 짤 때 이렇게 큰 구조로 짜면 됨 def Initialize() : Initialize w,b def propagate() : calls sigmoid, returns dw, db and cost def optimize() : calls propagate returns updated w, b def model() : train a model with interations and test

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Deeplearning.ai 에서 하는 딥러닝 코스를 듣게 됐다. Andrew Ng 의 강의력 무엇...? 정말 대단한 그의 pedagogic skill. 이 강의를 다른 강의들보다 먼저 들었으면 어땠을까 하는 생각이 들정도였는데, 그동안 deep learning + nlp 배우면서 생긴 빈칸들이 하나하나 채워지는 기분이었다. 시작하기에 앞서, 수업에서 matrix 나 vector 는 무조건 column 기준이다. $$ w = \begin{bmatrix} w_{1} \\ w_{2} \\ w_{3} \end{bmatrix} $$ 그래서 역행렬은 row vector ..

오마이갓... 드디어 시원하게 벡터와, 뉴럴넷 이미지를 연관시켜서 이해함. 그동안 그렇게 봐도 이해가 안 됐던 데는 이유가 있었음. 다시 한번 뉴럴넷 (input layer - hidden layer - output layer 로 이루어진) 과 벡터를 함께 보면서 이해를 해보자.   우선, 딥러닝에서는 모든 것이 colum vector 기준. 예를 들어서 우리가 데이터 하나를 가지고 있는데, Features 가 3개가 있다. 이걸 벡터 혹은 행렬로 나타내라고 한다면  $\begin{bmatrix} x_{1} \quad x_{2} \quad x_{3}\end{bmatrix}$  가 자연스럽게 느껴짐 (나만 그런가..?). 그렇지만 벡터에서는 colum vector 기준이기 때문에  $\begin{bmatr..