이상하게 두 개의 개념이 혼동되면서 두 개의 역할이 어떻게 다른지 헷갈리는 시점이 있었지만 Andrew Ng 덕분에 해결! 문제는 내가 Optimizer 의 개념을 잘 이해하지 못하면서 생기는 거였음. Cost function 은 말그대로 Cost 를 구하기 위해서 쓰는 식을 말한다. 반면 Optimizer 은 parameters 를 어떻게 update 할 것인가에 대한 것. 즉, parameter W 를 update 하기 위해서 $w^{[l]} : w^{[l]}- \alpha dw^{[l]}$ 를 쓴다 - 경사 하강법을 이용해서 나온 식임. 여기서 $\alpha$ 는 learning rate 이고, $dw^{[l]}$ 는 $l$ 번째 layer 에서 $w$ 의 미분값. 이 때, $ \alpha dw^{..
"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Stochastic Gradient Descent / (Bacth) Gradient Descent / Mini-batch Gradient Descent 이 3가지의 차이는 몇 개의 examples 을 가지고 gradient descent 를 update 하느냐에 따라 달라진다. Stochastic gradient descent 의 경우, 하나의 데이터 포인트마다 gradient update 을 하고, gradient descsent 는 m 개의 data 전체를 돌았을 때 (1 iteration) 에 update 한다. Mini batch 는 이 중간이라고 할..
"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Dot product : 내가 아는 행렬 곱. x1, x2 2개의 features 가 있다고 할 때, hidden unit 이 하나 있다고 해 봐 x1*w1 + x2*w2 + b => 즉 x1*w1 + x2*w2 이 dot product 라서 곱할 때 dot product 를 구하는 거임. 반면 np.multiply 는 element wise 곱이기 때문에 두 행렬의 shape 이 같아야지만 곱할 수 있음. 같지 않아도 되는 경우는 numpy 가 broad casting 으로 임의로 2개의 shape 을 같도록 만들어서 가능한 거임. np.dot |A B| . |..
- Total
- Today
- Yesterday
- Contextual Embedding
- cs224n
- nlp
- Neural Language Model
- Pre-trained LM
- Bert
- GPTZero
- 뉴럴넷
- Attention Mechanism
- transformer
- 벡터
- word embedding
- weight vector
- 뉴런
- Elmo
- neural network
- 워터마킹
- neurone
- Statistical Language Model
- LM
- 언어모델
- language model
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |