
"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 수업은 Sequence Model 에 대해 얘기하고, Sequence model 에 적합한 Recurrent Neural Network 에 대해서 배워본다. 1. Sequence model 의 정의 우선, Sequence model 이란 건 뭐고 왜 그게 필요한 거지? Sequence model 이란, sequence data 를 다루기에 적합한 모델을 의미한다. Sequence data 라는 건 연속적인 데이터를 의미하는데, 예를 들어 음성, 음악 (음의 연속), 텍스트, 비디오 등 다 연속적인 데이터이다. Sequence model 이란 이런 데이터를 다..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Machine Learning 모델을 트레이닝할 때 생길 수 있는 문제로는 high bias (편향) 혹은 high variace (분산) 가 있다. 그리고 모델이 이 중 어떤 문제를 갖고 있냐에 따라서 해결방법 또한 다르다. 그런데 도대체가 편향과 분산이란 단어가 와닿지도 않을 뿐더러, 거기에 맞는 해결법도 맨날 헷갈려서 기록해둬야지 하다가 드디어 함.. 참고로 강의는 2번째 코스인 Improving Deep Neural Networks 의 Week1 강의를 정리했다. 1. Bias 와 Variance 정의 한 마디로 정의하면 Bias (편향) - Underfi..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 주 수업의 coding lab 에서도 배울 게 많았기 때문에 여기에 짧게 정리. 그 전에 알아둘 게 있는게 Convolution Neural Network 를 배울 때, 보통 conv layer / max pooling layer / fully-connected layer 로 이루어졌다고 배웠다. 그런데, fully-connected layer 를 conv layer 로 표현 ? 계산하는 게 가능하다 (왜 그렇게 하는지는 모르겠는데 이점이 있으니까 그렇게 하겠지?) 아래 슬라이드에서 첫번째 줄이 이전에 배운 classic 한 CNN 구조. conv + poo..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Object Detection 의 Y 라벨 우선 object localization &Classification 을 할 때 주어지는 Y label 을 살펴보면 다음의 3가지이다. 해당 box 에 object 가 있을 확률 (background 제외) bounding box 좌표 Class probability 예를 들면 이렇다. $$Y = \begin{bmatrix} P_c\\ b_x\\ b_y\\ b_w\\ b_h\\ c_1\\ c_2\\ c_3\\ \end{bmatrix}$$ 여기서 $P_c$ 가 object 가 있을 확률 $b$ 로 시작하는 것들이 bo..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 주 수업은 classical CNN 모델들의 architecture를 자세히 보고 배워보는 시간! Le Net, AlexNet, VGG-16까지 차례로 봤다. 자세한 건 그냥 복습용 슬라이드 볼 것. 무엇보다 중요한 건 그동안 이해못했던 Residual networks (ResNets) 를 드디어 이해했다는 것 (그것도 엄청 쉽게 설명한 Andrew Ng 의 강의력 무엇..?) 1. Residual Network CNN 이든 뭐든 결국 모델이 복잡 (deep layers) 하면 학습이 어렵다. 왜냐고? Vanishing & Exploding gradient ..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." CNN 동작 원리 수업 Assignment 의 동영상. 이거 보면 한번에 CNN 이해 됨!! https://wfteciveefdhloxbtbadax.coursera-apps.org/files/week1/images/conv_kiank.mp4 1. 왜 Image 에는 CNN 이 쓰이나? 이미지의 경우 Input 이 어마어마하게 많다. 고화질의 경우 1000 x 1000 x 3 (RGB) 정도 됨. 이 이미지에 Fully connected layer 을 쓴다고 가정해보자. Weight matrix 의 경우, (input_size, depth) 니까 인풋 크기에 따라 ..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Error Analysis 오류를 분석하는 것은 그 이후에 해야할 일에 대해서 우선순위를 정하는 데 도움이 된다. 실용적인 방법으로는, mislabeled 된 데이터 100개를 뽑아서 하나하나 보는 것. 이것을 spread sheet 에 옮긴 다음 에러 category 별로 정리한다. 고양이 classifier 를 만드는 과정에서 mislabeled 된 이미지를 보니, 강아지, 호랑이, 흐릿한 사진 등이 있다고 할 때 제일 많은 게 blurry 사진이야. blurry 사진에 대한 classifier 의 성능을 높여줬을 때 가장 큰 효과를 얻을 수 있겠지. 이..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Stochastic Gradient Descent / (Bacth) Gradient Descent / Mini-batch Gradient Descent 이 3가지의 차이는 몇 개의 examples 을 가지고 gradient descent 를 update 하느냐에 따라 달라진다. Stochastic gradient descent 의 경우, 하나의 데이터 포인트마다 gradient update 을 하고, gradient descsent 는 m 개의 data 전체를 돌았을 때 (1 iteration) 에 update 한다. Mini batch 는 이 중간이라고 할..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Dot product : 내가 아는 행렬 곱. x1, x2 2개의 features 가 있다고 할 때, hidden unit 이 하나 있다고 해 봐 x1*w1 + x2*w2 + b => 즉 x1*w1 + x2*w2 이 dot product 라서 곱할 때 dot product 를 구하는 거임. 반면 np.multiply 는 element wise 곱이기 때문에 두 행렬의 shape 이 같아야지만 곱할 수 있음. 같지 않아도 되는 경우는 numpy 가 broad casting 으로 임의로 2개의 shape 을 같도록 만들어서 가능한 거임. np.dot |A B| . |..
"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 코드 짤 때 이렇게 큰 구조로 짜면 됨 def Initialize() : Initialize w,b def propagate() : calls sigmoid, returns dw, db and cost def optimize() : calls propagate returns updated w, b def model() : train a model with interations and test
- Total
- Today
- Yesterday
- 뉴럴넷
- nlp
- Pre-trained LM
- 언어모델
- 뉴런
- cs224n
- Attention Mechanism
- neurone
- Statistical Language Model
- weight vector
- neural network
- Contextual Embedding
- GPTZero
- language model
- Elmo
- word embedding
- Neural Language Model
- 워터마킹
- Bert
- 벡터
- LM
- transformer
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |