공부하는 제이의 블로그

http://www.jussihuotari.com/2018/01/17/why-loss-and-accuracy-metrics-conflict/ Why Loss and Accuracy Metrics Conflict? – Jussi Huotari's Web A loss function is used to optimize a machine learning algorithm. An accuracy metric is used to measure the algorithm’s performance (accuracy) in an interpretable way. It goes against my intuition that these two sometimes conflict: loss is getting bett www...

매우 기본적인 것 같은데 몰랐던 것. Sparse vectors 와 Dense vectors 가 뭘까? Sparce vectors 은 vectors 내 대부분의 값이 0인 것 (예: one-hot vectors) 반대로 Dense vectors 는 vectors 내 대부분의 값이 0가 아닌 것 (예: word embedding vectors)

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 수업은 Sequence Model 에 대해 얘기하고, Sequence model 에 적합한 Recurrent Neural Network 에 대해서 배워본다. 1. Sequence model 의 정의 우선, Sequence model 이란 건 뭐고 왜 그게 필요한 거지? Sequence model 이란, sequence data 를 다루기에 적합한 모델을 의미한다. Sequence data 라는 건 연속적인 데이터를 의미하는데, 예를 들어 음성, 음악 (음의 연속), 텍스트, 비디오 등 다 연속적인 데이터이다. Sequence model 이란 이런 데이터를 다..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." Machine Learning 모델을 트레이닝할 때 생길 수 있는 문제로는 high bias (편향) 혹은 high variace (분산) 가 있다. 그리고 모델이 이 중 어떤 문제를 갖고 있냐에 따라서 해결방법 또한 다르다. 그런데 도대체가 편향과 분산이란 단어가 와닿지도 않을 뿐더러, 거기에 맞는 해결법도 맨날 헷갈려서 기록해둬야지 하다가 드디어 함.. 참고로 강의는 2번째 코스인 Improving Deep Neural Networks 의 Week1 강의를 정리했다. 1. Bias 와 Variance 정의 한 마디로 정의하면 Bias (편향) - Underfi..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 주 수업의 coding lab 에서도 배울 게 많았기 때문에 여기에 짧게 정리. 그 전에 알아둘 게 있는게 Convolution Neural Network 를 배울 때, 보통 conv layer / max pooling layer / fully-connected layer 로 이루어졌다고 배웠다. 그런데, fully-connected layer 를 conv layer 로 표현 ? 계산하는 게 가능하다 (왜 그렇게 하는지는 모르겠는데 이점이 있으니까 그렇게 하겠지?) 아래 슬라이드에서 첫번째 줄이 이전에 배운 classic 한 CNN 구조. conv + poo..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Object Detection 의 Y 라벨 우선 object localization &Classification 을 할 때 주어지는 Y label 을 살펴보면 다음의 3가지이다. 해당 box 에 object 가 있을 확률 (background 제외) bounding box 좌표 Class probability 예를 들면 이렇다. $$Y = \begin{bmatrix} P_c\\ b_x\\ b_y\\ b_w\\ b_h\\ c_1\\ c_2\\ c_3\\ \end{bmatrix}$$ 여기서 $P_c$ 가 object 가 있을 확률 $b$ 로 시작하는 것들이 bo..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 이번 주 수업은 classical CNN 모델들의 architecture를 자세히 보고 배워보는 시간! Le Net, AlexNet, VGG-16까지 차례로 봤다. 자세한 건 그냥 복습용 슬라이드 볼 것. 무엇보다 중요한 건 그동안 이해못했던 Residual networks (ResNets) 를 드디어 이해했다는 것 (그것도 엄청 쉽게 설명한 Andrew Ng 의 강의력 무엇..?) 1. Residual Network CNN 이든 뭐든 결국 모델이 복잡 (deep layers) 하면 학습이 어렵다. 왜냐고? Vanishing & Exploding gradient ..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." CNN 동작 원리 수업 Assignment 의 동영상. 이거 보면 한번에 CNN 이해 됨!! https://wfteciveefdhloxbtbadax.coursera-apps.org/files/week1/images/conv_kiank.mp4 1. 왜 Image 에는 CNN 이 쓰이나? 이미지의 경우 Input 이 어마어마하게 많다. 고화질의 경우 1000 x 1000 x 3 (RGB) 정도 됨. 이 이미지에 Fully connected layer 을 쓴다고 가정해보자. Weight matrix 의 경우, (input_size, depth) 니까 인풋 크기에 따라 ..

"해당 포스팅은 Coursera 에서 수강한 Andew Ng 의 deep learning specialization 코스를 요약한 것입니다." 1. Error Analysis 오류를 분석하는 것은 그 이후에 해야할 일에 대해서 우선순위를 정하는 데 도움이 된다. 실용적인 방법으로는, mislabeled 된 데이터 100개를 뽑아서 하나하나 보는 것. 이것을 spread sheet 에 옮긴 다음 에러 category 별로 정리한다. 고양이 classifier 를 만드는 과정에서 mislabeled 된 이미지를 보니, 강아지, 호랑이, 흐릿한 사진 등이 있다고 할 때 제일 많은 게 blurry 사진이야. blurry 사진에 대한 classifier 의 성능을 높여줬을 때 가장 큰 효과를 얻을 수 있겠지. 이..

이상하게 두 개의 개념이 혼동되면서 두 개의 역할이 어떻게 다른지 헷갈리는 시점이 있었지만 Andrew Ng 덕분에 해결! 문제는 내가 Optimizer 의 개념을 잘 이해하지 못하면서 생기는 거였음. Cost function 은 말그대로 Cost 를 구하기 위해서 쓰는 식을 말한다. 반면 Optimizer 은 parameters 를 어떻게 update 할 것인가에 대한 것. 즉, parameter W 를 update 하기 위해서 $w^{[l]} : w^{[l]}- \alpha dw^{[l]}$ 를 쓴다 - 경사 하강법을 이용해서 나온 식임. 여기서 $\alpha$ 는 learning rate 이고, $dw^{[l]}$ 는 $l$ 번째 layer 에서 $w$ 의 미분값. 이 때, $ \alpha dw^{..