공부하는 제이의 블로그

파이썬의 asyncio 와 함께 차근차근 설명해주는 callback 함수 https://mingrammer.com/translation-asynchronous-python/ [번역] 비동기 파이썬 Asynchronous Python을 번역한 글입니다. 파이썬에서의 비동기 프로그래밍은 최근 점점 더 많은 인기를 끌고있다. 비동기 프로그래밍을 위한 파이썬 라이브러리는 많다. 그 mingrammer.com Main takeaways: "콜백은 함수이며, 이는 “이 작업이 완료되면, 이 함수를 실행시켜줘”라는 의미이다." => 흠.. 그렇다면 완료될 때까지는 호출되지 않는다는 말이기도 한건가? "에러를 발견하는 순간, 호출 스택은 오직 예외를 처리하는 코드가 없는 이벤트 루프와 해당 함수뿐일 것이다. 콜백에서 ..

오마이갓... 드디어 시원하게 벡터와, 뉴럴넷 이미지를 연관시켜서 이해함. 그동안 그렇게 봐도 이해가 안 됐던 데는 이유가 있었음. 다시 한번 뉴럴넷 (input layer - hidden layer - output layer 로 이루어진) 과 벡터를 함께 보면서 이해를 해보자.   우선, 딥러닝에서는 모든 것이 colum vector 기준. 예를 들어서 우리가 데이터 하나를 가지고 있는데, Features 가 3개가 있다. 이걸 벡터 혹은 행렬로 나타내라고 한다면  $\begin{bmatrix} x_{1} \quad x_{2} \quad x_{3}\end{bmatrix}$  가 자연스럽게 느껴짐 (나만 그런가..?). 그렇지만 벡터에서는 colum vector 기준이기 때문에  $\begin{bmatr..

1. https://helpx.adobe.com/kr/photoshop/using/image-essentials.html Photoshop 이미지 필수 정보 비트 심도는 이미지의 각 픽셀에 사용할 수 있는 색상 정보의 양을 지정합니다. 픽셀당 정보 비트 수가 많을수록 더 많은 색상을 사용할 수 있으며 더 정확하게 색상을 표현할 수 있습니다. 예를 들어, 비트 심도가 1인 이미지의 픽셀은 검정과 흰색의 두 가지 값만 가질 수 있습니다. 비트 심도가 8인 이미지는 28, 즉 256가지의 값을 가질 수 있으며 비트 심도가 8인 회색 음영 모드 이미지는 256가지의 회색 값을 가질 수 있습니다. RGB 이미지는 3개 helpx.adobe.com : 24 비트 이미지가 제일 많이 쓰임. 24비트 이미지는 채널이 ..

1. 디지털 이미지의 표현과 크기 계산법 https://twlab.tistory.com/23 디지털 이미지의 표현과 크기 계산법 카메라나 전자현미경 등의 장비를 이용해 우리가 관찰하는 사물이나 장면을 샘플링(sampling)과 양자화(Quantization)과정을 거쳐 디지털 영상으로 만들 수 있음을 지난 포스팅에서 배웠다. 이번 포스팅에선 디지.. twlab.tistory.com 24 bit (RGB : 8bit / 8bit / 8 bit) 하나의 pixel 은 24 bit 를 표현할 수 있음 8 bit 를 표현하기 위해서 1 바이트(byte) 필요 24bit 이미지에서는 pixel 한개당 3 바이트 필요 문제: RGB 채널을 갖고 있는 240 x 400 크기의 이미지를 나타내기 위해서는 몇 바이트가 ..

OCR 때문에 정리했던 부분인데 오래돼서 참고한 기사들도 다 날라가버림 Vocabulary Scene text detection : detect image from an image of natural environment Text detection : task of localizing texts from an image Text recognition : task of decoding a cropped image of texts to string of characters Text spotting : combined procedure of text detection + text recognition- object detection : draw rectangular boxes around the object ..

Coursera - NLP in tensorflow 수업 takeaway 예를 들어서 classifier 를 만든다고 할 때, 그냥 Dense net 을 이용해서 만든다는 것은 결국 단어 순서 상관없이 bag of words 로 classifier 를 만드는 거다. 물론 이것도 충분히 잘 작동할 수 있다 - imdb 로 영화 리뷰 분류하는 것등. 그런데 tensorflow 기능 중에는 subword encoder 라고, 단어를 n-gram (n 이 fixed size 는 아님) 으로 tokenize 해주는 기능이 있다. 장점은 OOV 가 없다는 것이다 (새로운 단어도 다 더 작은 단위로 쪼개서 encode 하니까). 반면에, 이렇게 tokenize 된 text 를 보통처럼 embedding, poolin..

Subclass code example - build a model with tf.keras API https://gist.github.com/sthalles/190fcf1376fd0576ee3d6cd7f7c4b85d#file-subclassing_model-py subclassing_model.py GitHub Gist: instantly share code, notes, and snippets. gist.github.com Code details on https://towardsdatascience.com/everything-you-need-to-know-about-tensorflow-2-0-b0856960c074 Everything you need to know about TensorFlow 2.0..

2주도 전에 들은 수업을 지금 정리하는 클라스.. 기억을 더듬어 가며 다시 해보자. 이번 수업에서는 5가지 포인트를 중점으로 얘기한다. 1. NLP 과거 - 현재 엄청 간략하게 말하자면 NLP 문제를 해결하기 위한 여러 연구자의 공헌이 있었다. 그 덕분에 deep learning이 있기 전에도 이미 많은 NLP의 문제에 대한 해답을 찾을 수 있었다. 특히나 BiLSTM 이 등장하면서는 비약적으로 발전한 NLP. 하지만 그럼에도 여전히 부족한 점들이 있다. 우선, long term memory 는 여전히 취약한 부분. 극단적으로 인간과 비교를 해볼 때, 인간은 몇 년 전에 읽었던 문장도 기억하는 한편 deep learening 이 아무리 long term memory 가 좋아졌다고 해도 최대 몇십 문장정도..

BERT 를 이해하기 위해 읽은 글들 1. https://medium.com/dissecting-bert/dissecting-bert-part-1-d3c3d495cdb3 개괄적인 이해에 좋음. 인풋 행렬의 임베딩이 어떻게 되는지 실제 행렬 예시를 들어 보여주기 때문에 이해 하기 좋음. Dissecting BERT Part 1: The Encoder This is Part 1/2 of Understanding BERT written jointly by Miguel Romero and Francisco Ingham. If you already understand the Encoder… medium.com 2. http://jalammar.github.io/illustrated-transformer/ 내부 구..

대망의 마지막 수업... ㅜㅜ 중간에 듣다가 못 알아먹겠어서 처음으로 다시 돌아가서 듣는 바람에 애초 계획했던 시간의 2-3배가 걸렸지만 포기하지 않고 계속 들은 나 칭찬해!! 마지막 수업은 아직도 남은 NLP의 한계에 대해서 다루는 시간이었다. 총 8개의 한계에 대해서 다뤘음. 1. 모든 task에 적용가능하며 좋은 성능을 내는 하나의 architecture 가 없다. 이미지 에서는 거의 CNN 이 dominant 한 양상인데 NLP 에서는 하나의 아키텍쳐가 없고, task 마다 잘 작동하는 아키텍쳐 다 따로 있음 (LSTM, GRU, RNN .... ) -> Dynamic Memory Network 로 해결! 지난 수업 중에 Dynamic Memory network 나왔을 때, 하나의 아키텍쳐를 가지..