공부하는 제이의 블로그

참고자료 : https://youtu.be/-vToUx5SDW4?si=AzCDhJ51m6VI9fvZ 커피빈 선생님 최고 어떻게 AI 가 생성한 텍스트인지 알 수 있을까? 2가지 방법이 있는데 크게 1) perplexity / burstiness 2) watermarking 이 2가지를 이용하는 방법이 있다. 첫번째의 경우 모델이 생성한 텍스트만 (많이) 있으면 쉽게 Detector 를 만들 수 있다. (유저가 만들 수 있음) 후자는 아예 모델의 디코딩 과정을 약간 수정해서 고유의 워터마크를 집어 넣는 방법이다. (개발자만 가능) 1. Perplexitly / Burstiness GPT_0 가 바로 첫번째 방법으로 만들어진 모델이라고 할 수 있음 (텍스트를 복붙하면 model generated text 인..

https://wandb.ai/datenzauberai/Batch-Size-Testing/reports/Do-Batch-Sizes-Actually-Need-To-Be-Powers-of-2---VmlldzoyMDkwNDQx Do Batch Sizes Actually Need To Be Powers of 2? Is the fixation on powers of 2 for efficient GPU utilization an urban myth? In this article, we explore whether this argument is true when using today's GPUs. wandb.ai => 여러 batchsize 를 가지고 total runtime 을 비교함. 결과적으로, 사이즈가 2의 ..

1. ddp backend 타입 별로 사용가능한 communication strategy https://pytorch.org/docs/stable/distributed.html 2. 각 communication strategy 설명 (그림) https://pytorch.org/tutorials/intermediate/dist_tuto.html

https://www.youtube.com/watch?v=SyIvYUgDbjA => 기깔나게 설명해 놓았음.. 참고하기 결론적으로 파이썬은 One process, Multi-threads 는 안됨. 그니까 파이썬 코드 짤 때는 그렇게 짤 수 있지만 실제로 동작 방식이 그렇게 진행이 안 됨. 그게 GIL (Global Interpreter Lock) 때문임 => reference counting 으로 변수 메모리를 관리하는 파이썬 특성때문에 그럼. 우선, Multithreads 는 하나의 process 내에서는 변수, 데이터를 공유하는 구조임. 그래서 multi-threads 를 허용하면 thread 1 에서 이미 삭제된 변수를 thread 2 가 접근하려고 할 때 - (다시 한번 말하지만 multi th..

http://www.jussihuotari.com/2018/01/17/why-loss-and-accuracy-metrics-conflict/ Why Loss and Accuracy Metrics Conflict? – Jussi Huotari's Web A loss function is used to optimize a machine learning algorithm. An accuracy metric is used to measure the algorithm’s performance (accuracy) in an interpretable way. It goes against my intuition that these two sometimes conflict: loss is getting bett www...

https://colah.github.io/posts/2015-08-Backprop/

1. Input normalization 은 빠른 learning 을 위해 필요하다 x1= 1 에서 1000 까지의 value 를 가지고 x2 = 0..1 까지의 value 를 가진다고 할 때, 그럼 마찬가지로 각각 input feature에 상응하는 weight 도 다른 scale 을 갖게 됨. 결과적으로 cost function 이 왼쪽으로 한쪽은 굉장히 좁고 (elongated) , 한쪽은 넓은 모양이 되는데 이 경우에는 learning_ratio 를 아주 작게 해서 아주 많은 steps 을 밟아야지만 최적에 이르게 된다 (위에서 왼쪽 하단 이미지 참고) . 그렇게 때문에 input normalization 해서 두 input feature 의 scale 을 조정해주면 오른쪽 하단처럼 되고 결국 i..

"해당 포스팅은 Andew Ng 의 Machine learning class - Naive Bayes Classifier 를 요약한 것입니다." Discriminative model vs Generative model Discriminative model 의 대표적인 예는 Logistic regression 이라고 함. $P(y|x)$ 즉 $x$ features 가 주어졌을 때 바로 $P(y)$ 를 구하는 거임. 아래 그림처럼 Binary classification 에서 두 class 를 구분하는 초록색 선을 찾는게 목표임. Generative Model 로도 classifier 를 만들 수 있는데 방법이 조금 다름. 일단 formal 하게 말하자면 Generative Model 은 $P(y|x)$ 를 ..

"해당 포스팅은 Dan jurafsky 교수의 Speech and Language Processing Chapter 14. Dependency Parsing 을 요약한 것이며 모든 이미지 자료로 책에서 인용한 것입니다" 해당 포스팅 전체에서 child node 가 단 한 개의 parent node 만 갖는다고 가정한다 1. Transition-based approach Transition-based 는 Parser (=predictor / oracle) 이 sequence of operator (left arc operator, right arc operator, shift operator, reduce operator) 를 predict 하는 방식. Each step 기준으로 보면 current ste..

Transformer 구조라는 건 encoder - decoder 로 이루어진 seq to seq model 이고 거기에 attention mechanism 이 핵심 요소이다. BERT 는 transformer 의 encoder blocks 만 있는 모델 GPT2 는 transformer 의 decoder blocks 만 있는 모델 BART 는 bert encoder + gpt2 decoder 이라는 것. 그럼 결국 transformer 아닌가..? => architecture 이랑 pre-training 에서 조금씩 차이가 있다고 함 BERT 는 그니까 self attention + feed forward layer 로 이루어진 encoder block 의 stack 으로 이루져 있고 GPT2 는 ma..