참고자료 : https://youtu.be/-vToUx5SDW4?si=AzCDhJ51m6VI9fvZ 커피빈 선생님 최고 어떻게 AI 가 생성한 텍스트인지 알 수 있을까? 2가지 방법이 있는데 크게 1) perplexity / burstiness 2) watermarking 이 2가지를 이용하는 방법이 있다. 첫번째의 경우 모델이 생성한 텍스트만 (많이) 있으면 쉽게 Detector 를 만들 수 있다. (유저가 만들 수 있음) 후자는 아예 모델의 디코딩 과정을 약간 수정해서 고유의 워터마크를 집어 넣는 방법이다. (개발자만 가능) 1. Perplexitly / Burstiness GPT_0 가 바로 첫번째 방법으로 만들어진 모델이라고 할 수 있음 (텍스트를 복붙하면 model generated text 인..
1. Metric-based vs Model-based vs Optimization-based https://youtu.be/9j4iH9TPTd8?t=1560 Meta learning 정의: 기존의 supervised learning 에서 samples from a single distribution 으로 부터 학습하는 것을 넘어서서, distribution over tasks 를 배우는 게 목적이다. 어떻게? 학습에 도움을 주는 Support set 이라는 것을 사용해서. 이걸 어떻게 사용하느냐에 따라 3가지 방식이 나뉘는거임. 기존의 supervised learning 에서는 $P_{\theta}(y|x)$ 를 구하고자 했다면 meta learning 에서는 여기에 S가 추가로 들어가는 거임. Met..
https://wandb.ai/datenzauberai/Batch-Size-Testing/reports/Do-Batch-Sizes-Actually-Need-To-Be-Powers-of-2---VmlldzoyMDkwNDQx Do Batch Sizes Actually Need To Be Powers of 2? Is the fixation on powers of 2 for efficient GPU utilization an urban myth? In this article, we explore whether this argument is true when using today's GPUs. wandb.ai => 여러 batchsize 를 가지고 total runtime 을 비교함. 결과적으로, 사이즈가 2의 ..
- Total
- Today
- Yesterday
- Statistical Language Model
- language model
- Attention Mechanism
- 워터마킹
- Pre-trained LM
- cs224n
- 뉴런
- neural network
- 뉴럴넷
- LM
- GPTZero
- nlp
- 벡터
- weight vector
- Elmo
- Neural Language Model
- 언어모델
- transformer
- word embedding
- Contextual Embedding
- neurone
- Bert
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |