공부하는 제이의 블로그

참고자료 : https://youtu.be/-vToUx5SDW4?si=AzCDhJ51m6VI9fvZ 커피빈 선생님 최고 어떻게 AI 가 생성한 텍스트인지 알 수 있을까? 2가지 방법이 있는데 크게 1) perplexity / burstiness 2) watermarking 이 2가지를 이용하는 방법이 있다. 첫번째의 경우 모델이 생성한 텍스트만 (많이) 있으면 쉽게 Detector 를 만들 수 있다. (유저가 만들 수 있음) 후자는 아예 모델의 디코딩 과정을 약간 수정해서 고유의 워터마크를 집어 넣는 방법이다. (개발자만 가능) 1. Perplexitly / Burstiness GPT_0 가 바로 첫번째 방법으로 만들어진 모델이라고 할 수 있음 (텍스트를 복붙하면 model generated text 인..

https://wandb.ai/datenzauberai/Batch-Size-Testing/reports/Do-Batch-Sizes-Actually-Need-To-Be-Powers-of-2---VmlldzoyMDkwNDQx Do Batch Sizes Actually Need To Be Powers of 2? Is the fixation on powers of 2 for efficient GPU utilization an urban myth? In this article, we explore whether this argument is true when using today's GPUs. wandb.ai => 여러 batchsize 를 가지고 total runtime 을 비교함. 결과적으로, 사이즈가 2의 ..

1. ddp backend 타입 별로 사용가능한 communication strategy https://pytorch.org/docs/stable/distributed.html 2. 각 communication strategy 설명 (그림) https://pytorch.org/tutorials/intermediate/dist_tuto.html