Python GIL - 왜 Data parallel 이 DDP 보다 속도 향상에 도움이 되지 않을까?

 

https://www.youtube.com/watch?v=SyIvYUgDbjA 

=> 기깔나게 설명해 놓았음.. 참고하기

결론적으로 파이썬은 One process, Multi-threads 는 안됨. 그니까 파이썬 코드 짤 때는 그렇게 짤 수 있지만 실제로 동작 방식이 그렇게 진행이 안 됨. 그게 GIL (Global Interpreter Lock) 때문임

 

=> reference counting 으로 변수 메모리를 관리하는 파이썬 특성때문에 그럼.

우선, Multithreads 는 하나의 process 내에서는 변수, 데이터를 공유하는  구조임. 그래서 multi-threads 를 허용하면 thread 1 에서 이미 삭제된 변수를 thread 2 가 접근하려고 할 때 - (다시 한번 말하지만 multi thread 는 변수를 공유하는 구조하는 방식임) - 실패한다. 그래서 파이썬에서는 이걸 방지하기 위해서 GIL 을 씀.

반대로 multi processing 은 서로 메모리를 공유하는 구조가 아니기 때문에 가능.

 

결론적으로 GIL 때문에 one process, multi threads 구조인 Data Parallel 은 속도 향상 효과가 별로 없을 수밖에 없음. 반대로 multi process 를 사용하는 DDP 의 경우에는 파이썬으로도 속도 향상 가능