딥러닝 성공의 이유CNN으로 넘어가기 전에 짚고 가야 할 이야기가 있습니다. 딥러닝이 성공한 이유를 흔히 더 좋은 알고리즘 덕분이라고 생각하기 쉽지만, 사실 훨씬 더 결정적인 요인은 하드웨어의 발전입니다. GPU가 등장해 수천 개의 코어로 행렬 곱셈을 동시다발적으로 수행할 수 있게 됐고, 네트워크 기술의 발전으로 인터넷을 통해 대량의 데이터를 모을 수 있게 됐습니다. ReLU 사용이나 최적화 개선도 물론 중요했지만, 그보다 하드웨어 발전이 훨씬 더 큰 견인차 역할을 했습니다. 합성곱 신경망 (CNN)딥 MLP의 한계완전 연결 구조(Fully Connected, FC)에는 두 가지 근본적인 문제가 있습니다. 첫째는 높은 계산 복잡도입니다. 입력이 D차원이면 노드 하나를 만드는 데 D번의 곱셈이 필요하고..
Introduce 딥러닝은 다양한 데이터에 대한 확률 분포를 나타내는 풍부하고 계층적인 모델을 발견할 수 있다는 가치를 가지고 있다. 하지만 딥러닝으로 생성모델을 발견하려고 하면 확률적 계산이 복잡하고 Relu의 장점을 살리지 못한다는 단점이 존재한다. 때문에 이 논문에서는 이러한 어려움을 우회하는 새로운 생성 모델 추정 절차인 GAN을 제안한다. GAN에 원리의 비유로 들 때 보편적으로 '위조지폐범과 경찰'의 관계를 예로 들곤 한다. 위조지폐범은 진짜지폐를 위조해 위조지폐를 만들고 경찰은 위조지폐를 감별해낸다. 그러면 위조지폐범은 더 진짜 같은 위조지폐를 만들어내도록 기술을 발전시키고 경찰은 위조지폐를 더 잘 찾아낼 수 있는 기술을 발전시킨다. 그러다가 경찰이 위조지폐를 감별해낼 확률이 반반이 된다면 ..