Single cycle implementation:한 사이클에 한 명령어를 완전히 실행한다.모든 명령어가 동일한 시간을 소요한다.구현이 간단하지만 성능이 제한적이다.각 하드웨어 단계를 한 명령어에만 사용한다.Pipeline implementation:명령어 실행을 여러 단계로 나누어 처리한다.여러 명령어를 동시에 다른 단계에서 처리한다.전체적인 처리량이 증가한다.하드웨어를 더 효율적으로 사용한다.구현이 복잡하며 파이프라인 해저드 관리가 필요하다. Instruction fetchInstruction fetch 단계는 다음과 같이 작동한다:Instruction memory에 32비트 명령어가 주소에 맞게 저장되어 있다.PC(Program Counter)가 instruction memory에 명령어 주소를 ..
Branch Prediction은 Fetch 단계에서 세 가지를 예측하는 기술이다. 이는 명령어의 branch 여부, branch의 taken/not taken 여부, 그리고 branch의 target address이다.Branch Target Buffer(BTB)는 이전에 taken된 branch의 target address를 저장하는 저장소다. BTB는 현재 명령어가 branch인지 판단하는 데도 사용된다. Branch Prediction은 정적 예측과 동적 예측으로 나뉜다. 정적 예측에는 always not taken, always taken, BTFN, profile based, program analysis based 방식이 있다. 동적 예측에는 Last time prediction, Two-b..
Maintain variance diffusion 모델은 분산을 1로 일정하게 유지Var(xₜ) = Var(√(1-βₜ)xₜ₋₁) + βₜ Var(xₜ) = (1-βₜ)Var(xₜ₋₁) + βₜVar(xₜ₋₁)는 1일 것으로 예상할 수 있으므로 Var(xₜ)도 1즉, 디퓨전 과정 전반에 걸쳐 이미지의 '에너지'를 일정하게 유지하면서 점진적으로 원본 정보를 노이즈로 대체한다고 볼 수 있음 Loss Term L_T는 최종 노이즈 분포를 표준 정규 분포와 유사하게 만드는 항L_t-1은 시간 스텝에서의 KL 발산의 합으로, 실제 역과정 분포와 모델이 학습하는 역과정 분포를 유사하게 만드는 항L0는 모델의 예측이 실제 데이터와 얼마나 일치하는지를 측정하여 최종 결과의 품질을 향상시키는 항 Condit..
3D 데이터 획득 기술이 더 접근하기 쉬워졌으며, 다양한 응용 분야에 풍부한 기하학적 정보를 제공한다.포인트 클라우드는 많은 장면 이해 작업에 선호되는 3D 데이터 표현 방식이다.3D 포인트 클라우드에 대한 딥러닝은 작은 데이터셋, 높은 차원성, 비구조화된 데이터 특성 등의 과제에 직면해 있다. 다양한 센서를 이용해 포인트 클라우드 데이터셋 수집전체 정확도(OA), 평균 IoU(mIoU), 평균 클래스 정확도(mAcc)가 주로 사용됨인스턴스 분할에는 평균 평균 정밀도(mAP)도 사용됨 OA(Overall Accuracy) = 올바르게 분류된 점들의 총 수 / 전체 점의 수 IoU(Intersection over Union) = (예측과 실제가 겹치는 영역) / (예측과 실제의 합집합 영역)mAcc(me..
데이터 베이스 설계요구사항 분석 -> 개념적 설계(ER 모델링) -> 논리적 설계(스키마로 사상) -> 스키마 정제(정규화) -> 물리적 설계(데이터베이스 성능 향상) ER 다이어그램에서의 강한 관계와 약한 관계ER 다이어그램(개체-관계 다이어그램)은 데이터베이스 설계에서 중요한 역할을 하며, 개체(엔티티)와 관계(리레이션십)를 시각적으로 표현한다. 이 다이어그램에서 강한 관계와 약한 관계는 데이터 모델링의 핵심 요소로 간주된다. 강한 관계 (Strong Relationship)강한 관계는 두 개체 타입(엔티티 타입) 간의 직접적인 관계를 나타내며, 두 개체가 독립적으로 고유하게 식별될 수 있는 경우에 성립한다. 약한 관계 (Weak Relationship)약한 관계는 강한 엔티티 타입과 약한 엔..
1. 다윈이 중요한가? 세포 하나가 인간이 만든 기계보다 복잡하다 윌리엄 페일리의 시계 비유시계는 너무나 복잡해서 그냥 우연히 만들어졌다고 생각할 수 없다. 하향식 창조 이론다윈 이전의 세계관으로 복잡한 것은 반드시 더 복잡하고 똑똑한 것으로부터 나온다생명의 복잡한 적응적 '설계'는 모두 피라미드 꼭대기의 신으로부터 유래했다만물은 창조주가 그렇게 만든 목적과 이유가 있음 물리 세계와 달리 의미와 목적의 세계는 자연과학만으로 설명할 수 없고, 종교나 인문학으로 설명된다. 상향식 창조 이론다윈의 세계관으로, 복잡한 것은 덜 복잡한 것으로부터 생길 수 있다는 이론자연 선택에 의한 진화 복제 가능한 최초의 생명 -> 생명의 복잡한 적응이 만들어짐 설계자가 없어도 설계가 가능하다다윈은 생명의 설계도 자연..
Introduce 딥러닝은 다양한 데이터에 대한 확률 분포를 나타내는 풍부하고 계층적인 모델을 발견할 수 있다는 가치를 가지고 있다. 하지만 딥러닝으로 생성모델을 발견하려고 하면 확률적 계산이 복잡하고 Relu의 장점을 살리지 못한다는 단점이 존재한다. 때문에 이 논문에서는 이러한 어려움을 우회하는 새로운 생성 모델 추정 절차인 GAN을 제안한다. GAN에 원리의 비유로 들 때 보편적으로 '위조지폐범과 경찰'의 관계를 예로 들곤 한다. 위조지폐범은 진짜지폐를 위조해 위조지폐를 만들고 경찰은 위조지폐를 감별해낸다. 그러면 위조지폐범은 더 진짜 같은 위조지폐를 만들어내도록 기술을 발전시키고 경찰은 위조지폐를 더 잘 찾아낼 수 있는 기술을 발전시킨다. 그러다가 경찰이 위조지폐를 감별해낼 확률이 반반이 된다면 ..
Introduce 객체인식에는 기계학습이 사용되며, 기계학습은 큰 데이터 셋, 강력한 모델, 과적합을 감소시킬 수 있는 기술이 필요하다. 이에 더해 객체 인식을 하기 위해서는 labeled image가 필요한데, labeled image는 각 이미지가 내용이나 특징을 나타내는 클래스와 관련된 식별자를 가지고 있는 이미지를 뜻한다. 하지만 labeled image는 상대적으로 적은 편이기 때문에 라벨을 보존, 변형, 보강함으로써 간단한 인식 작업이 가능할 정도로 데이터를 늘릴 수 있다. 예로 Mnist 숫자 인식 작업 오류율이 사람과 비슷한 0.3% 미만이 나오기도 하였다. 하지만 사실적 객체의 경우 변동성이 크기 때문에 더 많은 데이터 셋이 필요하다. 이러한 데이터 셋 부족 문제는 예전부터 거론되던 문제..
BERT는 transformer의 인코더 구조만을 사용하여 만든 bidirectional 모델이다. BERT 논문에서는 'Deep'이라는 글자를 강조했는데, 이는 기존의 language representation 모델들과 다르게 자신들의 모델 구조가 진정한 의미의 양방향 representation을 가능하게 했다는 것을 말하고자 한 것으로 보인다. BERT의 가장 큰 특징은 한번 Pre-training해 놓으면 모델 구조를 바꾸지 않고도 Fine-tuning 만으로 여러 NLP task에 적용할 수 있다는 것이다. 이처럼 개량 방식은 매우 간단하지만 여러 분야에서 SOTA를 달성할 만큼 우수한 모델임이 증명되었다. Introduction LM pretraining은 BERT 이전에도 다양한 NLP tas..
Introduction 초기 기계번역 모델은 Seq2Seq 아키텍처로 구현되었다. 이 모델은 입력 문장을 인코더로 압축하고, 그 결과를 디코더로 전달하여 번역을 생성하는 'encoder-decoder' 방식이었다. 그러나 이 방식은 인코더가 context vector라는 고정된 크기의 벡터에 모든 입력 정보를 담기 때문에 정보가 손실될 우려가 있었다. 뿐만 아니라 Seq2Seq와 같은 RNN 기반 모델들은 계산이 순차적으로 이루어져 병렬처리가 어려웠다. 하지만 논문에서 제안하는 Transformer 모델은 행렬곱 계산을 통해 Context vector을 순차적 계산 없이 한번에 생성할 수 있는 동시에, 정보 손실을 최소화하는 매커니즘을 가지고 있다. Seq2Seq 모델은 위 그림과 같이 인코더의 최종 결..
