AI Note

2 posts·CNN에서 LLM까지

AI Note · 2개

AI Note 1편. 뉴런 하나의 가중합과 활성화부터, 퍼셉트론이 XOR을 못 푸는 이유와 층을 쌓아 푸는 방법, softmax·교차 엔트로피 손실, 학습률에 따른 경사 하강까지 직접 계산한 숫자 예제로 따라간다.

AI Note 2편. 연쇄 법칙과 계산 그래프로 역전파를 숫자 예제부터 따라가고, 2층 신경망의 그래디언트를 행렬로 유도한 뒤 NumPy로 직접 구현해 MNIST 97.7%를 얻는다. 미니배치가 빠른 이유도 측정해 본다.