근래 딥러닝 모델이라고 하면 Deep Neural Network (DNN or Multi-Layer Perceptron(MLP)라고 하는 인공신경망(Artificial Neural Network; ANN)을 일컫는데요. 다음장부터는 수식이 조금 더 디테일하고 복잡하게 다루어질 수 있기 때문에 이번장에서 중간점검차 요약을 한 번 할까해요.
그럼 이제부터 시작하겠습니다~ (이번장에서는 말투를 좀 편하게 할께요 ㅎㅎ;;)
[1. Supervised Learning]
- 딥러닝(Deep Neural Network) 모델 학습방식 --> Supervised Learning VS Unsupervised Learning
- Supervised Learning: DNN 모델이 예측하는 값과 실제 정답지 (학습데이터)를 통해 DNN 모델을 학습시킴
- Unsupervised Learning: 정답지 없이 데이터의 패턴을 분석해서 데이터의 특징이나 구조를 발견
- 이번글에서는 Supervised Learning을 목적으로하는 DNN 모델들에 대해 설명할 예정
<사진1>
[2. Deep Neural Network]
<1.기본구조>
- DNN은 기본적을로 아래와 같은 구조를 갖음.
- x=Training data --> 'Training data' X '신경망 가중치(weight; w)' = Wx--> activation function (아래그림에서 z=f(U)에서 f가 activation function)) -> 신경망예측값(=z) --> Error = 신경망예측값(=z) - 정답지 --> Backpropagation을 통해 가중치 업데이트
3) Multi-Class Classification (다분류) 문제의 Cost function
-Cross Entropy 개념 이용
<4. Backpropagation (가중치 학습방법)>
- 제가 블로그에서 식의 유도과정을 전부 기술해놓은 글이 있는데, 대부분 내용이 '딥러닝 제대로 시작하기'에 있는 내용이라 비공개로 설정했어요. 그래서 여기에서는 제가 직접 계산한 과정을 수기로 쓴 파일을 올려놓을테니 한번 보시면 좋을거에요. 이곳에서는 간단한 설명만 하도록 하겠습니다.
- Backpropagation은 DNN에서 가중치를 학습(업데이트)시키는 알고리즘 with Chain
아래영상은 Backpropagation이 학습이 어떻게 되는지 보여주는 영상이에요. 참고하세요!
<5.Activation function>
- 활성함수를 쓰는 목적은 DNN 모델이 비선형성을 표현할 수 있게 도와줌
- Layer를 더 쌓을 수록 비선형성을 더욱 잘 표현해줄 수 있는데, activation function까지 같이 활용해주면 더욱 비선형 모델을 잘 표현해줄 수 있음
<사진6. 왼쪽: Target function, 오른쪽 Activation function>
<사진7. activation function을 통해 non-linearity를 표현한 경우>
- Activation function 종류에는 아래와 같은 것들이 있음
<사진8>
- 변천과정은 아래와 같음
뉴런은 다음 뉴런에게 신호를 보내던지 안보내던지 둘 중에 하나야 --> Step(Binary step) function을 쓰자 --> Backpropagation으로 학습시키려고 하는데 미분이 안돼 --> sigmoid(Logistic) function으로 바꿔 그럼 --> Backpropagation은 기본적으로 미분으로 학습하는데 sigmoid function에는 기울기가 굉장히 낮은 곳들이 있어서 Chain rule을 관점에서 입력층에 가까운 가중치들은 학습이 거의 안됨 (Vanishing Gradient) --> 그럼 기울기 잘되게 ReLU로 바꿔 --> 근데 음수부분은 어떻게 함??? 그쪽은 미분값이 0인데? --> 그럼 Leaky ReLU로 학습시켜봐 --> 아 그런데 뭔가 새로운 방법은 없을까? --> activation function은 계속해서 연구중이야, 아래표 보면 cifar10 성능에서 maxout이라는 activation function이 제일 좋다고 나오지? 앞으로 다른 activation function들이 계속해서 나올거야 아마 --> 그런데 보통 ReLU까지를 기본적으로 배우더라고 그외 것들은 알아서 공부하면 돼!
이번 글 역시 포르투갈과 관련있는 글이에요. 하지만, 이번 글에서는 성당에 대한 자세한 설명들과 함께 더욱 재미있는 글을 써보려고해요~
이번글에서는 포르투갈을 가시면 꼭 방문하시게되는 세계문화유산인 '성 바울 성당', 한국인이면 한 번쯤 방문해봐도 좋은 '성 안토니오 성당'에 대해서 설명해보도록 할께요!
<1. 성 바울 성당>
마카오를 방문하면 카지노보다도 먼저 찾는 곳이 있어요. 바로 성 바울 성당이에요! 유럽역사를 알고 계시다면 유럽에서는 로마 카톨릭의 세력이 굉장했던걸 아실거에요. 그래서 포르투갈인들이 마카오로 들어오면서 자연스럽게 자신들의 종교인 카톨릭을 마카오에 정착시키게 됐죠.
성 바울 성당은 1580년 선교사를 양성해 아시아 주변 국가에 파견할 목적으로 건립되었어요. 당시 마카오가 해상 무역으로 번성하여 성당을 크게 지을 수 있었다고 하네요.
그런데 1595년, 1601년, 1834년 화재로 훼손된적이 있었답니다. 앞선 두 번의 화재를 겪었을 때에는 모두 목재로 지은 건축물이었는데, 두 번의 화재를
겪었을 때 앞부분을 목재가 아닌 화강암으로 짓게 되었다고 해요. 그런데 세 번째 화재가 나서 뒷 부분의
목재는 전부 타버렸다고 합니다. 이후 화재가 나서 없어진 뒷 부분은 복원하지 않았는데요. 들리는바에 의하면 이것이 신의 뜻이라고 하여 더 이상 복원하지 않는다는 설도 있었어요.
아래의 사진이 성당의 뒷 부분이에요. 뒷 부분이 화재로 모두 타버려서 그냥 성당의 앞부분인 정문만 외로이 남겨져 있네요. 여기에는 종교 예술 박물관이 있고 따로 안으로 들어가면 성당터에서 발굴한 유물들을 전시하고 있으니 꼭 구경해보시길 바래요!
아래 사진은 성 바울 성당의 정문이에요. 그런데 성바울 성당의 정문에 있는 조형물들은 각각의 의미를 지니고 있다고해요. 각각의 의미를 알기전에 카톨릭교의 기본적인 지식을 알려드릴께요.
③성령: 성자가 완수한 구원의 은총을 구원 받을 사람에게 적용하시는 분. (특히 가톨릭교회에서는 이 성령을 매우 중시)
성 바울 성당의 조형물이 지니는 의미
1)첫 번째 단
- 비둘기: 성령의 힘
- 비둘기 주변에 있는 해, 달, 별: 천지창조
2)두 번째 단
- 비둘기 아래에 있는 예수상 왼쪽의 채찍, 가시관: 고난
- 비둘기 아래에 있는 예수상 오른쪽의 계단: 천국으로 가는 계단
3)세 번째 단(예수회의 종교관)
- 성모마리아 상 좌우측(주변)으로 6명의 천사
- 성모마리아 상 맨 왼쪽에서 오른쪽방향으로 펼쳐진 그림의 의미: 사탄으로 인해 인간은 망망대해를 떠돌아 다니는 존재이나 구원의 샘물로 생명의 나무를 얻는다. 만약 구원을 받지 못하면 용에 의해 해골(지옥)이 된다.
양쪽에 튀어나온 중국풍 사자는 유럽 성당에서는 볼 수 없는 장식이에요. 해골 왼쪽에 사후를 생각해 죄를 짓지 말라 의미의 중국어가 적혀 있어요.
(참고로 성 바울 성당에는 사람들이 어마어마하게 많이 있어요. 인생샷을 찍으시려면 새벽에 가야..ㅜㅜ)
성 바울 성당을 뒤로하면 포르투갈 수도 리스본을 그대로 옮긴 듯한 '세나도 광장'이 보여요. 아래 사진의 동상은 평화의 의미를 상징하는데요. 그 이유는 포르투갈이 마카오를 식민지배 한 이후부터 중국에 반환할 때까지 피를 흘린적이 없어라고해요. 남자동상은 포르투갈인 여자는 중국인을 상징한다고 합니다~
<2.성 안토니오 성당>
어쩌면 성 안토니오 성당은 한국인들에게 성 바울 성당보다 더 특별한 곳일 수 있어요. 왜냐하면 이곳은 한국인 최초로 카톨릭 사제였던 김대건 신부의 흔적이 있기 때문이에요.
또 다른 성당인 “성 안토니오 성당”은
마카오에서 가장 오래된 성당이면서 한국인 최초로 카톨릭 사제였던 김대건 신부의 흔적을 찾아볼 수 있다. 그
인연으로 매주 토요일 오후 4시에는 한국어 미사가 열리기도 한다.
1821 충청남도 당진 출생 -> 가족이 대대로 카톨릭집안 -> 당시 조선에서 지속적인 박해를 받음 -> 1836년 몇몇 평신도들과 조선을 떠나 1837년 마카오에 도착 -> 마카오는 포르투갈 식민지역이었기 때문에 조선(or 명나라)의 위협에서 안전 -> 1839년 기해박해로 아버지가 순교
(김대건 신부의 흔적은 마카오뿐만 아니라 독립운동의 근거지인 상해에서도 찾을 수 있었어요. 이 부분은 '상하이'편에서 다루도록 할께요~)
바로 이곳이 성 안드레아 성당이에요!
성당 내부 오른쪽편에는 김대건 신부님 동상이 있어요~ 성 안드레아 성당은 김대건 신부의 동상뿐아니라 토요일 오후4시에 한국어 미사를 진행하기도 한답니다!
이곳에서 소액을 지불하면 아래와 같이 글을 쓰고 전시할 수 있게 해주어서, 소원을 적어봤어요~
마카오에는 굉장히 화려하기만 할 줄 알았는데, 사실 마카오는 본래 굉장히 조용한 곳이지 않았을까?라는 생각을 하게 만드는 시간이었어요.
아마 카지노와 같은 화장을 진하게 칠하고 있지만 실제로는 그 화장에 가려진 얼굴이 더 아름다운 곳이 아니었을까라는 생각을 해보았습니다!
6. Backpropagation (2).pdf
