안녕하세요~ 시간여행자에요!


이전글에서 대만이 일본의 식민지하에 있었으면서 일본을 긍정적으로 생각을 했는지에 대해서 설명하고 이와 관련된 재미있는 이야기들을 하려고 합니다~



이전에 대만의 역사에 대해서 다시 리마인드 해볼께요~


원주민들이 서식 -> 스페인과 네덜란드의 침략으로 못살게 굼 -> 명나라의 침략으로 못살게 굼 -> 청나라의 침략으로 못살게 굼 


ㅎㅎ


매우 간단히 요약했죠? 

사실 대만이라는 곳은 본래 원주민들의 나라에요. 그런데 여기저기서 침략해오고 자신들의 문화도 무시하고점령하니 기분이 좋진 않았겠죠??


그런데 1895 청일전쟁 이후 일본에게 패한 대만이 시모노세키 조약에 의해 대만을 할양받게 됩니다.


대만도 1895년 타이완 민주국 수립 선포, 1915년 티파니 사건과 같은 역사적 사건을 통해 항일운동을 벌이곤 했습니다. 


조선도 처음에는 강압적으로 무단통치를 하다가 문화통치와 같은 유화정책을 펼쳤죠? 대만에서도 같은 일이 벌어지게 되는데요. 1922년 일본은 대만에 일본과 같은 법제도를 적용하면서 동화정책을 펼치게 됩니다.


이 과정에서 대만사람들은 지난 스페인, 네덜란드, 명나라, 청나라에게 받은 핍박에 비해 자신들에게 잘해주는 일본이 밉진 않았던거 같아요~ 아래 영상을 보면 좀 더 쉽게 이해하실 수 있으실 거에요!!







이번 대만 여행에서 방문했던 스펀폭포에 있는 철도와 진과스에 있는 일본식 가옥들을 보면서 일본의 흔적들을 많이 살펴볼 수 있었어요.










또 재미난 사실은 대만의 유명한 망고빙수도 일본 식민지 시절의 흔적이라고 하더라구요. 일본은 청일전쟁 승리로 열대과일과 설탕을 대량으로 들어왔는데 이때부터 일본에서는 열대과일을 첨가한 '가키고오리'라는 빙수가 대중적인 간식으로 자리잡았다고해요~





그리고 아래사진은 지우펀이라는 곳인데, 일본의 애니메이션 '센과치히로의 행방불명'의 배경이 됐던 장소에요. (사람이 너무 많아서 큰일날뻔 했어요 ㅜㅜㅜㅜ) 지우펀에 대한 여러 설명들이 있는데 이러한 설명들은 유튜브를 참고하시는게 더 좋을 듯 해요! (여긴 역사관점에서 주로 다루는 블로그라 ㅜㅜ)





당시 일본은 한국과 대만을 다른 태도로 식민지배를 했어요 (물론 대만도 무단통치-문화통치-민족말살정책 과정을 거쳤지만요). 


"그 이유는 경제적인 관점에서 일본과 조선은 대치관계에 있었고, 대만은 일본과 대체관계에 있었기 때문에 조선에 대해서는 좀 더 강경한 정책을 대만에 대해서는 좀 더 유한 정책을 펼쳤다는 이야기가 있어요. 일본이 조선에 자립할 만한 산업으로 홍삼, 금광 정도가 있었는데 원하는 만큼 수익을 기대하긴 힘들었는데, 그나마 수익을 기대할 만한 사업이 초기에는 쌀농사, 중후기에는 중공업등이 있었다고 해요. 이것은 일본 산업과 경쟁관계에 놓인 산업이었죠


하지만, 대만의 경우는 막대한 설탕, 아편 그리고 각종 상품성 작물 등의 재배가 주요 산업이었는데 이것들은 일본 본토와 경쟁 관계게 놓여있지 않고 대체관계에 놓여있었다고해요. 덕분에 대만에 있는 대만 (일본) 총독부는 10년만에 자립을 할 수 있게 되었다고합니다 (인구수도 대만이 더 적어 일본 입장에서는 먹여살릴 부담도 적었다고 해요).


추가적으로 일제강점기 시대의 한국과 대만이 갖고 있던 일본에 대한 인식을 잘보여주는 재미있는 사례가 있는데 그것이 한국의 최고의 대학 서울대학교, 대만의 최고의 대학 국립타이완대학이에요. 일본은 제국주의를 강화하기 위해 교육에 열을 올리고 있었는데 그것이 제국대학령이었어요. 일본에 7개 대학 (7개의 대학을칠제대라고 한다. 일본의 아이비리그) ‘도쿄제국대학(1886; 현 도쿄대학)’, ‘교토제국대학(1897; 현 교토대학)’, ‘도호쿠제국대학(1907; 현 도호쿠대학)’, ‘규슈제국대학(1911; 현 규슈대학)’, ‘훗카이도제국대학(1918; 현 훗카이도대학)’, ‘오사카제국대학(1931; 현 오사카대학)’, ‘나고야제국대학(1939; 현 나고야대학)’와 식민지 2곳에 각각 하나의 대학을 설립했는데, 그 중 하나가 경성제국대학 (1924), 다이호쿠제국대학 (1928) 이다. 이 두 대학은 오늘날 서울대학교와 국립타이완대학이라고 불리고 있는데, 서울대학은 경성제국대학을 자신들의 전신이라고 인정하지 않는데 반해 국립타이완대학은 다이호쿠제국대학을 자신들의 전신으로 인정하고 있는 차이를 보인다고 합니다."  --> https://namu.wiki/w/%EB%8C%80%EB%A7%8C-%EC%9D%BC%EB%B3%B8%20%EA%B4%80%EA%B3%84    



이번여행을 하면서는 '왜 우리는 아직도 그 시절의 잔재에 대해 저항을 하고있고, 대만은 아직도 일본을 그리워하는지'에 대한 생각에 잠겼던것 같아요.


이러한 태도들이 오늘날 한국과 대만의 경제격차를 불러일으킨거라고 연결짓기는 힘들지만, 그래도 계속 여러 생각을하게 만들더라구요. 민족성을 지키려는 의지에서 차이가 있었던건지, 아니면 단지 우연이었던건지..


당시에 여행을 마치고 숙소에 들어와 이런 질문들을 하고 복잡한 생각을 하고 있을때 우연히 암살 영상을 보게됐는데, 그냥 그때 생각나서 링크 걸어놨어요ㅎㅎ 







  이상 글을 마무리 할께요~~ ㅎㅎ



 저 앞에 뭐가 있는지도 모르지만 우리는 계속 걸어가겠죠? 








안녕하세요~ 이번장에서는 다클래스분류에서 쓰이는 Cross Entropy가 지니는 본질적인 의미에 대해서 설명해 볼거에요. 사실 Cross Entropy는 정보이론(Information Theory)분야 뿐만아니라 열역학 분야에서도 쓰여요. 하지만 이번장에서는 딥러닝과 관련이 깊은 정보이론분야의 Cross entropy 개념에 대해서 알아볼거에요.


먼저 정보이론에 대한 기초개념을 간단히 살펴본후, Entropy라는 개념을 살피고, Cross Entropy에 대해서 설명해보도록 할께요!




<1.Information Theory; 섀넌의 정보이론>


처음으로 소개해드릴 개념은 '정보량'이라는 개념이에요. 두 개의 메시지를 받았을 때, 어떤 메시지가 정보량이 더 많다고 할 수 있을까요? 아래의 예시를 통해 알아보도록 할께요.


우리가 예(1), 아니오(0)로만 대답할 수 있는 스무고개를 한다고 해봅시다. A커튼 뒤에는 강아지가 있고, B커튼에는 알파카가 있다고 할께요. A커튼 뒤에 있는 강아지는 4번만에 맞췄고, B커튼 뒤에있는 질문은 16번만에 맞췄습니다. 우리가 강아지를 알아내기 위해서는 4비트의 정보가 필요해요. 왜냐하면 예, 아니오라는 질문을 한 번 할때마다 1bit(={0,1})가 필요하다고 보면되니까요. 그렇다면, 알파카를 알기 위해서는 16개의 비트가 필요하겠죠? 이때, 알파카의 정보량이 더 많다고 할 수 있겠어요.


그런데, 이것을 좀 더 다른관점에서 보도록 해볼게요. 질문이 많다는건 다른말로 표현하면 상대적으로 불확실성이 높다는 말로 표현할 수 있어요. 커튼뒤에 강아지가 있을 때보다 알파카가 있을때 답을 맞출 확실성이 떨어져요(=불확실성이 높아져요).


섀넌은 이러한 관계성을 통해서 '정보량=불확실성'이라는 개념을 소개하게 되요. 즉, 불확실성이 높을 수록 또 불확실성이 높아진다는 이야기에요.


일반적으로 정보량을 메시지의 정보량에 빗대어 설명해요. 예를 들어, 전체 메시지 중에서 "했"일아는 단어가 나오면 "습니다"라는 단어가 나온다는 것을 쉽게 알 수 있어요. 그러므로, '했' 다음에 오는 '습니다'라는 부분이 메시지에서 지워졌다고 해도 전체 메시지 내용을 파악하는데 큰 어려움은 없을거에요.


다른 관점에서보면 전체 메시지에서 명사와 동사만 알고 있어도 전체 메시지 내용을 파악하는데 어려움이 없다는 결론을 도출할 수 있게 됩니다. 왜냐하면 우리는 명사, 동사 뒤에 어떤 '조사'가 나오는지 쉽게 알 수 있기 때문이죠. 그리고 이렇게 판단하는 이유는 명사, 동사 뒤에 오는 '조사'가 빈번하게 우리눈에 목격됐기 때문이에요. 우리는 이런경우 '조사'를 redundant한 정보라고 불러요. 


즉, 전체 메시지에서 잦은 단어는 정보량이 적고, 드문 단어는 정보량이 많다는 관계를 만들어 낼 수 있어요. 그리고, 이전에 설명했던 불확실성과 연결지으면 아래와 같은 관계를 성립시킬 수 있겠네요.


정보량↑ = 빈번하지 않은 정보 = 불확실성 


그렇다면 정보량은 수식으로 어떻게 표현할까요? 먼저 이전에 설명했던 강아지와 알파카의 예를 들어 봅시다. 우리가 강아지를 맞추기 위해서 총 4번의 질문을 했어요. 그런데 사실 4번의 질문으로 얻을 수 있는 대답의 경우의수는 N=2^4 이에요. 그럼 아래사진과 같이 그림을 그려볼 수 있고, log2N=k bit 라는 수식을 만들 수 있어요. (질문의 수=k, 질문을 통해 얻을 수 있는 대답의 경우의 수=N)


<사진1>


위의 그림을 보면 강아지를 맞출 확률은 'p(x)=1/16'이겠네요.  그럼, -log2p(x) 라고 표현하면 4라는 수가 나오겠죠? 그래서 정보량의 수식을 아래와 같이 표현해요.





<2. Entropy>


정보량에 대한 개념을 알아보았으니 Entropy라는 개념에 대해서 알아보도록 할께요. 결론부터 이야기하자면 엔트로피는 정보량의 기대값(평균)을 의미해요. 


섀넌이은 이러한 Entropy를 통해 distribution을 표현했는데요. 섀넌 엔트로피 distribution은 아래와 같이 설명될 수 있겠어요.


"사건의 분포가 결정적(사건에 대한 확률이 어느 한쪽으로 치우친 정도->ex: 동전 4번 던졌을 때, 앞이3번 나오면 다음에도 앞이 나올 확률이 크기 때문에 치우친 정도가 큼)이라면 해당 확률분포의 불확실성 정도 (정보량)을 나타내는 엔트로피는 낮아진다. 반대로 사건의 분포가 균등적(ex: 동전 4번 던졌을 때 앞2번, 뒤2번으로 확률이 어느 한쪽으로 취우쳐지지 않음)일 수록 엔트로피는 높아진다"


<사진2>


정리하는 차원에서 하나의 예시로 연결지어 설명해볼께요. 아래 '사진3', '사진4'가 있습니다. '사진3'에서는 다음날 해가 뜨거나 비가 올 확률을 동일하게 봤네요. '사진4'에서는 해가 뜰 확률을 더 높게 봤습니다. 그렇다면, 여기에서는 사건이 비가오거나 해가오는 경우인데, 각각의 사건에 대한 확률이 '사진3'과 '사진4'처럼 설정되면 엔트로피는 어떻게 될까요? 당연히 각 사건에 대한 불확실성이 높은 '사진3'의 경우가 불확실성의 평균(기댓값)도 높게 나오겠죠? 이 말을 다르게 말하자면 '사진3'의 경우가 엔트로피가 더 높을거라는 말과 같네요. 그럼 한번 정말 그런지 살펴볼까요?


수식을 대입해보면 '사진3'의 기댓값은 1bit, '사진4'의 기댓값은 0.81bit가 나와요. 요약하자면, '사진4'의 경우가 정보량이 적다는 말인데, 그 이유는 당연히 다음날 해가뜰 확률이 더 높아져서 정보의 불확실성이 낮아졌기 때문이라고 할 수 있겠네요.



            

<사진3>                                                                    <사진4>

 



<3. Cross Entropy>


엔트로피에 대한 개념을 이해했으니 이제는 Cross Entropy에 대한 개념을 살펴볼께요. Cross Entropy에 대한 개념은 아래영상으로 대체하려고해요. 정말 설명을 잘 해 놓으셨더라구요~

중간에 구체적으로 이해가 안되시는 부분이 있으실 수 있는데, 한번 영상을 끝까지 보시면 그래도 Cross Entropy에 대한 개념을 명확히 잡으실 수 있으실 거에요.


아래영상을 요약하자면 아래와 같습니다.


 "Cross Entropy는 Estimated value (from Deep Learning Model)와 실제 정답이 되는 값 (딥러닝관점에서 학습데이터가 되겠네요) 이 서로 얼마나 근사한지를 보는것!" 





나중에는 Cross Entropy를 KL-Divergence라는 개념과 비교하여 설명하긴 하는데, 추후에 KL-Divergence를 다루게 되면 그때 비교해서 설명해드릴께요!


지금까지 설명한 내용들은 아래영상을 차례대로 보시면 더 자세히 이해하실 수 있으실거에요. 그럼 이번장은 여기서 마칠게요~!






영어가 수월하신 분들은 아래 영상을 보시는걸 추천드려요. (영어를 잘 못하시더라도 자막보고 번역해가면 충분히 이해하실 수 있으 실 거에요!)






안녕하세요~ 시간여행자입니다.


이번챕터를 따로 개설한 이유는 딥러닝에 대한 설명을 좀 더 구체적으로 하기 위해서에요.


사실 딥러닝에 대한 이론을 설명하다보면 굉장히 많은 이론들이 동반이되어있어요.


Feature selection을 하는데에도 PCA라는 개념이 설명되기도 하는데 PCA를 설명하려다보면 Covariance라는 개념도 설명해야되고 이러다 보면 선형대수에 대한 전반적인 이해도 필요하게돼요 ㅜㅜ 뿐만아니라, 다클래스 분류에 쓰이는 cost function에서는 정보이론에서 쓰이는 Cross Entropy라는 개념이 쓰이기도해요.


입력변수가 많아지면 다변수함수라는 개념이 쓰이기도 하고, 최적화된 학습을 하기위해서는 수치해석이나 다른 최적화이론들이 쓰이기도해요.


그럴때마다 이러한 수학적 개념을 딥러닝 이론을 설명하면서 함께 다루기에는 내용이 너무 방대해지기 때문에 따로 챕터를 마련하게 되었어요. 그래서 이 챕터는 순서는 따로 없어서, 필요한 개념만 그때그때 골라서 읽으시면 될거 같아요!

'딥러닝수학' 카테고리의 다른 글

Cross Entropy (크로스 엔트로피)  (0) 2020.01.04

+ Recent posts