루덴스코드 Blog

Weka 는 뉴질랜드 Waikato 대학에서 제작한 대표적인 데디터마이닝 도구다. 이안 위튼은 Weka 를 이용한 데이터마이닝 MOOC 를 제공하고 있다. 무료로도 가능하고, 제한없는 강의를 듣기 원하면 $89 을 내면 된다. 물론 영어로 이루어진다. [관련링크]

Weka 를 이용한 Data Mining 은 한두시간에 다룰 가벼운 주제는 아니다. 실제로 사용되는 머신러닝에 대한 기본적인 이해를 가지고 있어야 하고 다양한 응용이 가능해야 한다. 이안 위튼이 쓴 Data Mining 책은 한글로 번역되어 구입이 가능하다. 관심이 있다면 이 책을 구입해서 읽어보고, 위 사이트에서 영어로 된 강의를 들어보는 것도 좋을 듯 하다.

아주 간단한 Weka 에 대한 튜토리얼은 유튜브에서 검색하면 쉽게 찾을 수 있다. 다만 짧게 된 소개를 보고 Weka 를 다 이해한다는 것은 무리다. 일반적으로 붓꽃에 대한 데이터를 가지고 간단한 소개를 진행한다.

 



Weka 가 어렵거나 복잡하지 않으면(사실 어렵지는 않다. 뭔가 많이 붙어있어서 복잡할 뿐이다), 따로 소개와 함께 사용법을 만들어 볼까 했는데, 그건 당분간 보류한다. 생각보다 다뤄야 할 것들이 많을 것 같다. 그보다는 확률과 통계에 기반한 수학과 인공지능 혹은 머신러닝이 지금까지 걸어온 길을 소개해주는 글을 쓰는 것이 나을 것 같다. 소개하면서 발견하는 좋은 프로그램, 툴들을 소개는 하되 깊이 있게 다루지는 않겠다. 첫째, 내가 그 툴들을 제대로 사용해 본 적이 없기 때문이고, 둘째 툴들의 소개는 상당한 시간이 소요되고, 셋째, 툴들은 계속해서 수정되고 업그레이드되면서 바뀔 것이기 때문이다.

꼭 필요한 내용들을 선정하고 그것들을 중심으로 다루면서 Weka 와 같은 툴들은 소개하는 선에서 넘어가야 할 것 같다.





Comment +1

  • 안녕하세요.
    아빠, 우리함께 아두이노해요 책에 27페이지에
    기본준비물목록에 있는것들 구매하려면 어떻게 해야하는지
    궁금합니다.

    답변부탁드리겠습니다.

경계를 만들어서 스스로를 가두지 않는다면 가려는 방향엔 왠만하면 길은 있다.


사진을 클릭하시면 기사로 이동합니다.


블로터에 재미있는 글이 떴다. 고등학생이 "머신러닝"으로 "의학"관련 연구를 한다는 글이다.


고등학생으로 스탠포드 온라인 고등학교를 선택했다. 물론 들어가기가 쉬운 곳은 아니다. 미국의 교육이 평균적으로 많이 떨어져있는 것을 고려해서 고등학교 중 일부를 영재들이 공부할 수 있는 곳으로 만들었다. 그 중 하나가 스탠포드 온라인 고등학교다. 온라인으로 진행되기 때문에 한국에서도 입학할 수 있다. 영어로 의사소통이 가능하고, 수업을 따라갈 수 있으면 말이다.

김가은 학생은 한국에서 홈스쿨을 하면서 미국 스탠포드 대학이 진행하는 영재 고교과정을 이수하고 있는 셈이다. 

머신러닝으로 의학을 연구한다는 것을 보면서 '아!'하는 환호성이 나왔다. 사실 Bio 쪽 자료들은 온라인으로 상당히 많이 공개된 부분이다. 그래서 프로그램만 어느정도 가능하고, 수학적 지식만 있다면 누구라도 집에서 인터넷에 연결된 PC 에서 연구를 진행할 수 있다. 대학원에서 했던 연구가 DNA 분석쪽이었고, 모든 프로그램은 오픈소스에 자료는 공개되 있는 DNA 지도였다. 여기에 약간의 인공지능이 가미된 프로그램을 할 수 있다면 고등학생이라도 충분히 가능하다.


코딩교육을 어린 아이들에게 가르치려고 준비하면서 최종적으로는 인공지능(머신러닝)과 빅데이터를 포함시키려고 준비하고 있다. 김가은 학생은 누구의 도움도 받지 않고 거기까서 혼자서 해냈다. 대단하다. 아무도 가르쳐주지 않은 것을 하나씩 하다보니 거기까지 갔다고 말한다. 


코딩이라는 것은 단순한 프로그램언어를 사용하는 것이 아니다. 사실 영상분석이나 DNA 시퀀스 분석은 프로그래머의 영역이 아니다. 프로그램을 할 수 있는 과학자, 공학자, 기술자의 몫이다. 

스스로의 힘으로 거기까지 간 학생의 보며 이런 생각이 들었다. 


"경계를 만들어서 스스로를 가두지 않는다면 가려는 방향엔 왠만하면 길은 있다."




Comment +0


4차 산업혁명이 다가오니까 코딩교육을 해야 한다는 말은 틀립니다. 만약 그 말이 맞다면 우리의 자녀들은 갑갑한 세상에서 살아야 합니다. 기계에 맞춰서 공부하고, 기계에 맞춰서 살아야 합니다. 인간이 기계의 부속품이 되는 것입니다. 찰리채플린 영화 모던타임즈가 생각나는군요. 


4차 산업혁명은 지금까지의 세상과는 많이 다를 거라는 의미로 붙여진 이름입니다. 이 말은 2016년 다보스포럼에서 처음 언급됩니다. 물론 그 이전에 4차산업혁명이라는 말이 나오기까지 산업에 상당히 큰 변화가 있었습니다. 


인간은 기계의 부속품?

과학기술이 전체의 큰 비중을 차지했습니다. 증기기관으로 대표되는 산업혁명을 1차 산업혁명이라 부릅니다. 전기가 발명되고 시작된 대량 생산 시스템을 2차 산업혁명이라고 부르고, 컴퓨터 제어를 통한 생산자동화 시스템을 3차 산업혁명으로 부릅니다. 그리고 4차 산업혁명은 이 세번째 산업혁명의 이후에 나오는 빅데이터와 인공지능이 결합되면서 기존의 제어를 인간이 직접하지 않고 컴퓨터가 알아서 판단하는 방식에 따른 것입니다. 물론 그렇다고 영화나 만화속에서 보이는 정도의 암울한 미래를 생각하지는 마세요. 4차 산업혁명에서의 기계의 움직임은 더 이상 인간의 "직접적인" 명령에 따르지 않고 주어진 상황을 스스로 분석(AI)해서 어떤 행동을 하게 되지만, 그런 행동을 하게 되는 이유는 인간이 기계에게 시킨 "학습" 때문입니다. 


인간이 할 일은 기계를 가르치는 일!

조금 더 쉽게 말하면 기계가 알아서 모든 것을 판단하는 것이 아니라, 판단의 기준과 법칙을 인간이 기계(컴퓨터)에게 주면 그것에 따라서 기계가 학습을 합니다. 그래서 머신러닝(ML)이라고 부릅니다. 평가기준을 인간이 주고, 그에 따른 학습을 통해 기계는 최적의 행동을 하게 됩니다. 평가기준을 기계가 스스로 만드는 것이 아닙니다. 인간이 직접명령을 주지는 않지만, 학습 방법을 기계에 알려줍니다. 


회사에 신입사원이 들어오면 고참이 교육을 시키는 것과 비슷합니다. 처음에는 아무것도 몰라서 이것 저것 구체적으로 지시를 할 겁니다. '저기서 볼트를 오른쪽으로 세바퀴 돌려라. 그 다음 왼쪽 두번째 버튼을 눌러라.' 이런 식으로 말이죠. 그러다가 어느정도 알게 되면 추상적인 명령을 합니다. '두번째 기계를 작동시켜라'. 마지막으로 충분한 학습이 이뤄지면 이렇게 말합니다. '내일은 니가 알아서 해라'.


아무것도 모르는 신입사원이 그렇게 되기까지 '학습'이 있었던 겁니다. 그 학습의 결과로 이 신입사원은 경력기술자가 되는 것이죠. 기계학습도 비슷합니다. 이렇게 잘하고 못하고를 사람이 판단해 주어야 합니다. 그리고 그 결과를 가지고 기계는 조금씩 깨달아갑니다. 어떻게 해야 칭찬을 받을 수 있는지 말이죠. 칭찬을 많이 받을 수 있는 선택을 하는 것, 그것이 바로 ML 입니다. 


10년후 직업 중 65% 는 아직 만들어지지 않았다.

7세 아이가 사회에서 직업을 가질 나이가 되면 선택할 수 있는 직업 중 65%는 지금은 존재하지 않는 직업일 것이라고 말합니다. 2016년까지의 인재는 뛰어난 기억력을 가진 사람입니다. 머리 속에서 기억하고 있는 정보를 빨리 꺼내서 사용할 수 있는 사람이 인재입니다. 대표적으로 의사와 법조인들이죠. 하지만 앞으로는 이러한 기억들은 보조 장치들에 의존하게 될 겁니다. 프로기사들의 16만개의 기보를 기억하고 그것으로 학습하는 것을 기계는 단 5주만에 해냈습니다. 알파고와 같은 보조 장치들이 활용되면 더 이상 인간의 뇌로 하는 저장과 기억에 대한 것은 큰 차이가 없어집니다. 



누구든 말을 하면 바로 통역기가 통역을 해 주는 시대가 눈 앞에 왔습니다. 

이미 영어와 일본어 통역기는 시제품으로 나왔습니다. 한국어와 영어도 아주 빠른 시간안에 번역, 통역을 해주는 제품이 나올 겁니다. 법전을 뒤지거나 의학 전문 서적과 논문을 뒤지는 것이 도서관이 아니라 손에 있는 휴대폰이나 시계로 바로 가능하게 될 겁니다. 기억하는 것이 더 이상 중요하지 않은 시대가 오고 있습니다.


그러면 무엇이 중요할까요? 컴퓨터가 기억하게 하고, 인간은 그 저장된 기억을 인간을 위해서 사용하면 됩니다. 

창조적으로, 그리고 공동체적으로 말이죠. 암기가 아니라 창의적인 사람이 인재가 됩니다. 소통과 협동을 통해 서로의 장점을 키워갈 수 있는 사람, 이런 사람들이 앞으로 주목을 받게 될 것입니다. 코딩교육은 논리와 협동을 통해 주어진 문제를 해결하고 단계별 해법을 컴퓨터에게 위임하는 훈련으로 만들어져야 합니다. 정보를 저장하는 것은 컴퓨터가 잘 합니다. 컴퓨터의 지시를 듣고 그것을 따르는 것이 아니라 반대로 잘 기억하고 있는 컴퓨터에게 학습을 시키는 것, 그것이 인간이 문명을 진일보 하게 할 수 있는 역할입니다. 코딩교육은 이러한 일을 가능하게 할 것입니다.

Comment +0