Let us:Go! Sumer 2018

이미지
2018.7.21 핵더운 여름의 토요일, 판교 카카오톡 건물에 렛어스고 여름 2018 에 다녀왔습니다. 카카오톡 오픈 채팅방에 iOS 개발자 라고 검색하면 700명이 넘는 사람이 포함되어 있는 채팅방을 찾아볼수 있는데, 이곳에서 알게된 iOS 개발자 행사가 렛 어스 고(Let us:Go!) 입니다. 카카오톡 내무 시설에 새삼 감동하며 세미나 장을 찾아갔습니다. 요리조리 물어물어 행사장에 도착하니, 이럴수가 아이폰 개발자가 이렇게 많다니! 채팅방 인원수가 700 명이니 그럴수 있겠구나 싶은 생각으로 구석자리에 자리를 잡습니다. 이번 세미나에서 좋았던건, 쓸데없이 시간 잡아먹는 일 없이 여섯개의 세션이 최대한 빠르게 진행되었다는점과 간식타임 이었습니다. (무려 피자) 모든 세션이 크게 작게 자극제가 된 세션이었고 가장 좋았던건 곰튀김 님의 응집도에 대한 장점이었습니다. 평소에 가독성을 가장 중요하게 생각하면서 코드를 만드는데, "곰튀김" 님의 세션중 코드 응집도에 대한 내용이 가장 크게 와 닿았습니다. 집으로 돌아오는 길에, rxSwift 에 대한 갈증과 TDD 에 대한 호기심, 신뢰를 주는 개발자가 되자는 생각을 하게된 뜻 깊은 세미나 였습니다.

[note] 결정트리 학습법

    • 결정트리 학습법
      • 관측 값과 목표값을 연결 시켜주는 예측 모델로서 결정트리를 사용하는 것을 결정트리 학습법이다.
      • 통계학과 데이터 마이닝 기계학습에서 사용하는 모델링 방법중 하나이다.
      • 분류 트리란 트리 모델중 목표 변수가 유한한 수의 값을 가지는 것이다.
      • 회귀 트리란 결정트리중 목표 변수가 연속하는 값, 일반적으로 실수를 가지고 있는 것이다.
      • 의사 결정 분석 에서 결정 트리는 시각적이고 명시적인 방법으로 의사 결정 과정과 결정된 의사를 보여주는데 사용된다.
      • 데이터 마이닝 분야에서 결정 트리는 결정된 의사 보다는 자료 자체를 표현하는데 사용된다.

    • 일반
      • 결정트리 학습법은 데이터 마이닝에서 일반적으로 사용되는 방법론이다.
      • 몇몇 입력 변수를 바탕으로 목표 변수의 값을 예측하는 모델을 생성하는 것을 목표로 한다.
      • 결정 트리 학습은 학습에 사용되는 자료 집합을 적절한 분할 기준 또는 분할 테스트에 따라 부분 집합들로 나누는 과정이다.

    • 종류
      • 분류 트리 분석 : 예측된 결과로 입력 데이터가 분류되는 클래스를 툴력
      • 회기 트리 분석 : 예측된 결과로 특정 의미를 지니는 실수 값을 출력

    • 분류 트리와 회기 트리의 차이점은, 입력 자료를 나누는 과정에 있다. 앙상블 방법이라 불리는 아래 기법들은 입력 자료로 부터 한개 이상의 결정 트리를 생성한다.

    • 초기 앙상블 방법인 배깅 결정 트리는 방복적으로 교체 과정을 수행하는 것과 함께 훈련 데이터를 재 샘플링 하고 합의 예측을 위한 트리를 선택하는 것으로 다수의 의사 결정 트리를 생성한다.

    • 랜덤 포레스트 분류기에서는 분류 속도를 향상 시키기 위해서 결정 트리들을 사용
    • 부스트 트리는 회귀 분석과 분류 문제에 사용 될 수 있다.
    • 회전 포레스트는 모든 결정 트리가 먼저 입력 트리중 임의의 부분 잡합에 대한 주 성분 분석을 적용하여 훈련된다.

    • 의사결정 트리 학습은 클래스-라벨 훈련 쌍으로 부터 결정 트리에 의해 구성된다.
    • 결정 트리의 각 노드는 서로 다른 특성을 가진다.
    • 각 내부 노드는 속성에 대한 테스트를 나타내고 가지는 테스트의 결과를 나타낸다
    • 각 리프노드는 클래스의 라벨을 나타낸다.
    • 트리의 최상위 노드는 루트 노드이다.

    • 방법
      • 결정트리를 구성하는 알고리즘으로 하향식 기법이 사용됨
      • 데이터 집합을 적합한 기준으로 분할하는 변수 값 선택되어 데이터 집합의 분할이 얼마나 적합한지 측적하는데 사용됨
      • 지니 불순도 : 집합에 이질적인것이 어람나 섞였는지 측정하는 지표, CART 알고리즘에서 사용됨 한 집합에서 항목을 뽑아 무작위로 라벨을 추정할 때 틀릴 확률을 말함. 집합에 잇는 항목이 모두 같으면 지니 불순도는 최소값을 갖게 되며 집합은 완전히 순수하다고 말한다.
      • 정보 획득량 : ID3, C4.5 C5.0 트리 생성 알고리즘에서 사용되며 엔트로피 개념에 근거를 드고 있다.
      • 분산감소 : CART 에서 소개된 분산 감소 기법은 목표 변수가 연속적일 경우 자주 사용됨. 다른 방법에서 분산 감소 기법을 사용하기 위해서 목표 변수를 적용하기 이전 이산화 과정을 거쳐야 함을 의미함

    • 장점
      • 결과를 해석하고 이해하기 쉽다. 간략한 설명만으로 결정 트리를 이해하는 것이 가능하다.
      • 자료를 가공할 필요가 거의 없다. 다른 기법에 경우 자료를 정규화 하거나 임의의 변수를 생성하거나 값이 없는 변수를 제거해야 하는 경우가 있다.
      • 수치 자료와 범주 자료 모두 적용 가능하다. 다른 기법들은 일반적으로 오직 한 종류의 변수를 갖는 데이터 셋을 분석하는것에 특화 되어 있다.
      • 화이트 박스 모델을 사용한다. 모델에서 주어진 상황이 관측 가능하다면 불 놀리를 이용해 조건에 대해 쉽게 설명 할 수 잇다.
      • 안정적이다. 해당 모델 추리의 기반이 되는 명제가 다소 손상되더라도 잘 동작한다.
      • 대규모의 데이터 셋에서도 잘 동작한다.

    • 한계
      • 최적의 결정트리를 학습하는 문제는 NP완전 문제로 알려져 있는데 이는 최적화의 관점에서나 더 간단한 개념의 측면에서도 마찬가지이다. 실직적인 결정트리 학습 알고리즘은 각 노드에서 부분 최적값을 찾아내는 탐욕 알고리즘 같은 휴리스틱 기법을 기반으로 하고 있다. 문제는 이런 알고리즘들은 최적 결정 트리를 알아낸다고 보장 할 수 없다. (부분 최적화에 의한 영향을 줄이기 위해 이중 정보 거리와 같은 방법을 사용하기도 한다.)

    • 결정트리 학습자가 훈련 데이터를 제대로일반화 하지 못한 경우 너무 복잡한 결정 트리를 만들수도 있다. 이를 과적합 문제라 하는데 이 문제를 해결하기 위해 가지치기 같은 방법을 사용해야 한다.

    • 결정 트리로는 배타적 논리합이나. 패리티 멀티 플렉서와 같은 문제를 학습하기 어렵다. 이 문제를 학습하기 위해서 결정 트리가 엄청나게 커지기 때문에 문제의 표현 방법을 바꾸거나 통계 환견 학습 법이나 귀납 논리 프로그래밍 같이 많은 것을 표현할수 있는 학습 프로그래밍을 사용해야 한다.

    • 데이터 특성이 특정 변수에 수직, 수평으로 구분되지 못할 때 분류율이 떨어지고, 트리가 복잡해 지는 문제가 발생한다. 신경망등의 알고리즘이 여러 변수를 동시에 고려하지만 결정 트리는 한개의 변수만을 선택하기 때문에 발생하는 문제이다.

    • 약간의 차이에 따라 트리 모양이 많이 달라질 수도 있다. 두 변수가 비슷한 수준의 정보력을 갖을때 하면 약간의 차이에 의해 다른 변수가 선택되면 이 후의 트리 구성이 크게 달라질 수 있다.

    • 확장
      • 결정 그래프 : 결정 트리에서 뿌리 노드로 부터 잎 노드까지 가는 모등 경로는 논리곱을 통해 진행 됨, 결정 그래프에서는 MML 을 이용해 두개 이상의 경로를 하나로 연결하는 것에 논리 합을 사용하는 것이 가능함. 결정 그래프는 이전에 합의 되지 않은 새로운 특성들이 동적으로 학습되고 그래프 안의 다른 곳에서 사용될 수 있게 확장되어 왓다. 보다 일반적인 프로그래밍 구조는 보다 나은 예상 정확도와 확률적 점수를 가져온다.
      • 대체 가능한 검색방법 : 진화 알고리즘은 지역 최적점을 피하거나 연역적인 편향을 거의 갖지 않는 결정 트리 공간을 찾기 위해 사용 되었다. 트리가 MCM 을 통하여 표본조사 되는것 또 한 가능하다. 트리는 상향식 방식으로 볼수 있다.

댓글

이 블로그의 인기 게시물

[swift] @IB Real-time rendering

[iOS]17.2 reject

Let us:Go! Sumer 2018