AI 활용 중간 정리

• 기초 정보
  • 인공지능 > 머신러닝 > 딥러닝
  • 텐서플로와 케라스
    • 텐서플로를 쉽게 사용하기위해 만든게 케라스
    •  
  • 학습의 종류
    • 지도 학습 (supervised learning) : 답(label)이 제공되는 traning data를 이용하여 학습 시키는것
    • 비지도 학습 (unsupervised learning) : 답이 없는 데이터를 특징 끼리 군집화 함
• 기초 수학
  • 2차 함수
    • a > 0 일때 2차 함수 최소값 = 기울기가 0인 지점
    • 편미분 : 수식에서 원하는 변수에 대해서만 미분하는것 -> 나머지는 상수로 취급
  • 지수 함수
    • y = a ^ x 일때 a > 1 크면 x가 0에서 증가 할수록 기울기가 증가
    • y = a ^ x 일때 1 > a > 0 크면 x가 0에서 감소 할수록 기울기가 증가
  • 시그모이드 함수
    • 다 필요 없다
    • 어떤 입력값이 0~1 사이로 변환해 준다 
  • 로그, 로그함수
    • 교차 엔트로피에 사용
    • 실제값 0일때 예측이 0에 가까우면 0 예측이 1에 가까워질수록 무한이 증가
    • 실제값 1일때 예측이 1에 가까우면 1 예측이 0에 가까워질수록 무한이 증
• 선형 회귀 (Linear Regression)
  •  Loss Function = Cost Function
    • 최소 제곱법?
    • 평균 제곱 오차 (Mean Square Error)
    • 경사 하강법을 통해 MSE가 최소가 되는 값을 찾음
    • 평균 제곱 오차의 옵티마이저는 경사 하강법이다.
    • 경사 하강법의 학습률 : a를 얼만큼 이동시킬지 -> 너무 크면 튕겨져 나가고, 작으면 오래걸림
• 로지스틱 회귀 (ogistic Regression) = 이진 분류 (Binary Classification)
  •  Loss Function = Cost Function
    • 로그 함수 사용한 교차 엔트로피 (Cross Entropy Error) 사용
    • 경사 하강법을 통해 교차 엔트로피의 값이 최소가 되는 값을 찾음
    • 평균 제곱 오차의 옵티마이저는 경사 하강법이다.
    • 경사 하강법의 학습률 : a를 얼만큼 이동시킬지 -> 너무 크면 튕겨져 나가고, 작으면 오래걸림
• 딥러닝 발전 과정
  • 퍼셉트론
    • 여러 입력 받아 가중치 넣고 출력 만듬, 가중치 조절 학습
  • 아달라인 
    • 퍼셉트론 + 경사 하강법
  • 퍼셉트론 한계
    • XOR 문제 해결 불가
    • 2차원 평면상의 직선만 그을수 있어서
  • 다층 퍼셉트론
    • 은닉층 nand
  • 오차 역전파
    • 활성화 함수로 사용한 시그모이드 함수는 미분값이 1보다 작아 여러 층을 거칠수록 기울기가 사라짐
    • 이를 해결하기 위해 0이상일 때 미분값이 1인 렐루 함수 도입
  • 고급 경사 하강법
    • 확률적 경사 하강법
      • 속도 빠름, 멈추지 않는다 BOY
    • 모멘
    • 아담
• 실제 외울 코