머신러닝 썸네일형 리스트형 이미지 인식의 꽃, CNN 학습 데이터 전처리 과정 CNN 데이터 전처리 과정을 정리해보자 ! from keras.datasets import mnist # 케라스 이용 mnist 데이터셋 가져오기 MNIST 데이터 셋 : 손글씨 데이터셋 머신러닝 계의 HELLO WORLD 같은 데이터 셋 데이터 전처리 케라스를 이용해서 간단히 불러올 수 있다. mnist.load_data() 함수로 사용할 데이터를 불러온다 이때 불러온 이미지 데이터를 X로, 이 이미지에 0~9까지 붙인 이름표를 Y_Class로 구분하여 명명 - 학습에 사용될 부분 : X_train, Y_class_train - 테스트에 사용될 부분 : X_test , Y_class_test 1. 케라스 이용하여 mnist 데이터셋 가져오고 제대로 가져왔는지 확인 from keras.datasets i.. 더보기 머신러닝 왕초보 - 붓꽃 품종 예측 import sklearn 파이썬에서 가장 만만하게 사용하는 붓꽃 데이터셋 사이킷런을 통해 해당 데이터로 머신러닝 모델을 만들어보자 붓꽃 데이터셋으로 붓꽃의 품종을 classification 해보자 ! 분류는 대표적인 지도학습이다 그러니까 예측하려는 애 (피처: feature) 가 정해져있는 머신러닝이다. 지도학습은 쉽게 말하면 정답이 주어져 있는 데이터로 먼저 컴퓨터를 학습 시킨 다음에 미지의 정답을 예측하는 방법이다. 데이터 세트를 아래 처럼 분류 한다 - 학습을 위한 학습 데이터 set - 머신러닝 모델의 예측 성능 평가를 위한 테스트 데이터 set 바로 코드를 처보자 ! import sklearn 1. sklearn 모듈을 import 한다 from sklearn.datasets import lo.. 더보기 Computer vision - Object Detection (객체탐지) Computer Vision 이란 ? 시각적 세계를 이해하고 컴퓨터를 학습시키는 인공지능 분야 컴퓨터가 카메라와 동영상에서 디지털 이미지와 딥러닝 모델을 사용하여 객체를 정확하게 식별하고 분류하는 학습을 마치면 '관찰' 대상에 반응할 수 있다. Computer Vision 연구 분야 1) 영상의 화질 개선 2) 객체 탐지(Object Detection) : 영상처리와 컴퓨터 비전 분양에서 기본적이면서 많이 활용되는 기술 중 하나 3) 영상 분할(Image Segmentation) 4) 인식(Recognition) 5) 머신 비전 6) 인공지능 서비스 7) 분류 (Classification) Classification : Single object에 대해서 object의 클래스를 분류 Object Detec.. 더보기 Machine Learning - 비지도학습 1. 패턴 : Association Rule 2. 군집 : Classifiacation 3. 그래프 : graph 4. 추천 : recommendation Machine Learning 모형 구분 지도학습 비지도학습 (Unsupervised Learning) target x 1. Association Rule 기저기와 맥주 ? 다수의 거래 내역 각각에 포함된 품목(ITEM)의 관찰을 통해 규칙 발견 인과관계가 있을 수 있지만 해석은 그렇게 하면 안됨 모든 데이터를 Categorical 가정 ( Numeric data에는 적절하지 않음 ) 장바구니 분석에 처음 사용됨 예 : Bread > Milk Lift (향상도) , support, confidence 향상도 의미 : A를 고려한 b의 구매확률을 A를 .. 더보기 지도학습 tree 분류기 #Decision Tree Review from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier import pandas as pd iris = load_iris() #iris.target=pd.get_dummies(iris.target) #iris.target=iris.target.idxmax(axis=1) X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=11) # 학습 mod.. 더보기 텍스트 분석과 데이터 크롤링(Data Crawling) 텍스트 분석 - 텍스트 분석에서는 전처리가 90% 이다 (머신러닝에서는 70% 정도) 텍스트 마이닝 의미있는 패턴을 찾아내거나 통찰력을 얻어내는 방법 구조화 과정이 필수적임 비구조화 텍스트에서 구조화된 데이터 변환 프로세스 텍스트 데이터 / 문서 / 문단 / 문장 / 단어 를 다룸 원-핫 인코딩(One -Hot Encoding) 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에 0을 부여하는 단어의 벡터 표현 방식 전처리 개행문자, 특수문자, 공백 제거 중복표현 제어 이메일, 링크 제거 제목 제거 불용어 (의미가 없는 용어) 제거 조사 제거 한국어의 전처리 전처리 Tokenizing 자연어를 어떤 단위로 살펴볼 것인가 어절 형태소 n-gram W.. 더보기 머신러닝 모형(Machine Learning) 구분 머신러닝(Machine Learning) 모형 구분 지도학습(Supervised Learning) 종속 및 독립변수를 이용하여 주어진 독립변수를 바탕으로 종속 변수 예측 모형 제시 target 라벨값(y값)이 있는 모형 ex) 회귀/ 분류 모형 decision tree , logistic regression [decision tree] [logistic regression] 비지도학습(Unsupervised Learning) Target (종속변수/ 반응변수) 가 없고 독립(설명)변수 간의 관계나 이를 바탕으로 개체를 구분하여 의미 있는 결과 제시 ex) 군집분석, 연관성 분석 [Clustering Analysis] 더보기 이전 1 다음
