IT공부 썸네일형 리스트형 [Python] describe() 결과값 해석하는 법 | 기술 통계량 파이썬 공부를 하다보면 자주 만나게 되는 describe 함수 데이터 분석에서 유용하게 사용되는 메소드이다. 이 describe 메소드가 반환하는 결과를 해석하는 법을 공부했다. 인터넷의 예제를 따라치면서 공부하다가 describe를 해서 dataset 결과를 확인했다. 아 이게 뭐야.. 대체 모르겠다. 보통 describe를 실행하면 count, min, max, sum 등이 나올걸 예상했는데 신기한 feature 들이 있다. 각각의 의미를 살펴보자 count : 말그대로 각 필드값의 개수이다. unique : 각 필드의 고유값의 개수이다. 이 개 맞는 말이면 class 라는 필드는 딱 2개의 고유값을 가진 것이 된다. dataset.head() dataset['class'] # class 행만 가져오.. 더보기 잠재요인 협업 필터링의 원리를 정리해보자 잠재요인 협업 필터링 : 사용자 - 아이템 평점 행렬에 잠재된 어떤 요인이 있다고 가정하고, 행렬 분해를 통해 그 요인을 찾아내는 방식을 말함 잠재요인이 뭔지 구체적 정의는 어렵다 행렬 분해 ? 원본행렬을 분해한 후 내적 곱 결과를 구한다. 사용자 - 잠재 요인 행렬 / 아이템 -잠재요인 행렬의 전치 행렬 (잠재요인 - 아이템 행렬) 로 분해된 데이터셋을 다시 내적 곱으로 결합하면서 사용자가 예측하지 않은 아이템에 대한 평점을 도출하는 방식을 이용한다. 행렬 분해로 추출되는 잠재요인이 어떤 것인지는 알 수 없지만, 예를 들어 영화 평점 기반의 사용자 - 아이템 행렬 데이터라면 영화가 가지는 장르별 특정 선호도로 가정할 수 있다. 즉, 사용자 - 잠재 요인 행렬은 사용자의 영화에 대한 선호도로, 아이템- .. 더보기 추천시스템 공부(1) 협업필터링 - 절대 거절 못할 제안을 하지 추천시스템을 공부해보자 ! 데이터 분석 중에서 추천시스템에 가장 관심이 많이 생기고 재밌다 애초에 내 특기가 누군가에게 좋은걸 추천해주는 거여서인가 암튼 각설하고 바로 추천시스템을 누구나 구현할 수 있게끔 추천 시스템 을 완전 타파해보자 - 추천시스템의 유형 * 콘탠츠 기반 필터링 (Content Based Filtering) * 협업 필터링(Collaborative Filtering) 1) 최근접 이웃 협업 필터링(Nearest Neighbor) 2) 잠재요인 협업 필터링 (Latent Factor) trend : 넷플릭스 추천 시스템 경연 대회에서 행렬 분해 기법을 이용한 잠재 요인 협업 필터링 방식이 우승하면서 잠재 요인 협업 필터링 적용 중, BUT 서비스하는 아이템의 특성에 따라 콘텐츠 기반 필.. 더보기 머신러닝 왕초보 - 붓꽃 품종 예측 import sklearn 파이썬에서 가장 만만하게 사용하는 붓꽃 데이터셋 사이킷런을 통해 해당 데이터로 머신러닝 모델을 만들어보자 붓꽃 데이터셋으로 붓꽃의 품종을 classification 해보자 ! 분류는 대표적인 지도학습이다 그러니까 예측하려는 애 (피처: feature) 가 정해져있는 머신러닝이다. 지도학습은 쉽게 말하면 정답이 주어져 있는 데이터로 먼저 컴퓨터를 학습 시킨 다음에 미지의 정답을 예측하는 방법이다. 데이터 세트를 아래 처럼 분류 한다 - 학습을 위한 학습 데이터 set - 머신러닝 모델의 예측 성능 평가를 위한 테스트 데이터 set 바로 코드를 처보자 ! import sklearn 1. sklearn 모듈을 import 한다 from sklearn.datasets import lo.. 더보기 ORACLE JOB 깔짝이기 DBMS_JOB 패키지의 특징 - DBA 권한 필요 없이 사용 가능 - JOB을 추가 또는 변경하는 경우 커밋 실행 없이 자동 커밋 [BROKEN] 특히 오늘은 BROKEN 이라는 키워드를 배웠다 DBMS_JOB.BROKEN ( job IN BINARY_INTEGER, broken IN BOOLEAN, next_date IN DATE DEFAULT SYSDATE ); * 파라미터 설명 JOB : 실행할 JOB의 번호 BROKEN : TRUE - JOB이 BROEKN 된 경우 , FALSE: 정상 상태인 경우 NEXT_DATE : BROKEN이 TRUE 인 경우 무시하고 FALSE 인 경우 다음 실행 시각을 설정 한다 * 예제 BEGIN -- JOB 번호는 100 -- broken된 JOB을 정상 상태로 .. 더보기 Computer vision - Object Detection (객체탐지) Computer Vision 이란 ? 시각적 세계를 이해하고 컴퓨터를 학습시키는 인공지능 분야 컴퓨터가 카메라와 동영상에서 디지털 이미지와 딥러닝 모델을 사용하여 객체를 정확하게 식별하고 분류하는 학습을 마치면 '관찰' 대상에 반응할 수 있다. Computer Vision 연구 분야 1) 영상의 화질 개선 2) 객체 탐지(Object Detection) : 영상처리와 컴퓨터 비전 분양에서 기본적이면서 많이 활용되는 기술 중 하나 3) 영상 분할(Image Segmentation) 4) 인식(Recognition) 5) 머신 비전 6) 인공지능 서비스 7) 분류 (Classification) Classification : Single object에 대해서 object의 클래스를 분류 Object Detec.. 더보기 해쉬 함수 HASH FUNCTION 해시(Hash) - 검색 키를 통해 배열에서 값을 찾는 함수 - 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑 하는 함수 - 해시 테이블 : 해시가 사용하는 키와 값이 저장된 데이터 자료 구조 ex ) index가 키 값이 되는 Hash Table - 큰 파일에서 중복되는 레코드를 찾을 수 있기 때문에 매우 빠른 데이터 검색을 위한 소프트웨어에 사용됨 #hash table 나머지법 size = 500 hashtable = [] import random random.seed(40) for i in range(tablesize): hashtable.append(random.randint(1000,9999)) ht = [0]*tablesize * 충돌처리 #Code 나머지법 #Hash Function d.. 더보기 Machine Learning - 비지도학습 1. 패턴 : Association Rule 2. 군집 : Classifiacation 3. 그래프 : graph 4. 추천 : recommendation Machine Learning 모형 구분 지도학습 비지도학습 (Unsupervised Learning) target x 1. Association Rule 기저기와 맥주 ? 다수의 거래 내역 각각에 포함된 품목(ITEM)의 관찰을 통해 규칙 발견 인과관계가 있을 수 있지만 해석은 그렇게 하면 안됨 모든 데이터를 Categorical 가정 ( Numeric data에는 적절하지 않음 ) 장바구니 분석에 처음 사용됨 예 : Bread > Milk Lift (향상도) , support, confidence 향상도 의미 : A를 고려한 b의 구매확률을 A를 .. 더보기 이전 1 2 다음
