전체 글 썸네일형 리스트형 해쉬 함수 HASH FUNCTION 해시(Hash) - 검색 키를 통해 배열에서 값을 찾는 함수 - 임의의 길이의 데이터를 고정된 길이의 데이터로 매핑 하는 함수 - 해시 테이블 : 해시가 사용하는 키와 값이 저장된 데이터 자료 구조 ex ) index가 키 값이 되는 Hash Table - 큰 파일에서 중복되는 레코드를 찾을 수 있기 때문에 매우 빠른 데이터 검색을 위한 소프트웨어에 사용됨 #hash table 나머지법 size = 500 hashtable = [] import random random.seed(40) for i in range(tablesize): hashtable.append(random.randint(1000,9999)) ht = [0]*tablesize * 충돌처리 #Code 나머지법 #Hash Function d.. 더보기 Machine Learning - 비지도학습 1. 패턴 : Association Rule 2. 군집 : Classifiacation 3. 그래프 : graph 4. 추천 : recommendation Machine Learning 모형 구분 지도학습 비지도학습 (Unsupervised Learning) target x 1. Association Rule 기저기와 맥주 ? 다수의 거래 내역 각각에 포함된 품목(ITEM)의 관찰을 통해 규칙 발견 인과관계가 있을 수 있지만 해석은 그렇게 하면 안됨 모든 데이터를 Categorical 가정 ( Numeric data에는 적절하지 않음 ) 장바구니 분석에 처음 사용됨 예 : Bread > Milk Lift (향상도) , support, confidence 향상도 의미 : A를 고려한 b의 구매확률을 A를 .. 더보기 지도학습 tree 분류기 #Decision Tree Review from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier import pandas as pd iris = load_iris() #iris.target=pd.get_dummies(iris.target) #iris.target=iris.target.idxmax(axis=1) X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=11) # 학습 mod.. 더보기 기계학습 분류모형 https://gallery.azure.ai/ Azure AI Gallery gallery.azure.ai manufacturing, retaul demand forecasting and price optimization 예제가 많이 나와있음 ms 에서 검토한거라 신뢰 가능 분류 모형 > 유클리드 거리 vs 맨헤튼 거리 - 유클리드 거리 (Euclidean Distance) 요걸자주 씀 - 거리 구할때 data type만 다르지 않으면 됨 > KNN - Bayes Classifer 의 한 종류 - K - Nearest Neightbor > 나이브 베이즈 분류기 > 베이즈 정리 활용 > Conditional independence assuumption : Feature 끼리는 서로 독립 > popular .. 더보기 21.11.10 AI 공부 로그 * colab 데이터 불러오기 colab 왼쪽 아이콘 중 폴더 모양 클릭 후 colab에 불러오려는 파일들을 drag & drop 해준다 # 데이터 불러오기 df_train = pd.read_csv ('/content/train.csv') df_test = pd.read_csv ('/content/test.csv') pandas에 read_csv 함수를 이용해서 불러온다 경로는 /content/ 를 앞에 붙여주면 되더라 * 왜도 & 첨도 왜도 : 분포의 비대칭성을 의미 정규분포에 대해서 얼마나 비대칭인지 첨도 : 분포가 얼마나 뾰족한지 낮아야 정규분포와 가깝다 * 상관관계 그래프 - 수치형 (산점도) - 범주형 (box plot) * missing value check 결측치 체크를 해보자 #total .. 더보기 메타버스가 궁금해진 날 https://www.mk.co.kr/news/world/view/2021/10/1031150/요즘 메타버스 메타버스.. 참 말이 많다 나도 사내 교육을 현재 메타버스로 받고 있는데 아직 엄청난 메리트를 발견하지 못한거 같다 점심시간까지 10분.. 일하기 너무 애매한 시간 나는 메타버스 관련 기사들을 보기로 결정했다 https://www.etnews.com/20211101000286 KAIST, 제조AI 메타버스 팩토리 체험관 개소 한국과학기술원(KAIST)이 제조AI 메타버스 팩토리 체험관(체험관)을 1일 개소했다. 제조 특화 인공지능(AI)을 메타버스 세계에서 구현한 가상공장으로 실제 현장에서 수집된 제조데이터에 AI기술을 www.etnews.com 메타버스로 구현한 제조 AI 팩토리 이미지다. AI.. 더보기 텍스트 분석과 데이터 크롤링(Data Crawling) 텍스트 분석 - 텍스트 분석에서는 전처리가 90% 이다 (머신러닝에서는 70% 정도) 텍스트 마이닝 의미있는 패턴을 찾아내거나 통찰력을 얻어내는 방법 구조화 과정이 필수적임 비구조화 텍스트에서 구조화된 데이터 변환 프로세스 텍스트 데이터 / 문서 / 문단 / 문장 / 단어 를 다룸 원-핫 인코딩(One -Hot Encoding) 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에 0을 부여하는 단어의 벡터 표현 방식 전처리 개행문자, 특수문자, 공백 제거 중복표현 제어 이메일, 링크 제거 제목 제거 불용어 (의미가 없는 용어) 제거 조사 제거 한국어의 전처리 전처리 Tokenizing 자연어를 어떤 단위로 살펴볼 것인가 어절 형태소 n-gram W.. 더보기 머신러닝 모형(Machine Learning) 구분 머신러닝(Machine Learning) 모형 구분 지도학습(Supervised Learning) 종속 및 독립변수를 이용하여 주어진 독립변수를 바탕으로 종속 변수 예측 모형 제시 target 라벨값(y값)이 있는 모형 ex) 회귀/ 분류 모형 decision tree , logistic regression [decision tree] [logistic regression] 비지도학습(Unsupervised Learning) Target (종속변수/ 반응변수) 가 없고 독립(설명)변수 간의 관계나 이를 바탕으로 개체를 구분하여 의미 있는 결과 제시 ex) 군집분석, 연관성 분석 [Clustering Analysis] 더보기 이전 1 ··· 6 7 8 9 10 다음
