HyeM

Word2Vec : 문장 내부의 단어를 벡터로 변환하는 도구 단어의 연결을 기반으로 단어의 연관성을 벡터로 만들어준다. 단어의 의미 파악할 수 있음 + 의미를 선형으로 계산 가능 ( "아빠-남자+여자" = "엄마") 01. Gensim 설치 Word2Vec을 구현하는 도구는 많은데, 그 중 실행속도 빠르고 파이썬으로 실행 가능한 Gensim 라이브러리 사용할 것이다. Gensim라이브러리의 Word2Vec : 단어를 더하고 빼는 처리를 하기 위해선, 말뭉치(Corpus) 라는 단어사전을 만들려면, 데이터를 준비하고 학습시켜야 한다. 설치 02_1. Gensim의 Word2Vec으로 "토지"를 읽어보기 (단계1) 단계1. 분석할 파일 다운로드 하기 따로 파일을 다운로드 하지않고, 6부 1장에서 활용한 "토..

형태소 분석 : 자연 언어의 문장을 "형태소"라는 의미를 갖는 최소 단위로 분할하고, 품사를 판별하는 작업 형태소 분석은 기계번역, 텍스트 마이닝 등에 활용됨. 01. 형태소 분석 영어 형태소 분석 영어는 it's와 don't등을 제외하고는, 띄어쓰기로 형태소를 구분 가능하기 때문에 크게 어렵지 않다. 아시아 계열의 언어 형태소 분석 문법 규칙에 의한 방법 확률적 언어 모델 사용하는 방법 "그래요" 로 변환 stem옵션 : "그렇다" 라는 원형을 찾아줌 단계3. 출력화면 03. 출현 빈도 분석 해당 글에서 중복되는 형태소의 개수를 출력해는 파이썬 코드 짜기 단계1. 분석할 파일 다운로드 하기 https://ithub.korean.go.kr/user/total/database/corpusManager.do..

서포트 벡터 머신 알고리즘 : 데이터 분포를 나누는 지도학습의 분류 지금까지도 보편적으로 사용하는, 분류를 위한 머신러닝 모델이다. 라벨이 달린 이진 분류 문제에 주로 사용된다. 01.서포트 벡터 머신 알고리즘 이해하기 각 데이터 항목을 다차원의 벡터 공간에 점으로 표시한다. 만약 2차원 공간에 있는 두 개의 그룹을 분류한다는 가정해보면. 두 그룹을 잘 구분하는 직선을 찾는 것이 서포트 벡터 머신의 핵심이다. => 서포트 벡터 머신은 데이터를 선형 또는 비선형으로 분리하는 최적의 경계를 찾는 알고리즘이다. 단계 1. 직선을 그려 그룹을 나눈다. 단계 2. 마진을 최대화하여 균형있게 나눈다. 직선을 한쪽에 치우치지 않게 양쪽 그룹 모두 균형있게 나누기 위해서, 직선식을 사이에 두고 가능하면 최대한 멀리 떨..

2부에서는 머신러닝의 기술의 유형의 특징과 차이점을 살펴보고, 지도학습과 비지도 학습의 대표적인 알고리즘을 다룬다. 이번 3장에서는 파이썬으로 의사결정나무와 서포트 벡터 머신 알고리즘을 직접 구현해보며 머신러닝 알고리즘을 이용하는 방법을 알아본다. [실무가 훤히 보이는 머신러닝&딥러닝_마창수,최재철 지음] 을 읽고 정리한 글입니다. 01. 머신러닝의 유형 머신러닝에는 지도학습, 비지도학습, 강화학습 총 3가지 유형이 있다. 각각 기술적 구현의 차이도 있고, 경우에 따라 활용하는 기술이 다르다. 지도학습 : 훈련 데이터 정답(Label)이 있어 주어진 정답에 맞게 특징이 학습되기를 기대하는 경우에 사용 비지도학습 : 훈련 데이터에 정답이 없고 주어진 특징내에서 분류간 서로 구분이 잘 되도록 나누기 원하는 ..

1장 : 인공지능이란 무엇인가 1.1 발전 - 1956년 미국의 다트머스 컨퍼런스에서 인공지능 용어 첫 등장 인간처럼 생각할 수 있는 기계 = '인공지능' - 1959년 아서 사무엘 '컴퓨터에게 배울 수 있는 능력, 즉 코드로 정의하지 않는 동작을 실행하는 능력에 대한 연구분야' = '머신러닝' 딥러닝 : 인간의 뇌 구조에서 영감을 얻은 기술로, 인간의 뇌세포와 유사한 방식으로 인공적으로 신경망을 구성하고 그 안에서 데이터를 처리함. 즉, 많은 양의 데이터를 신경망으로 유입시켜, 데이터를 정확하게 구분하도록 반복적 학습시킴. - 1957년 단순한 신경망 모델 '퍼셉트론' 개발됨. 초반에는 신경망 기반의 연구가 활발 했지만, 낮은 컴퓨팅 성능과 적은 양의 데이터로 침체기였음. 최근들어 인터넷이 보급되며 데..