일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- docker로 airflow 설치하기
- 데이터레이크와 데이터웨어하우스
- wargame.kr
- 배열
- 스파크 완벽 가이드
- 머신러닝
- webcrawler
- 문자열 조작
- 올바른 변수명 짓기
- leetcode 937
- 빅데이터를 지탱하는 기술
- Hortonworks Sandbox
- leetcode125
- airflow docker
- 컴퓨터구조
- Python
- ctf-d
- leetcode 819
- leetcode 15
- leetcode 49
- leetcode 561
- Hadoop
- leetcode 234
- leetcode 344
- MapReduce 실습
- leetcode 238
- leetcode
- 블로그 이전했어요
- leetcode 5
- leetcode 121
- Today
- Total
목록Study (61)
HyeM
실습 : jupyter notbook의 해설코드 : 강사님이 진행한 코드 그대로 넣어놓음 단 설명은 part2 폴더에 있음 . 0. 필요한 패키지 로드 import tensorflow as tf import os import matplotlib.pyplot as plt %matplotlib inline from tensorflow.keras import datasets 1. 데이터를 가져와서, 차원수를 맞춰준다. -> 데이터셋 가져와서 shape, 채널 개수 확인하는 거 습관화하기. (train_x, train_y), (test_x, test_y) = datasets.mnist.load_data() image = train_x[0] 이미지 shape을 확인해보면, 다음과 같다. [batch_size, h..
0. 필요한 library import 하기 import numpy as np import matplotlib.pyplot as plt import tensorflow as tf %matplotlib inline from tensorflow.keras import datasets 1. MNIST불러오기 MNIST는 TensorFlow에서 제공해주는 데이터셋이다. 데이터 셋불러올때, trian셋과 test 셋 둘 다 불러온다 . 2. Image Dataset 자세히 확인하기 불러온 데이터셋에서 이미지 데이터 하나만 뽑아서 시각화로 확인해본다. 3. train Dataset 들여다보기 3-01. 차원수를 늘린다. 차원수를 늘리는 방법 : numpy: np.expand_dims( ) tensorflow : t..
시각화를 위한 라이브러리를 import 한다. matplotlib.pyplot은 시각화 라이브러리중 하나이다. ( %matplotlib inline : 주피터 노트북 안에서 시각화 결과를 출력 가능하게 한다.) 점선 그래프 여러 그래프 그리기 1. subplot(행, 열 ,번째) 지정해준다. ( 번째는 0이 아닌 1부터 시작한다.) 2. show()를 통해, subplot으로 만든 빈 그래프 형태를 출력한다. 3. plot, hist, scatter 등으로 그래프를 그린다. subplot : 빈 그래프 모양 만들어 줌. plot : 첫번째 그래프 모양 hist : 히스토그램 모양 (두번째) scatter : 스케터 모양 (세번째) 4. 그래프 옵션 조정 >> 그래프 선 옵션을 줄 수도 있다. - 그래프를..
먼저 numpy 라이브러리를 import 하자. Date Type 1 ) .dtype : 데이터 타입확인 정수는 int 32, 실수형은 float64 처음부터 배열 선언할 때 데이터 타입을 지정해 줄 수 있다. 2 ) .astype() : 데이터 타입 변환 위에서 float64형이었던, arr를 int32로 변환한다. 차원 확인 차원 확인 방법 : len(arr.shape) arr.ndim Reshape reshape : 사이즈는 유지하되, 모양(차원)을 바꿔준다. -1을 활용하면, 사이즈 6을 3으로 나누고 남는거 2 대신에 -1로 쓸 수 있음 Random array 생성 위에서 만든 랜덤 array를 reshape으로 shape을 바꾸고, 차원도 늘리었다. Ravel Ravel : arr의 차원을 2..
Numpy는 고차원의 데이터를 다루기 위한 파이썬 라이브러리 0차원 (Scalar) numpy의 array는 숫자 데이터를 array화 해준다. shape와 ndim을 확인해보면 다음과 같다. 1차원 [] 리스트를 씌우면 차원이 생긴다. shape을 출력하면 (3, ) 이 나오는데, 3은 값이 아닌 shape이다. -> 1차원에 3개의 값이 들어갔다. 2차원 (1, 3)의 의미는 value가 3개 있는게 1개 있다는 의미이다. 즉 차원이 2개 있고, 각 차원마다 각각 3개의 값이 들어있는 것이다. 또 다른 예시를 보면, 0차원 숫자에 [] 를 2번 씌우면 두개의 차원이 된다. Tip! shape 결과값을 뒤에서 부터 보면, 가장 작은 차원의 개수이다. 다차원 shape을 출력하면 다음과 같다.
딥러닝 전체 구조 및 학습 과정 Data -> Model -> logit -> result Loss, Optm ▶ Data : 학습 시킬 데이터. Model에 들어가기 전에 데이터 전처리 필요. Batch로 만들어서 Model에 넣ㅇㅁ ▶ Model : 다양한 Layer층들로 구성됨. - 모델 종류 : LeNet, AlexNet, VGG, ResNet등 - Layer : Convolution, Poolint 등 다양한 layer ▶ Logit (Prediction) : 각 class 별로 예측한 값. 가장 높은 값이 정답. ▶ Lost (Cost) : 예측한 값과 정답을 비교해서 얼마나 틀렸는지 확인. 결과값을 Loss(Cost, Cost Value)라고 부름. Loss를 최소화 하는 것이 학습과정 ▶ ..
과제1. 보안규칙 설정 모두가 접속할 수 있게, 포트 모두 열어놓고, ip도 다 허용하였다. 과제2. 다른사람 접속한 거 캡쳐 올리기
#1 . GCP Google Cloud Platform 구글 클라우드 플랫폼 console.cloud.google.com #2. INSTANCE 인스턴스 : 구글 인프라에서 호스팅 되는 가상머신 => VM #3. GCP Instance 만들기 과제 : 제 2의 인스턴스 만들기 블로그에 만든 인스턴스에 접속한 ssh 캡쳐 + 인스턴스 목록 캡쳐해서 올리기 ( IP같은 것은 가리기) 과정 1. 새 프로젝트 만들기 ▶ console.cloud.google.com로 접속하여 로그인 한 후, 상단바에서 ' 프로젝트 선택'클릭 ▶ '새 프로젝트' 클릭 프로젝트 이름은 myproject-2020-prac 이다. ▶밑에 '만들기' 버튼 누르기 과정 2. 프로젝트 선택 ▶상단바의 '프로젝트 선택'을 클릭하여 위에서 생성..