# !pip install opencv-python==4.5.5.64
import cv2
from matplotlib import pyplot as plt
img = cv2.imread("./data/cat.png") # cv2 라이브러리의 imread() 함수로 불러옴
# 색상의 문제 발생 -> BGR -> RGB
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
plt.imshow(img)
plt.show()
2. 이미지 저장하기(.npy)
넘파이를 이용하여 배열로 저장하기
.npy 파일로 저장하는 방법
import numpy as np
np.save("./data/image.npy", img) # 현재위치에 있는 data 폴더에 image.npy로 이미지만들기
# 만약에 해당폴더가 없으면 폴더생성하는 파이썬 코드
import os
def createDirectory(directory):
try:
if not os.path.exists(directory):
os.makedirs(directory)
except OSError:
print("Error: Failed to create the directory.")
2-1. 이미지 저장하기(PIL)
PIL은 간단한 이미지 처리와 변환 작업에 사용하기 좋음 / 컴퓨터 비전 작업에서는 OpenCV를 쓰는게 맞음
#!pip install Pillow
import numpy as np
from PIL import Image
# 이미지 불러오기
img = Image.open("./data/cat.png").convert('L') # 그레이 스케일 변환
print(img)
img_array = np.array(img)
np.save("./data/pil_image.npy", img_array) # .npy로 저장
img_array1 = np.load("./data/pil_image.npy") # .npy 불러오기
# 다시 PIL 이미지로 변환
img = Image.fromarray(np.uint8(img_array1)) # pil의 Image라이브러리 fromarray()로 변환
img.save("./data/image_numpy.png") # pil로 png로 변환
org_size = os.path.getsize("./data/cat.png")
np_save_size = os.path.getsize("./data/pil_image.npy")
pil_save_size = os.path.getsize("./data/image_numpy.png")
# 용량차이 확인하기
print(org_size, "bytes")
print(np_save_size, "bytes")
print(pil_save_size, "bytes")
# 원본 : 6468 bytes
# .npy로 저장 : 50348 bytes
# PIL를 활용하여 png로 저장 26808 bytes
PCA 클래스: Scikit-learn의 decomposition 모듈에서 제공되는 클래스 중 하나입니다. PCA는 데이터셋의 차원을 감소시키는 기술로, 데이터셋에서 가장 중요한 특성만 추출하여 새로운 차원 축으로 변환합니다. 이를 통해 데이터셋의 노이즈(noise)를 제거하고, 더욱 빠르고 효율적인 학습이 가능해집니다.
n_components: PCA 클래스의 인자 중 하나로, 추출할 주성분(principal component)의 수를 지정합니다. 여기서는 99%의 분산(variance)을 유지하도록 설정되어 있습니다. 이는 데이터셋에서 99%의 정보가 유지되도록 차원을 축소하는 것을 의미합니다.
whiten: PCA 클래스의 인자 중 하나로, True로 설정할 경우 PCA의 결과로 나오는 주성분들이 서로 독립적인 값이 되도록 백색화(whitening)를 수행합니다. 백색화를 하면 각 주성분의 분산이 1이 되고, 상관 관계가 없는 성분들로 구성된 새로운 특성 공간이 만들어집니다.
fit_transform(): PCA 클래스에는 fit()과 transform() 메서드가 있습니다. fit() 메서드는 PCA 모델을 학습하고, transform() 메서드는 학습된 모델을 사용하여 데이터를 변환합니다. fit_transform() 메서드는 이 두 단계를 한 번에 수행합니다.
위의 같이 PCA이용하면 99%의 분산을 유지하도록 새로운 특성(feature) 공간으로 변환하고 있습니다. 결과적으로, 원본 데이터셋의 특성 개수는 features.shape[1]으로 확인할 수 있고, PCA를 수행하여 감소된 특성 개수는 features_pca.shape[1]으로 확인할 수 있습니다. 이렇게 차원 축소를 수행하면, 모델의 학습 시간을 단축시키고, 과적합(overfitting)을 방지할 수 있습니다.
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn import datasets
digits = datasets.load_digits() # 8x8 크기의 손글씨 숫자 데이터 로드
feature = StandardScaler().fit_transform(digits.data) # 특성 행렬을 표준화 처리
print(feature)
[[ 0. -0.33501649 -0.04308102 ... -1.14664746 -0.5056698
-0.19600752]
[ 0. -0.33501649 -1.09493684 ... 0.54856067 -0.5056698
-0.19600752]
[ 0. -0.33501649 -1.09493684 ... 1.56568555 1.6951369
-0.19600752]
...
[ 0. -0.33501649 -0.88456568 ... -0.12952258 -0.5056698
-0.19600752]
[ 0. -0.33501649 -0.67419451 ... 0.8876023 -0.5056698
-0.19600752]
[ 0. -0.33501649 1.00877481 ... 0.8876023 -0.26113572
-0.19600752]]
pca = PCA(n_components=0.99, whiten=True) # 99% 분산을 유지하도록 PCA객체 생성 / whiten=True 평균을 0, 표준편차를 1로변경
features_pca = pca.fit_transform(feature) # PCA 수행
print("원본 특성 개수 >> " , feature.shape[1])
print("줄어든 특성 개수 >> " , features_pca.shape[1])
# 원본 특성 개수 >> 64
# 줄어든 특성 개수 >> 54
1. StandardScaler() >> Scikit-learn의 전처리(preprocessing) 모듈에서 제공되는 클래스 중 하나입니다. 이 클래스는 데이터를 평균이 0, 분산이 1인 가우시안 정규 분포(standard normal distribution)로 변환합니다.
2. digits.data : digits 데이터셋에서 숫자 이미지의 각 픽셀 값을 포함하는 배열
3. fit_transform() 메서드 >> StandardScaler 클래스에는 데이터를 변환하는 두 가지 단계가 있습니다. 첫째, 모델을 학습(fit)하고, 둘째, 학습된 모델을 사용하여 데이터를 변환(transform)합니다. fit_transform() 메서드는 이 두 단계를 한 번에 수행합니다. 즉, 데이터를 표준화(normalize)하고, 변환된 값을 반환합니다.
따라서 위의 코드는 digits 데이터셋의 특성을 가우시안 정규 분포로 변환한 후, 변환된 값을 featuress 변수에 할당 이렇게 정규화를 수행하면, 모델이 데이터를 더 잘 이해하고, 모델의 예측 성능을 향상 시킬 수 있습니다.
결과값 비교
1. 데이터불러오기
from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
digits = load_digits()
# 진짜 차이가 있는지 체크 하기 위해서 -> 정규화 하지 않은 데이터로 분류 모델 훈련
print(len(digits.data))
print(len(digits.target))
x_train, x_test, y_train, y_test = train_test_split(digits.data, digits.target , random_state=777)
print(len(x_train), len(x_test))
print(len(y_train), len(y_test))
"""
8 : 2
2 -> 1 : 1
8 : 1 : 1
1. 폴더 생성 (이미지 100개)
2. 폴더 읽고 -> train val test 나눠서 폴더 생성해서 거기에 이미지 저장
"""
# 1797
# 1797
# 1347 450
# 1347 450
AI 기초/ 클라우드 (Azure ai/dp -900을 딸 수 있도록 4일간의 교육과 15달러 약 20만원치의 바우처를 지원합니다)
3개월차
통계 / 전처리
4개월차 (데이터 트레이닝을 위한 Azure 공간지원 - aws 지원한다고 생각하면됨)
AI 심화 / CNN / 이미지분류 프로젝트
5개월차
객체프로그램
6개월차
메인프로젝트
순으로 진행되며 자세히 보시면 알겠지만 AI 과정중에서도 NLP(자연어처리) 과정이 아닌 CV(컴퓨터비전) 과정입니다.
이건 분명히 알고 오셔야합니다.
nlp도 다루긴 하지만 특강 형식으로 인코더/디코더가 뭔지 트랜스포머, rnn이 뭔지, 셀프어텐션 등 키워드 중심으로 이론을 설명하며
간단한 실습 정도로 끝납니다.
Q : 비전공자가 참여하기 어떤가요?
A : 충분히 따라올 수 있으나, 개발자체가 처음이시라면 많이 힘들 수 있습니다.
기초가 없는 사람들을 위해 커리큘럼상 기초과정이 들어가있긴 합니다. AI 과정은 컴공 + 통계라 생각하시면 됩니다.
네트워크 기초 파이썬 기초등을 3일 안에 끝내버리고 통계학과 1학기 동안 배우는 내용을 8일안에 끝내는 식입니다.
필자는 6개월간 백엔드 / 4개월간 Devops 및 ml 기초의 국비수업을 이미 들었지만 쉽지 않았습니다. (컴공과 분들도 쉽지않다고 하셨음)
하루 7시간 매일 강의를 듣고, 그것을 흡수하기 위해 하루 3시간 이상의 복습시간 총 10시간 정도는 반드시 확보하셔야 합니다.
* 녹화본 미제공이라 복습 어떻게 하냐? -> 녹화본 스트리밍으로 제공해줍니다. 놓쳤던 부분 따로 공부가능 (특강은 제공x)
Q : 지원이후 면접 준비중인데 어떻게 준비하면 좋을까요?
A : 지원이유, 관련경험, 미래계획 을 확실히 말씀하시면 됩니다.
지금까지(1, 2기) 지원경쟁률이 2~5:1로 알고있습니다. 팀플이 있는 만큼 아무생각 없이 오시는분들은 서류 및 면접에서 걸러집니다.
수강생 중 전공자 비율도 30프로 정도가 되고, 학력과 직업등 좋으셨고, 미래계획이 확실하셨던 분들이였습니다.
(20대초반 부터 30대 중후반까지 나이스펙트럼은 다양하며, 대학교수님들도 몇 분 계셨습니다! 대부분 20대 중후반입니다)
면접준비는 "나는 CV쪽 관심이 많아서 이런것을 구현 해본적이 있고, 팀원들과 이런것을 하고싶고, 미래에는 이런 회사에 취업하기 위해 지원하였습니다" 라고 말할 수 있다면 합격선이라고 생각합니다. 너무 추상적으로 말씀하시면 구체적으로 설명해달라고 물어보시니 준비 잘하세욥! ex 어떤 모델을 쓰셨나요? 로직은 어떻게 되나요?
Q : 다른 AI 과정에 비해 장점이 있을까요?
A : Azure 지원, MS 오피스투어, Linkedin 컨설팅, 파트너 기업 추천등 강점은 확실합니다.
필자는 네이버 부스트 과정을 준비하다가 MS AI / Aiffel 과정이 먼저와서 둘다 지원 Aiffel 에도 최종 합격하였으나, ms를 선택했습니다 (aiffel 보다 ms가 낫다는건 아닙니다. aiffel 이 더 나을 수도있습니다. hrd에서 aiffel 후기도 참조하시면 될듯합니다.)
국비교육 특히 KDT 과정을 들으면 멘토링, 취업특강, 훈련지원금등 어떤 과정을 듣던 지원받는 공통지원이 있습니다.
하지만 다른 과정에 비해 MS AI를 선택함으로 얻는 이점은 Azure 지원, MS 오피스투어, 파트너 기업등 확실한 장점이 있습니다.
그 중 가장 마음에 들었던것은 Azure로 공부하고 지원 받는거였습니다. 네이티브 강사분이 직접 Azure를 설명하시고 리눅스 설명 또한
Azure 가상환경에서 지원받을 수 있었고, Azure 시험을 공짜로 칠 수 있도록 무료 바우처(20만원 상당)를 지원합니다.
AI과정의 경우 AWS/Azure를 반드시 사용하는데 네이티브 환경에서 한다는건 진짜 매력적으로 느껴졌습니다.
마지막으로 Linkedin 컨설팅과 MS 오피스투어등 MS 직원, 강사분들과 네트워크 형성 및 Linked 인 컨설팅으로 해외취업에서도 굉장히 유리한 위치를 선점할 수 있다고 생각합니다.
Q : 교육은 추천할만한가요?
A : 전체적으로는 만족하며, 다시 과거로 돌아간다고 하더라도 MS ai school에 입과를 선택했을겁니다.
네트워크 과정/ AI 과정 / Azure 설명/ CV 과정/ CRUD 과정 등 다양한 과정에 각각 다른 강사님이 배정되며
매우 만족했던 강사님 ex) 김영욱 강사님 부터 준비가 많이 아쉬운 강사님도 계셨습니다.
그냥 대학 교수님 생각하시면 됩니다. 많은걸 아시지만 설명능력이 아쉬운 강사님부터 유튜브 운영까지면서 거의 프로MC급 진행능력을 가지신 분들도 계시지만 결국 공부는 혼자 복습하셔야합니다!
하지만 전체적으로는 만족하며, 다시 과거로 돌아간다고 하더라도 MS ai school에 입과를 선택했을겁니다.
Q : 대학원을 가야할지 이 프로젝트를 가야할지 고민입니다
A : 데싸, 연구직 - 석박 추천 /// 데엔 - 프로젝트 추천
본인이 가고싶은 포지션으로 구인검색 하셔서 경력사항 및 우대사항을 보시면 될 듯 합니다.
중간에 대학원 선택을 위해 중도포기 하시는 분들도 많으셨습니다. AI 쪽이다보니 석박을 해야하나 는 많은 질문들이 수업시간에도 올라오는데 현 개발자, 연구자 분들은 데이터 사이언스를 희망 하거나, 연구직 이라면 대학원 추천 /// 데이터 엔지니어라면 프로젝트 추천이라고 하셨습니다. 그러면서 AI 시장은 변화속도가 워낙 빨라서 다른 학문에 비해서 석박과정에서의 학습이 매우 의미가 없을 수도 있다고 하셨습니다. AI는 컴공과 통계쪽 분들이 많이 오시는데 AI 석사이상은 컴공보다는 통계 포지션임을 기억하셔야합니다.
MS ai school 의 교육 환경은 매우 좋으며 강사진은 완벽하지는 않지만 우수한 편입니다.
문제 발생시 피드백이 굉장히 빠른편이며, 수강생들의 열정또한 정말 좋아서 지금 당장 카톡 오픈방에 ms라 치시면 각종 스터디 방 뿐만 아니라 논문, 프로젝트방 따로 모여 공부하시는 방을 쉽게 찾을 수 있습니다. (비번걸려있어서 들어갈 순 없을겁니다)
정리를 하자면
CV(컴퓨터 비전) 쪽 포트폴리오용 프로젝트를 열정있는 사람들과 함께 하고 싶고, 기본기가 튼튼하신 분들이라면
RNN은 주로 시계열 데이터에 사용된다. (시간의 흐름에 따라 이전 결과에 영향을 계속 받음)
CNN은 주로 이미지를 분석할때 사용 (차원감소)
신경망의 종류
시계열데이터에 주로 사용
⦿ 시계열 데이터에 주로 사용됨. 앞의 결과가 뒤의 결과에 영향을 줌
⦿ 이미지 분석할때 항상 나옴
신경망 기초
함수로 표현하기
# 신경망 기초
import math
import numpy as np
import matplotlib.pyplot as plt
# 일차함수
def linear_function(x):
a=0.5
b=2
return a*x+b
x = np.arange(-5,5,0.1)
y = linear_function(x)
plt.plot(x,y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('Linear Function')
# 2차 함수
def quadratic_fuction(x):
a = 1
b = -1
c = -2
return a*x**2 + b*x + c
x = np.arange(-5,5,0.1)
y = quadratic_fuction(x)
plt.plot(x,y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('Quadratic Function')
# 3차 함수
def cubic_function(x):
a = 4
b = 0
c = -1
d = -8
return a*x**3 + b*x**2 + c*x + d
x = np.arange(-5,5,0.1)
y = cubic_function(x)
plt.plot(x,y)
plt.xlabel('x')
plt.ylabel('y')
plt.title('Cublic Function')
텐서의 표현
Numpy ndarray를 통한 연산
# Tensor의 표현 (스칼라와 벡터)
# Tensor의 표현 # 스칼라와 벡터
x = np.array(3) #스칼라
print(x)
print(x.shape) # 형태, 모양
print(x.ndim) # 차원
# 3
# ()
# 0
y = np.array([3]) # 벡터
print(y)
print(y.shape)
print(y.ndim)
# [3]
# (1,)
# 1
# 1차원 텐서
a = np.array([1,2,3,4])
b = np.array([5,6,7,8])
c = a + b
d = d + x # x = 3 d(1차원과) + x(0차원) 합도 가능
print(c)
print(c.shape)
print(c.ndim)
# [ 6 8 10 12]
# (4,)
# 1
print(d)
print(d.shape)
print(d.ndim)
# [4 5 6 7]
# (4,)
# 1
# 차원이 달라서 부족한 값들은 그냥 같은값을 복사해서 연산한다. 브로드캐스팅이라 한다.
# 똑같이 하나의 성분이라도 리스트에 포함시키면 1차원이 되므로 벡터가 된다.
# 벡터의 곱
# 벡터의 곱
x = np.array([1,2,0])
y = np.array([0,2,1])
z = np.dot(x, y)
print(z)
print(z.shape)
print(np.ndim(z))
# 4
# ()
# 0
