AI

인공지능 개념, 빅데이터, 전처리, 라벨링, 모델, API. 세상 제일 쉽게 설명

Human-analog 2024. 3. 4. 06:10
인공지능 서비스 4단계 : 데이터 수집 - 가공(라벨링, 전처리) - 모델생성 - API개발(실시간서비스) 

 

 

 

미리보기 

인공지능 4단계 : 데이터 수집 > 데이터 가공 > 모델 생성 > API 개발

 

1. 데이터수집 : Text, Image, Video, M2M 

* M2M(Machine2Machine) : 기계 스스로 데이터 수집 > 효과 : 자동화 

-------------------------

2. 데이터 가공 : 전처리(라벨링) for 데이터 입력, 학습

-------------------------

3. 모델생성(반복) : 모델개발 > 데이터 입력 > 데이터 학습 > 모델수정 

* 모델(Model) : '학생'과 같은 역할 > 빅데이터 : 학습지

-------------------------

4. API(Application Programming Interface) 개발 : 연결다리 역할 Between 응용 프로그램 & 모델

 

1. 데이터 수집 : 텍스트, 사진, 영상, M2M 

 

  데이터(Data)라고 하면, 다양한 종류가 있죠. 예를 들면, 텍스트, 이미지, 비디오, M2M 등이 있어요. 여기서, M2M 개념이 낮설 텐데요. M2M이란 Machine 2(To) Machine의 약자로 기계가 스스로 데이터를 수집하는 것을 의미해요. 예를 들면, 테슬라 자동차의 카메라가 자동적으로 주변 사물 데이터를 수집하는 것이 대표적이죠.  

 

 

정리 

데이터수집 : Text, Image, Video, M2M 

* M2M(Machine2Machine) : 기계 스스로 데이터 수집 > 효과 : 자동화  

 

 

2. 데이터 가공 : 전처리(라벨링) for 데이터 입력, 학습 

 

  데이터를 수집했으면, 학습시킬 모델에 맞게 데이터를 가공해야해요. 데이터가 서로 질서없게 있다면, 모델 성능이 현저히 떨어질 확률이 매우 높아요. 데이터 가공을 하는 것을 전처리(Preprocess) or 라벨링(Labeling)이라 부릅니다. 

 

 

정리 

데이터 가공 : 전처리(라벨링) for 데이터 입력, 학습

 

 

3. 모델 생성 : 모델 개발-데이터 입력-데이터 학습-모델 수정

 

  데이터를 수집하고 라벨링하였으니 데이터는 준비되어 있어요. 여기까지 과정을 '빅데이터'라고 부르는 것이에요. 이제 빅데이터를 갖고 모델(Model)을 만들어야해요. 여기서, 모델이란 '학생'과 같아요. 학생은 학습지(데이터)를 공부하여 실력을 쌓죠. 모델도 마찬가지로 빅데이터를 학습하여 더 나은 모델을 만들어요. 과정은 간단해요. 우선, 모델이 있어야하니 개발부터 하고요(모델 개발). 라벨링이 끝난 데이터를 입력시키고 학습시킵니다. 한 번에 끝나지 않기 때문에 이 과정을 반복해요. 

 

 

 

정리

모델생성(반복) : 모델개발 > 데이터 입력 > 데이터 학습 > 모델수정 

* 모델(Model) : '학생'과 같은 역할 > 빅데이터 : 학습지

 

4. API 개발 : 실시간 서비스 

 

  모델 개발이 끝마쳐졌으면, AI 인공지능을 만들었어요. 이제 사용을 해야겠죠. 보통, AI 서비스를 제공할 때, API형태로 공급을 해요. API란 Application Programming Interface의 약자인데요. 이름 그대로, 응용 프로그램(Application Programming)에서 AI를 사용할 수 있도록 인터페이스(Interface)를 제공하는 것과 같아요. 즉, 연결다리 역할인 것이죠. 더 쉽게 예를 들자면, 식당에서 손님이 웨이터에게 요리주문을 했다고 하죠. 여기서, 손님은 클라이언트(응용 프로그램), 요리는 AI(방금 만든 모델)인 것입니다. 나머지 웨이터는? API인 것이죠. 중간 연결다리 역할을 했으니깐요. 

 

 

정리 

API(Application Programming Interface) 개발 : 연결다리 역할 Between 응용 프로그램 & 모델

 

 

 

AI 붐 시대 : 1,2,3차  

 

3차 AI 붐은 현재진행형 / 출처 : 크라우드웍스

 

 

정리 

1차 AI붐 : 앨런 튜링(인공지능 아버지) 

2차 AI붐 : for only 전문가 > 한계 : 시스템 비표준화로 비효율(시간, 비용)

3차 AI붐 : Machine Learning, Deep Learning for Self-Learning > 효과 : 빅데이터, 데이터처리, 하드웨어(GPU, NPU)