데이터분석과 SQL 이해하기(feat. SQL 연습하기)

[목차]

1. 데이터는 무엇인가?

- 데이터에 대한 이해, 데이터의 종류와 가치 체계

 

2. 데이터와 친해지기

- 행과 열구조, 어떻게 저장하고 꺼내오고 변경하는지 취급 방법 실무 관련 많은 SQL샘플로 테스트

 

3. 데이터 분석과 트랜드

- 데이터가 내포하고 있는 수치 이해 데이터 분석기법의 종류와 트렌드

 

4. 데이터분석 실제 기법

- Drag & Drop 방식의 머신러닝 실습(코드 없이 분석에 초점) 필수 개념, 용어, 알고리즘에 대한 철저한 이해

---

1. 데이터와 데이터 분석

- 데이터 : 가공되지 않은 수치나 문자 등 그 자체 정보의 최소 구성 단위 의사결정의 원자값

- 정보 : 데이터의 가공을 통해 다른 데이터와의 연관성 등 의미가 부여된 상태

- 지식 : 정보를 바탕으로 데이터의 패턴을 체계화 한 상태

 

 

● 분석가 관점의 데이터

- 정의 : 추론, 추정의 근거를 이루는 관찰값

- 특징 : 객관적 사실이며 타 객체와의 상호 분석을 통해 추론, 예측, 전망 등의 근거로 활용됨

- 데이터의 구분

	정량적 데이터	정성적 데이터
유형	- 정형적 테이터 (ex. RDB 데이터) - 반정형  데이터 (ex. JSON, XML, HTML)	- 비정형 데이터 (ex. 동영상, 메일, 이미지, SNS 데이터)
특징	- 여러 요소의 결합을 통해 의미 부여, 통계분석 용이	- 객체가 함축된 의미를 가짐, 통계분석 난점
예	- 스프레드시트, 데이터 테이블	- 웹데이터, 텍스트 파일 등
저장 위치	- DBMS 등 조직 내부	- 웹사이트, SNS 등 외부

 

● 데이터 분석의 과거와 현재

 

● 데이터 분석 발전 요약

[기술통계분석]

- 주어진 데이터의 특징 및 구조 파악, 관심항목에 대한 요약, 집계 등

- 최근에는 머신러닝 처리를 위한 기본단계인 EDA(Exploratory Data Analysis)로 중요하게 활용

 → 이상치, 결측치, 노이즈 등 전처리, 향후의 분석 방향 설정을 위한 탐색

 

[추론 / 통게분석]

- 표본에 대한 분석을 토대로 모집단의 특성을 추론해 내는 분석기법(ex. 성별에 따른 선호도 예측, 연령에 따른 약효 예측)

 

● 데이터 분석 발전 요약

[머신러닝]

- 과거로부터 축적된 데이터를 컴퓨터에 입력하고 학습하도록 하여 데이터의 특정 패턴을 찾고 규칙을 도출해 내는 분석기법

- 학습을 통해 도출된 규칙을 기반으로 데이터를 분류하거나 미래를 예측하는데 활용(분류, 회귀, 군집, 연관 등)

 

[딥러닝]

- 기존의 머신러닝 분석의 군집, 연관, 분류 등의 작업을 인공신경망 알고리즘과 GPU를 활용하여 빠르게 수행(멀티미디어, 영상데이터)

 

● 데이터 분석 최근 방향

[Auto ML(Auto machine Learning)]

- 머신러닝에서 최적의 모델을 선택하거나, 복잡한 함수 사용, 매개변수 등을 컴퓨터가 알아서 자동으로 처리하는 기법(programming이 쉽고 단순해짐)

 

[증강분석(Augmented Analytics)]

- 데이터 분석에 있어서 데이터 준비부터 관리, 전처리, 분석, 시각화까지 인간의 손을 거의 비리지 않고 자동 처리하여 패턴을 분석하고 예측하여 의사결정에 활용하는 기술

---

2. SQL과 RDMS

● RDBMS(Relational Database Management System) 소개

- DBMS : 방대한 데이터를 효율적으로 관리하는 시스템, CRUD의 편리성 제공

- RDBMS : 논리적으로 연관된 데이터를 table 형식으로 관리하는 DBMS (ex. MySQL, Oracle, SQL Server 등)

 

● RDBMS(Relational Database Management System) 소개

- 데이터를 저장, 조작, 검색하깅 ㅟ한 표준 언어인 SQL을 제공

 

 

- 무엇을 추구하는가?

• 자료의 중복 배제
• 데이터 무결정 보장
• 저자용량 최소화
• 처리효율의 극대화 및 편리성

● SQL 이해하기

[SQL 개요]

- 데이터베이스를 효율적으로 구축 및 활용할 수 있도록 하는 구조화된 질의어

- 쉬운 영어문장 형식으로 구성(표준화) → Select*form friends

- CRUD의 편리성 제공 → 생성(Create), 검색(Read/Retrieve), 수정(Update), 삭제(Delete)

 

[SQL문 종류]

- 입력, 수정, 조회 등 데이터 조작할 때 (Select, Insert, Delete, Update) → DML

- 데이터의 생성 및 구조 등 정의할 때 (Create, Drop, Alter) → DDl

- 사용자 권한 부여, 회수 등 제어할 때 (Grant, Revoke) → DCL

 

[SQL문 테스트 사이트 소개(DBMS 설치 불필요)]

- http://sqlfiddle.com *모든 사용자가 테이블 생성, 자료입력, 삭제 등 SQL 테스트 가능

SQL Fiddle | A tool for easy online testing and sharing of database problems and their solutions.

- https://www.w3schools.com/sql/trysql.asp?filename=trysql_select_all 

*DB가 이미 만들어져 제공됨. 따라서 즉시 SQl 테스트 가능. 물론 사용자가 직접 테이블 생성도 가능

SQL Tryit Editor v1.6