[ADsP 요약] 1과목_데이터의 이해_데이터의 가치와 미래(2)

✔️ 빅데이터의 정의

[가트너 그룹(Gartner Group)의 더그 래니(Doug Laney)의 3V]

⭐️ 양(Volume) 👉 규모 

⭐️ 다양성(Variety) 👉 형태(데이터 유형과 소스)

⭐️ 속도(Volume) 👉 데이터 수집과 처리 속도

                             ➕ 

⭐️ 가치(Value) / 진실성(Veracity) / 정확성(Validity) / 휘발성(Volatility)

- 3V에 가치를 추가하면 4V, 나머지를 추가하면 7V

 

정의의 범주의 변화

데이터의 변화(3V) -> 기술의 변화(데이터 처리 기술, 클라우드 컴퓨팅 활용) -> 인재, 조직 변화(Data Scientist 같은 새로운 인재 필요)

 

출현 배경

축적한 고객 데이터를 바탕으로 숨어있는 가치발굴, 아키텍처 및 통계 도구들의 발전, 관련 기술의 발달(저장 기술의 발달, 클라우드 컴퓨팅)

 

비유

산업혁명의 석탄, 철	서비스 분야의 생산성을 끌어올려 다양한 생활 전반에 혁명적 변화를 가져올 것
21세기의 원유	산업 전반의 생산성 향상 및 새로운 범주의 산업을 만들 것
렌즈	현미경이 생물학에 발전에 미쳤던 영향만큼이나 산업발전에 영향을 미칠 것
플랫폼	다양한 서드파티 비즈니스에 활용가능

 

과거에서 현재로의 변화

📍 사전처리 👉 사후처리

📍 표본조사 👉 전수조사

📍 질 👉 양

📍 인과관계 👉 상관관계

 

✔️ 빅데이터 활용 기본 테크닉

연관규칙학습	변인들 간에 상관관계 찾는 방법	커피를 구매하는 사람이 탄산음료도 많이 사는가?
유형분석	특성에 따라서 분류할때 사용	이 사용자는 어떤 특성을 가진 집단에 속했는가?
유전자 알고리즘	매커니즘을 통해 점진적으로 진화시켜 나가는 방법	최대 시청률을 얻기 위해 어떤 시간대에 방송?
기계학습	훈련 데이터로 학습한 특성을 활용해 예측하는 방법	시청기록을 바탕으로 보고싶어하는 영화는?
회귀분석	독립변수를 조작해 종속변수의 변화를 확인해 관계를 파악할때 사용	구매자의 나이가 구매차량 타입에 미치는 영향은?
감정분석	특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석	새로운 환불 정책에 대한 고객의 평가는?
소셜네트워크분석	특정인과 다른 사람과의 관계 파악, 영향력 있는 사람을 찾을때 사용	고객들 간의 관계망은?

✔️ 빅데이터 시대의 위기 요인

👉 사생활 침해

 - 개인정보를 목적외로 활용하는 경우 사생활침해 발생

 예) 여행 사실을 트윗한 사람의 집을 강도가 노림

👉 책임 원칙 훼손

 - 예측 알고리즘의 희생양이 될 가능성이 생김

 예) 범죄 예측 프로그램에 의해 부당하게 대출이 거절됨

👉 데이터 오용

- 항상 맞을 수 없고 잘못된 지표를 사용할 가능성이 있다

예) 적군 사망자 수를 전쟁의 전척상황 지표로 활용했더니 사망자 수가 과장돼 보고되어 오보하는 결과 발생

 

✔️ 통제 방안

👉 동의에서 책임으로

- 개인정보 제공자의 동의 -> 개인정보 사용자의 책임

기대효과) 개인정보 유출 및 사용으로 발생하는 피해에 대해 사용자가 책임을 지게됨으로 사용주체의 적극적인 보호장치를 강구할 수 있다.

👉 결과 기반 책임 원칙 고수

- 기존의 원칙을 좀 더 보강, 예측 자료에 의한 불이익을 당할 가능성을 최소화

기대효과) 잘못된 예측 알고리즘을 통한 판단의 근거로 불이익을 줄 수 없으며 피해 최소화 장치를 마련해야 한다.

👉 알고리즘 접근 허용

- 알고리즘의 부당함을 반증할 수 있는 방법을 명시해 공개할 것

기대효과) 불이익 당한 사람들을 대변할 전문가(알고리즈미스트)가 필요하게 되었다.

 

✔️미래의 빅데이터

기본 3요소

📌 데이터 - 모든것의 데이터화

📌 기술 - 진화하는 알고리즘, 인공지능

📌 인력 - 데이터 사이언티스트, 알고리즈미스트

 

* 데이터 사이언티스트 : 빅데이터에 대한 지식과 분석 기술을 가진 전문인력으로 다각적 분석을 통해 인사이트를 도출하고 조직의 전략 방향제시에 활용 할 줄 아는 기획자

* 알고리즈미스트 : 데이터 사이언티스트가 한 일로 인해 부당하게 피해가 발생하는 것을 막는 역할로 알고리즘 코딩 해석을 통해 빅데이터 알고리즘에 의해 부당하게 피해를 입은 사람을 구제하는 전문인력

 

👇 다음요약

[ADsP 요약] 1과목_데이터의 이해_데이터 사이언스와 전력 인사이트(3)