Cloud onBoard2 [Cloud onBoard Online] 빅데이터, 머신러닝 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 기본 개념 빅데이터 플랫폼 Dataproc Data Pipeline(예시) Cloud Pub/Sub - 실시간 데이터 저장 Cloud Storage - Batch 파일 저장 Cloud Dataflow - 데이터 정제(ETL) 작업 진행 BigQuery - 변환 데이터 저장 후 사용 머신러닝 빅데이터와 머신러닝 기본 개념 🤫 데이터 분석하는데에 중요한 것(disk, memory, cpu)은? memory! → 메모리 사이즈가 크면? 더 많은 데이터를 올릴 수 있기 때문 데이터 사이즈가 클 때, scale up ; 성능이 더 좋은 걸로 upup! → 제한이 있음 sharding - map - reduce shardi.. 2020. 5. 14. [Cloud onBoard Online] GCP 소개 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 기존의 기술 발전 & 이후의 기술 방향 물리적/로코케이션 가상화 서버리스 상황에 따른 GCP 컴퓨팅 아키텍처 Region & Zone 가격 정책 락인 효과(Lock-in) 걱정 없는 보안 Products on GCP GCP 사용 기존의 기술 발전 & 이후의 기술 방향 물리적/로코케이션 사용자가 서버를 직접 구축, 관리함 물리적 서버 - OS - 📱 Utilization 관리가 매우 까다로움 관리가 번거로움 (24시간 주7일) 가상화 Utilization 문제를 크게 해결! 물리적 서버 - 가상화( OS -📱 OS -📱 OS -📱 ) → 서버를 효율적으로 사용 할 수 있게 됨 + 전문적으로 관리해주는 사람 등장 하.. 2020. 5. 12. 이전 1 다음
