Cloud4 [Cloud onBoard Online] 빅데이터, 머신러닝 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 기본 개념 빅데이터 플랫폼 Dataproc Data Pipeline(예시) Cloud Pub/Sub - 실시간 데이터 저장 Cloud Storage - Batch 파일 저장 Cloud Dataflow - 데이터 정제(ETL) 작업 진행 BigQuery - 변환 데이터 저장 후 사용 머신러닝 빅데이터와 머신러닝 기본 개념 🤫 데이터 분석하는데에 중요한 것(disk, memory, cpu)은? memory! → 메모리 사이즈가 크면? 더 많은 데이터를 올릴 수 있기 때문 데이터 사이즈가 클 때, scale up ; 성능이 더 좋은 걸로 upup! → 제한이 있음 sharding - map - reduce shardi.. 2020. 5. 14. [Cloud onBoard Online] 스토리지, 컨테이너 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 기본 개념 스토리지 가이드라인 Cloud Stoage Cloud BigTable Cloud SQL 및 Cloud Spanner Cloud Datastore 클라우드 컨테이너 컨테이너란? 쿠버네티스 Cloud Functions Deployment Manager Stackdriver 기본 개념 ex. 티켓 판매 온라인 사이트 저장 : 구매한 티켓 정보(누가 언제, 어떤 티켓을 구매했는지) 등 저장하는 곳 → DB(구체적으로는 Transactional DataBase (OLTP)) 분석 DB에서 바로 분석가능 하지만 데이터를 건드릴 수 있는 위험부담이 있기 때문에 원천 데이터는 누락데이터나 Null값 등 가공되어있지 .. 2020. 5. 13. [Cloud onBoard Online] 가상 머신 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 네트워크의 기본 개념 VPC(Virtual Private Cloud) 네트워크 Compute Engine 중요한 VPC 기능 Load Balancing 다양한 연결 옵션 네트워크의 기본 개념 🤫 네트워크란? 컴퓨터와 컴퓨터를 연결해서 데이터를 주고 받는 것을 의미 스위치 - 라우터(항상 중심이 됨) - 🖥 🖥 🖥 🖥 → 연결 형태(모양에 따라) : 링 토폴로지, 스타형 토폴로지(가장 많이 쓰임) 등 🤖 네트워크는 지리적 범위에 따라, LAN(Local Area Network) → 지역 레벨의 작은 네트워크 WAN(Wide Area Network) → 큰 지역 단위의 네트워크 (라우터와 라우터끼리 연결) VPC(V.. 2020. 5. 13. [Cloud onBoard Online] GCP 소개 🛷 2020년 3월 31일 진행된 "Cloud onBoard Online"을 정리하였습니다. 기존의 기술 발전 & 이후의 기술 방향 물리적/로코케이션 가상화 서버리스 상황에 따른 GCP 컴퓨팅 아키텍처 Region & Zone 가격 정책 락인 효과(Lock-in) 걱정 없는 보안 Products on GCP GCP 사용 기존의 기술 발전 & 이후의 기술 방향 물리적/로코케이션 사용자가 서버를 직접 구축, 관리함 물리적 서버 - OS - 📱 Utilization 관리가 매우 까다로움 관리가 번거로움 (24시간 주7일) 가상화 Utilization 문제를 크게 해결! 물리적 서버 - 가상화( OS -📱 OS -📱 OS -📱 ) → 서버를 효율적으로 사용 할 수 있게 됨 + 전문적으로 관리해주는 사람 등장 하.. 2020. 5. 12. 이전 1 다음
