#001) 대한항공 cloud solution (Data 솔루션 with AWS)

Data warehouse Modernization on AWS by KoreanAir 

---

KoreanAir 대한항공

대한민국에서 가장 큰 국내 대표 항공사로 50 여년 이상의 역사를 이어오고 있는 큰 규모의 기업이다.

약 20,000 명 정도의 직원으로 대표적인 사업 분야는 여객 운송, 항공 화물,항공 우주,방위 산업이다.

 

Data warehouse Modernization 를 위해

온프레미스에서 클라우드로의 이동과 다양한 서비스를 이용해 클라우드 모델을 구축 

대한항공 기업에서 여객,화물 서비스관련 여러 다량의 데이터를
클라우드 서비스와 함께 분석과 현대화하는것이 주 목적

---

EC2 의 오라클 DB 는 예약,티켓,탑승관련 여러 데이터가 생성됨

EC2-확장 가능 컴퓨팅 용량을 제공

DMS(Database Migration Service)를 위해 CDC라는 지속적 복제 기능 사용

DMS-데이터 저장소를 쉽게 마이그레이션 할 수 있는 서비스

데이터가 이러한 DMS 를 통해 실시간으로 목적지인 RDS 로 복제됨

RDS-관계형 데이터 베이스를 더 쉽게 설치, 운영, 확장할 수 있는 서비스

이때 RDS 는 PostgreSQL 데이터베이스로 기존 데이터와 형식이 달라
SCT(Schema Conversion Tool) 을 이용해 데이터 타입을 손쉽게 전환시켰음

SCT-기존 데이터 베이스 스키마를 한 데이터 베이스 엔진에서 다른 데이터 베이스 엔진으로 변환

또한 데이터 저장 이력을 가격이 저렴하고 용량 제한이 없는
S3 를 이용해 분석환경을 위해 필요한 데이터 기반으로 사용되는 주요 서비스
S3-높은 가용성, 데이터 확장성, 보안 및 성능을 제공하는 객체 스토리지 서비스

 

Athena 를 통해 S3 에 있는 자료들을 분석함

Athena-SQL 를 이용해 S3 의 데이터를 분석할 수 있는 대화형 쿼리 서비스

RDS 와 S3 데이터들은 AWS Glue 의 ETL 을 통해 처리하고 Redshift 으로 이동시킴

Glue-효율적인 방법으로 데이터를 분류,정리,보강,이동

 

이러한 데이터는 Redshift 에서 BI 툴로 인해서 비즈니스 현황을 이용하기 쉽게 만들어주고 새로운 인사이트 발굴

Redshift-페타바이트급 데이터 웨어하우스 서비스 ( 온라인 분석 처리 서비스의 데이터 베이스 )

Glue 서비스에 수천개의 job 들이 있는데 이를 효율적으로 관리하기 위해
멀티 어카운트의 자동화 배포를 위해 CI/CD AWS 코드 시리즈를 사용
(Code pipeline 으로 code commit-> code build-> cloud formation)

굉장히 빠른 데이터 복제 및 동기화
AWS Managed 서비스들로 다양한 데이터 실시간 분석을 가능케 해서 시간 단축을 이뤄
핵심 사업에 집중할 수 있게 도와줌
이 솔루션을 기반으로 비즈니스 데이터와 고객데이터를 연동시켜 고객만족 서비스를 위한 솔루션을 목표로함
 

refrence - https://www.youtube.com/watch?v=YosezjoL4MU / https://namu.wiki/w/%EB%8C%80%ED%95%9C%ED%95%AD%EA%B3%B5