반갑습니다! Dacon 유저, '분데데분'입니다!

HR Analytics, Citizen Data Scientist에 이어 이번 직무는 'Data Engineer' 입니다.

오늘도 핵심만 쏙쏙!

[Data Engineer]

[출처 : https://hackr.io/blog/what-is-data-engineering]

Data Engineer는 어떤 사람인가요?

Data Engineer는 분석 또는 운영 용도로 데이터를 준비하는 것이 주 업무인 사람입니다.

Data Engineer는 업무는 무엇인가요?

일반적으로 서로 다른 시스템의 정보를 모으기 위해서 데이터 파이프라인을 구축하는 일을 담당합니다. 또한 데이터를 통합 및 정리하고 분석 애플리케이션에서 사용할 수 있도록 구조화합니다.

Data Engineer는 무엇을 공부해야 할까요?

• 컴퓨터 기초 지식 (확률과 통계, Git, 컴퓨터 구조 등)
• 프로그래밍 언어 (Python, Scala, R 등)
• 테스팅 (Software 제작 과정에 필요, 유닛 및 통합 단위)
• 데이터베이스 지식
• 관계형 데이터베이스 (RDB)
• MySQL, Aurora...
• 비관계형 데이터베이스 (NoSQL)

#Data Engineer의 로드맵.

[출처 : https://github.com/datastacktv/data-engineer-roadmap]

국내 기업의 Data Engineer 채용 조건은 어떤가요?

티몬, 토스에서 찾아보았습니다.

공통적으로

• 대용량의 데이터 실시간 분산 처리(Hadoop, Spark...)
• 개발 툴 (Python, Java...)
• 의사소통 능력
• 문제해결 능력

들을 요구하고 있습니다.

물론 Data engineer에서 platform, DW(Data Warehouse), DM(Data Market) 등으로 세분화되기에 조금씩 필요로 하는 역량이 다를 수 있습니다 :)

.

.

.

오늘은 많은 양의 원시 데이터를 처리하여 사용할 수 있는 형식으로 변환 후, 비즈니스 가치를 창출하는

'Data Engineer'에 대해 다루어보았습니다.

정보를 수집하면서 로드맵을 보았는데, '공부를 많이 해야되겠구나'라며 생각했습니다. 그와 동시에 정말로 필요한 직군임을 체감했습니다.

실제로 Data Engineer에서의 업무가 궁금해집니다.

이상 글을 마치겠습니다 :) 감사합니다.

`본 포스팅은 데이콘 서포터즈 '데이크루 1기' 활동의 일환입니다'

reference

https://www.analyticsvidhya.com/blog/2021/06/data-engineering-concepts-and-importance

https://www.jobsity.com/blog/the-importance-of-data-engineering-in-the-era-of-big-data