인터넷에서 수집한 내용을 정리한거라 실제와 다른내용도 있을수 있으니 유의 부탁드리겠습니다.
데이터 엔지니어란?
- 데이터 분석,머신러닝 모델 구현 등을 편하게 할수 있도록 환경을 만들어주는 사람
- 데이터 엔지니어외 데이터분석가(Data Analyst,DA)나 데이터 사이언티스트(Data Scientist, Machine/Deep Learning Engineer,DS)eh dlTdma
- 데이터 엔지니어는 데이터 수집,가공,적재(데이터 파이프라인) 설계,구축하여 분석가와 사이언티스트가 사용할수 있도록 데이터환경을 만들어주는 역할을 하는듯
- 분석가는 비즈니스 결정을 위한 데이터 분석보고서 만드는 사람
- 사이언티스트는 문제해결을 위한 데이터 분석모델(ML/DL)을 만드는 사람
- 엔지니어의 관심은 빅데이터(Big Data)때문?
- 빅데이터 활용 예로는 인공지능의 거대 AI모델의 영향이 큰듯
- 데이터 엔지니어는 = 개발자 성향, 분석가 = 기획자성향, 사이언티스트=연구자성향
- 데이터 분석가는 에널리스트라고 하는듯
데이터 엔지니어 업무
- 데이터를 수집,가공,적재 등을 하는 ETL업무를 설계 구축 및 운영 모니터링
- ELT는 데이터를 저장 후 가공하는 방식인듯
- 대체로 서버쪽인 백엔드(back-end)에서 업무가 이루어지는듯
- SQL 및 프로그래밍을 위한 개발언어(JAVA,Python 등) 능력도 필요한듯 → 이중 데이터 엔지니어 전공으로 파이썬?
- 협업을 위한 커뮤니케이션(소통) 능력도 필요함
- 다양한 연계시스템들(AWS,GCP,Azure 등)과의 경험도 필요함
- 어느 채용공고에서는ETL,ELT개발 및 운영
- 대용량 트래픽 처리 인프라 구축
- 데이터 마이그레이션, 검증 및 개선 업무
- REST API 개발 등
그외
- 한국데이터산업진흥원(KDATA) 데이터산업현황조사에서 시장규모는 매년 성장하는 추세라고 함
- 해당 데이터 직무는 다양한 산업분야에서 예측,분석,마케팅 분석,고객 인사이트,비즈니스 성과분석,인공지능,빅데이터 등 중요성 강조된다고 함
출처
데이터 엔지니어가 하는 일은? | 데이터 엔지니어 로드맵,필요 역량-20220805 코드스테이츠
댓글 없음:
댓글 쓰기