분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[질문] AutoML이 데이터 과학 직군을 대체할 수 있을까요?
안녕하세요!
얼마 전에 AI 분야 쪽으로 취직한 선배랑 근황 토크를 하다가 궁금한 점이 하나 생겨 데이커 분들의 의견을 듣고 싶습니다.
AutoML은 데이터 수집부터 최종 예측 모델까지 파이프 라인에서 비효율적인 과정을 최대한 자동화하는 도구로,
특히 예측 모델 개발에 많은 시간을 소요하는 코딩, 알고리즘 선택, 최적화 작업을 자동화한다고 알고 있습니다.
처음에는 비효율적인 과정을 자동화하기 위해 등장했지만 향후 이러한 기능이 확장된다면,
코딩이나 머신 러닝에 대한 지식이 없는 사용자가 데이터만 가져온다면 어느정도 성능이 보장된 모델을 도출할 수 있지 않을까?라는 생각이 들어서요..
물론 데이터 과학 직군의 업무가 단순히 모델링 뿐만은 아니니 완벽한 대체가 어렵겠지만,
다른 분들은 어떻게 생각하는 지 궁금합니다!
저도 분데데분님처럼 AutoML과 같은 도구를 사용하지 않기에는 너무 아깝다고 생각합니다.
솔직하게 말하자면 편한 건 사실이라고 생각해요. ㅎㅎ..
저도 자동화 도구가 가질 수 없는 저만의 강점을 더욱 강구해야할 것 같습니다.
좋은 의견 감사합니다!
오 저도 공감하는 부분입니다. AutoML의 기술들만 익힌다면 좋긴 하지만 데이터 과학 직군을 대체할 수 있겠다라는 생각을 하곤 합니다.
하지만 그렇게 된다면 지금처럼 블루오션 취업 시장이 아니게 되겠죠! 관련 내용으로 저도 얘기해본 적이 있었는데 전문가들이 AI 붐에 대하여 10년 정도 생각하고 있다고 들었습니다 ㅠㅠ
AI가 처음 등장했을때도 부정적인 여론 중 사람의 할 일이 줄어들고 실업자가 늘어난다는 이야기가 있었습니다. 물론 실업자가 아예 없다면 거짓말이겠지만 변화하는 세상에 맞춰 직업군도 바뀔 것이고 기술의 발전에 따라 감안해야 하는 부분도 생기겠지요. 하지만 관리해주는 사람이 있어야 AI가 만들어지고 파악도 제대로 될 것이라고 생각합니다.
따라서 AutoML이 발전함에 따라 데이터 직군을 대체할 수 있겠지만, 그만큼 사람만 할 수 있는 필요한, 더 나은 기술이 있을거라고 생각합니다!!
jihyeheo님 말씀처럼 AI 역시 처음 등장했을 때, 사람의 할일을 대체한다는 부정적인 의견이 있었죠!
물론, 지금보면 그만큼 AI관련 직무도 많이 등장했지만 그 당시에는 이러한 점은 고려하지 못했던 것 같아요.
AutoML 역시 이러한 결을 따라갈 수도 있을 것 같네요..!
좋은 의견 감사합니다!
앞으로는 어떻게 발전할지는 모르겠지만, 최근 몇년간 발전한 경향을 보면 서칭 범위 내 휴리스틱 기반의 전략이 메인이라고 생각이 됩니다. 구체적으로, 주어진 범위 내에서 이런 저런 방법들을 시도해 좋은 모델을 찾을 뿐, 데이터와 도메인 지식에 기반해서 특화된 모델을 찾는게 아니며 이 부분은 반드시 데이터 과학자와 도메인 전문가가 함께 투입되어야 해결이 될 수 있는 문제라 생각됩니다.
위의 부분은 언젠가 많은 데이터베이스가 해결할 수 있는 문제라고 생각됩니다. 하지만, 그만큼 현장에 대한 노하우가 데이터화 되어있지 않고, 완전자동화가 되지 않은 실제 현장에서는 데이터 + 노하우 형태로 작업을 하는 것으로 알고 있습니다. 아무래도 과도기라 그런 문제가 있는 것으로 볼 수도 있지만, 그만큼 각 산업에서 노하우는 산업을 이끄는 주요 요소임은 틀림이 없습니다. 때문에 그러한 노하우들이 DB에 모두 쌓이게 되면 언젠가 AutoML 만으로 굴러갈 수 있는 사회가 될 수 있지 않을까 싶지만, 기술의 발전과 동시에 계속해서 새로운 산업이 생겨나고 있고, 현실세계는 하드웨어도 함께 있는 세상으로 한계가 있을 것이라 생각이 됩니다.
저는 데이터 직군이 단순히 혼자 일하는 전문가가 아닌, IT와 산업현장(노하우)을 이어주는 다리같은 존재라고 생각합니다. 이런 부분을 AutoML과 같은 기술들이 대체할 수 있는 수준까지 올라오는 날이 있을 수도 있지만, 아직 그 시점은 멀리있다고 생각됩니다
현장에 대한 노하우는 데이터화가 되어 있지 않는다는 말씀이 제가 생각하지 못한 부분을 짚어주신 것 같아요.
물론 이러한 노하우도 언제인가는 데이터화될 수 있겠지만, 아직까지는 한계가 있을 것 같네요!
좋은 의견 감사합니다!
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
yoonj님이랑 똑같이 저도 공감합니다.
pycaret, Autoviz 등 편한 모델들이 나올 때 리더보드에 높은 점수를 내면 좋다가도 한편으로는
다른 사람들과 비교해서 나의 강점은 무엇인가 생각하면 한숨을 쉬곤 합니다.
근데 이런 자동화 알고리즘 자체를 사용하지 않기엔 솔직히 아깝다고 생각해요 :D
일단 저는 저만의 강점을 찾으려 노력하고 있습니다. 그 자동화 알고리즘이 하지 못하는 것들을 말이죠!
그래서 특성 공학을 위한 도메인 지식 공부나 EDA에 심혈을 기울이고 있습니다. 도메인 지식,EDA에 AutoML을 융합해서 활용하면 그것이 차별화된 부분이라 생각하기도 하고요!
그리고 분석을 통한 결과를 효과적으로 전달하기 위해 보고서 작성 방법이나, 한 눈에 볼 수 있는 대시보드 메이킹 능력도 생각해본 적이 있었습니다..
사실 아직도 땅을 보면서 고민하고 있습니다.. 정말로 AutoML... 강력하고 편하지만 두렵기도 하네요..!