본문 바로가기

SK플래닛의 데이터, 다 ‘빅데이터 엔지니어’ 손안에 있소이다!

SK플래닛의 데이터, 다 ‘빅데이터 엔지니어’ 손안에 있소이다!

실시간 추천, 광고, Data Management Platform, Business Intelligence, Data Play … SK플래닛 판교 사옥 ‘더 플래닛’에는 영어지만 영어 같지 않은 단어들이 많이 들린다는데! 저 알 수 없는 단어들은 무엇일까? 바로 최근 ICT의 중심에 있는 ‘빅데이터’다. 당최 저 단어들만 가지고는 무슨 업무를 진행하는지 감이 안 잡히는 사람도 많을 것. 궁금증을 해결하기 위해, Data Infrastructure팀 강병수 매니저님을 만나 자세한 이야기를 들어보았다.


SK Careers Editor 강륜형


 


IT기업의 메카라고 불리는 판교 테크노밸리에 위치한 SK플래닛 판교 사옥 ‘더 플래닛’. 그곳에서 오늘의 인터뷰이, 강병수 매니저님을 만났다. 

 



안녕하세요. 저는 Data Infrastructure팀에서 실시간 빅데이터 플랫폼을 담당하고 있는 3년 차 강병수 매니저입니다.




데이터 플레이를 요리하는 상황에 빗대어 볼게요. 요리를 하려면, 가장 먼저 주방과 요리 재료 및 기구들이 필요하겠죠. 데이터 플레이도 이와 같아요. 데이터 플레이를 요리라고 가정했을 때, 데이터 엔지니어는 그 주방을 만들고 요리 재료 및 기구를 준비하는 역할을 해요. 데이터 플레이를 위해서는 데이터를 모을 환경을 만들어 데이터를 잘 모으고, 또 그것을 쓸 수 있게 정제 및 관리한 다음, 데이터 분석가들에게 제공하는 것이 무척 중요하거든요.



운영성 업무로는 필요한 플랫폼 구축, 소프트웨어 또는 하드웨어 장애 상황 대처가 있어요. 빅데이터를 사용하려는 개발자분들을 지원하는 역할도 하고요. 


개발 업무로는 플랫폼을 고도화하기 위한 개발이 있어요. 모니터링 환경을 개발하여 잘 관리되고 있는지 파악하는 것도 중요하고, 서비스에 필요한 플랫폼 기능을 추가하는 것도 있죠. 손이 많이 가는 업무는 자동화를 최대한 지향하고 있어서, 자동화를 위한 개발도 많이 하게 돼요.


이 두 가지를 시간을 정해놓고 하는 것은 아니에요. 평소에 개발하다가 운영성 업무가 발생하면 처리를 하고, 또다시 개발을 하는 식으로 시간을 사용하고 있어요.



저는 Infrastructure 쪽에 조금 더 치중된 일을 하고 있기 때문에, 데이터 애플리케이션 제작에 필요한 도구 개발을 주로 하고 있어요. 좀 더 자세히 설명하자면, 빅데이터를 실시간으로 활용할 수 있도록 도와주는 플랫폼 구성을 하고 있어요. 또한, 빅데이터 플랫폼을 잘 모름에도 그것을 사용하여 서비스를 만들고 싶은 개발자 분들을 위한 서비스들을 만들고 있어요.


 


4차 산업혁명 시대에서 데이터가 빠지는 서비스는 거의 없을 것으로 생각해요. 데이터는 실제 서비스에서 소비자를 이해하기 위해 활용되는 것뿐만 아니라, 서비스 방향을 정하는 의사결정의 기반도 되거든요. 결국은 데이터가 많은 것들을 만들어 내는 기반이 되는 거죠. 데이터 엔지니어는 좋은 데이터를 만들고 관리하기 위해 고민하고 실행할 수 있다는 것이 큰 장점이에요. 


좋은 데이터는 좋은 결과를 만들기 때문에 보람도 많아요. 저 개인적으로는 분산 환경으로 어려운 문제를 해결하고 활용하면서 얻는 지적인 만족감도 있어요.

 



입사 전에 ‘Apache Spark’를 이용하여 분산 환경에서 인간 유전체 분석을 했었는데, 단일 컴퓨터로 처리하기 어려운 것들을 분산 환경으로 풀어내는 문제 해결 방식이 너무 재미있었어요. 그래서 입사하고도 Data Infrastructure팀으로 가겠다고 강력하게 주장해서 시작하게 됐죠. (*아파치 스파크(Apache Spark) : 빅데이터 처리를 위한 오픈소스 병렬분산처리 플랫폼)



저는 컴퓨터공학을 전공했는데, 학부 수업으로는 ‘운영체제’와 ‘데이터베이스’가 많은 도움이 됐어요. 대개 컴퓨터라고 하면 복잡하다고 생각하지만 의외로 단순하거든요. 운영체제와 데이터베이스를 공부하고 이해하면서 컴퓨터에 대해서 더 잘 알 수 있었어요. 대학 시절에 했던 삼성전자 소프트웨어 멤버십도 도움이 되었어요. 개발에만 집중할 수 있는 시간이었을뿐더러 주변에 자극을 주는 친구들도 많아서 더욱 동기부여가 됐거든요.

 


운영체제와 데이터베이스에 대한 지식을 바탕으로, 분산 환경을 이해하는 것이 가장 중요한 것 같아요. 많은 빅데이터 플랫폼들이 있지만, 매년 뜨고 지는 것들이 바뀌고 있어요. 이때, 중요한 점은 도구에 구애되는 것이 아닌, 근본 기술을 바탕으로 새로운 것들을 이해할 수 있는 역량이라고 생각해요.

 


3학년 중반부터, 유전체 분석을 위해서 각종 빅데이터 플랫폼을 조사하고 사용하면서 시작했어요. 그 이전에는 웹이나 앱 애플리케이션을 만들어 공모전도 나갔고요. 최신 기술을 공부하는 것보다 더 중요한 건, 어떤 문제를 해결하는 과정에서 필요한 기술을 사용하는 것 같아요.


 


첫 회사는 정말 중요한 것 같아요. 개발을 아무리 좋아해도, 개발을 할 수 없는 환경에서는 개발자 커리어로 다시 시작하는게 쉬운 일이 아니니까요. 개발자 커리어를 가져갈 수 있음과 동시에, SK플래닛은 서비스가 많고 국내에서 손꼽힐 만큼 데이터가 많은 회사여서 SK플래닛의 빅데이터 엔지니어가 되고 싶었어요.



입사 전에는 회사의 핵심 기술자가 되는 것이 꿈이었어요. 지금은 많이 바뀌었는데, 팀원들과 협업하여 고객들에게 사랑받는 핵심 서비스를 만들 수 있는 사람이 되고 싶네요.





재미있는 일을 하면서 잘 먹고 잘살 수 있다고 봐요. 사람은 부족한데 수요는 계속해서 늘어나고 있으니까요. 다만 사람의 필요가 덜해지는 방향으로 오픈소스가 고도화되고 시장이 정리되고 있기 때문에, 근본 기술을 가진 사람들이 결국 살아남지 않을까 싶어요.


 


SK플래닛은 데이터나 트래픽이 정말 많은 회사에요. 빅데이터를 커리어로 갖는 사람으로서는 ‘빅’ 데이터를 더 많이 다뤄본 사람이 가치가 더 높아지는 것 같아요.


 


개발자라고 하더라도 분야는 정말 다양해요. 빅데이터 엔지니어를 하고 싶다면 왜 하고 싶은지, 내가 정말 이걸 좋아하는지를 깊게 고민을 해보는 것이 중요합니다. 빅데이터 엔지니어를 진로로 결정한 이유가 당장 시장 상황이 호황인 것이 전부가 아니었으면 좋겠어요. 기술은 계속해서 바뀌고, 회사 생활은 길고 고되니까요.



Data Infrastructure팀 강병수 매니저님과의 인터뷰를 통해, 조금은 생소하던 빅데이터 엔지니어 직무에 대해 폭넓게 이해할 수 있었습니다. 특히 인터뷰 중에 '근본 기술'이라는 단어를 많이 사용해주셨는데요. 그만큼 빠른 속도로 변화하는 빅데이터 산업에서는 그 기반이 되는 근본 기술에 대한 이해와 역량이 필요하다는 말인 것 같습니다. 이번 직무 인터뷰가 빅데이터 엔지니어를 꿈꾸는 분들께 많은 도움이 되었기를 바랍니다!