머신러닝 모델을 만들고 서버 배포를 해보라구요?

 

이게 바로 스타트업인가?

면접을 보고 다음 주부터 월요일부터 출근을 시작했다. 내 자리는 4~5년 차 젊은 개발자 분 옆에 앉았다. 맨 처음 그분에게 대략 현재 서비스 로직과 git 사용법을 배우고 있었는데 대표님이 첫날인데 일을 너무 하지 말라고 하셨다. 계속 회사 내에 있는 tv 보고 쉬라고 하셨다. 나는 이게 진짜 tv에서 보던 스타트업의 모습인가? 생각했다. 
 
한 2~3일 정도 쉬엄쉬엄 차차 적응했을 때쯤 대표님, 시니어급 개발자, 디자이너 분과 함께 회의를 했다. 면접 때 들었던 현재 회사가 구현하려고 하는 서비스에 대해서 초기 애플리케이션에 대한 회의였다. 자세하게는 못 말하지만, 회의에서 나온 아이디어는 특정 건물에 대한 머신러닝 모델을 만들어 보고 애플리케이션으로 만들어 보자였다. 
 
 
고민이다. 나는 잘 정제된 데이터 셋을 가지고 학습한 게 다인데 데이터 셋을 처음부터 구축하고 모델도 만들어보고 학습된 모델을 배포를 해야 한다는 것이다. 그때 당시 나는 진짜 막막했었다. 주변에 아는 머신러닝 엔지니어도 없었고 도움을 요청할 만한 곳도 딱히 없었기 때문이다. 이 문제를 어디서부터 어떤 식으로 접근해야 할지 몰랐다. 
 
 

발로 뛰어 데이터 셋 구축을 하다

초기 애플리케이션 구축에 필요한 데이터 셋은 공개된 데이터 셋에 없었기 때문에 팀원들과 협의하여 다 같이 발로 뛰었다. 진짜 그때는 이 방법밖에 생각나지 않았다. 팀원들과 함께 움직이면서 데이터 셋을 구축하기 시작했고, 진짜 이때만 생각하면 좋은 추억 같으면서도 좋은 경험이다. 내가 진짜 데이터 셋을 발로 뛰어서 구축을 했다니... 어느 정도 모델에 학습할 정도로 데이터 셋을 구축하고 나니 그다음을 어떤 식으로 적용해야 할지 잘 몰랐다.
 
나야 진짜 잘 정제된 데이터 셋으로 학습만 해본 게 다인데 방법을 모르는 게 어떻게 보면 당연하다.  하지만 진짜 구글링을 열심히 하고 문서도 여러 개 찾아보면서 구축한 데이터 셋을 가지고 학습을 했다. 
 
 

모델 정확도가 99%라고?  무언가 잘못되었다

학습을 완료하고 모델에 대한 정확도를 구했는데 99% 나왔다. 에? 이렇게 학습이 잘됐다고?  설마 했다. 학습하지 않은 데이터 셋을 가지고 테스트 하기 시작했다. 99% 무슨 테스트 데이터 셋에 대한 정확도는 높지 않았다. 학습할 때 사용된 전처리 방식이나 하이퍼 파라미터 설정 적절한 모델 선택 등등 방법이 잘못되었다고 생각했다. 
 
 
머신러닝 모델을 만들고 서버 배포를 해보라구요?를 다음 글에 이어서 작성하도록 하겠습니다.