[KT에이블스쿨] 2차 미니프로젝트 후기 - 데이터 분석

이전글 : 2023.08.29 - [코딩∙데이터분석🧑🏻‍💻/KT에이블스쿨_DX트랙] - [KT에이블스쿨] 1차 미니프로젝트 후기

8/24-8/25 이틀 동안 진행되었던 1차 미니프로젝트는 벌써 과거의 기억 속으로 사라지고 

[KT에이블스쿨] 1차 미니프로젝트 후기

 

8월이 순삭되어버렸다.

---

데이터분석, 데이터수집 강의 후기

그 동안 우리는 데이터 분석, 데이터 수집(웹크롤링)을 순식간에 다 떼고, 
2차 미니프로젝트를 시작하게 되었다.

잠깐 뭘 배웠는지 복기하고 넘어가자면

데이터분석 단원에서는 단변량 분석, 이변량 분석, 각각의 시각화와 통계검정 이론과 코드 구현 방법들을 배웠다. 데이터 분석은 막학기에 데이터마이닝 수업을 들으면서 이론은 다 배웠고, 파이썬 코드는 있는 패키지 가져와서 쓰기만 하면 되어서 개인적으로 비교적 수월했고, 재미있게 배웠다. 특히 시각화와 통계검정에서 그치지 않고 비즈니스 인사이트를 끊임없이 꺼내보고, 다른 사람들 의견도 같이 보고, 고민해보는 과정이 제일 재미있고 유익했다! 

한기영 강사님 짱짱 나의 에이블스쿨 최애 강사님이시다(갓장래 선생님파는 잠시 흐린 눈 해주시길..)

데이터수집 단원은 이틀 동안 웹 기본 구조+동적+정적 크롤링을 한 번에 배웠다. 사실 웹크롤링은 한 달 동안 나혼자 외주 프로젝트로 씨름하면서 삽질을 정말 많이 해봤었는데도 이틀만에 웹 기본 구조+동적+정적 크롤링 전반을 다루고 넘어가니 속도가 너무너무 빨라서 나만 못따라가나? 해봤었는데도 이만큼 후달리나 싶어서 자괴감이 들었고 이틀 동안 좀 울적했다. (그래서 미프할 때 우리 반 사람들한테 다 물어보고 다녔는데 나만 힘들었던 거 아니라서 조금 위안이 되었음 하지만 웹크롤링 다시 공부해야 함!)

아 그리고 3기 때도 2차 미프에 웹크롤링은 안나왔고, 이번 4기 2차 미프에서도 웹크롤링은 나오지 않았으니 수업을 잘 못 따라갔더라도 바로 뒤에 이어질 2차 미프 때는 분석만 잘하면 되니 걱정안해도 될 듯하다. (하지만 나중에 직접 데이터를 구해서 분석을 진행해야하는 경우가 왕왕 있으니 웹크롤링 기본은 익혀두는 것이 좋을 것이다.) 

2차 미니 프로젝트 1일차 

1일차는 1차 미니프로젝트 때 전처리 연습을 열심히 했던 토익데이터를 가지고 데이터 분석에 활용할 수 있게 간단하게 데이터분석만 연습하는 시간이었다. 

우리 조 6명으로 다 처음 조 해보는 사람들이라 더 반가웠다(드디어 친해져보는구나!!!!!!)

그리고 너무 친해진 결과? 만난지 이틀 된 짝꿍한테 아침 9시에 술 선물을 받음ㅋㅋㅋㅋㅋㅋㅋㅋ 술쟁이되어버렸다

그리고 1일차는 체감상 수월했어서 해서 딱히 코멘트 남길 게 없다.ㅎㅎ 1차 미프 때 끙끙대며 본 데이터라 이해가 다 된 상태에서 분석만 하면 되어서 데이터 분석 한 주 동안 배운 것 복습하며 하루만에 솨솩 해내는 경험이었다.

1차 미니프로젝트 때 우리 팀에서 단변량/이변량 아직 안 배운 상태였는데 같이 코드 보고 고민해서 사실 발표날 토익데이터 데이터 분석을 마쳐버렸었다(발표 찢음😎) 사실 그때 한 건 아마추어였고 이번 2차 미프에서 제대로 하는 거라서(원래는) 다시 토익데이터를 들여다 보면서 배운 단변량, 이변량 분석을 이용해 좀더 다각적으로 데이터를 바라보려고 노력했다. 

2차 미니 프로젝트 2일차 

2차 미프 본격적으로 시작되었다고 느낀 날이었다. 임대주택 데이터를 가지고 진행했는데, 부동산 도메인에 대한 이해도 필요했고, 분석에 사용할 수 있도록 방대한 양의 임대주택 데이터를 전처리부터 해야해서 팀원들 다같이 버벅댔지만 하면서 덕분에 전처리 때 배웠던 거 까먹어갈 때쯤 자연스럽게 복습할 수 있어서 도움이 많이 되었다. 

전처리 처음에 배울 때는 좀 헷갈릴 수도 있고, 자꾸 에러나고 데이터프레임이 내 생각대로 편집이 안돼서  막막할 수도 있는데이렇게 계속해서 미프에서도 사용하고 같이 연습 하게 되니 너무 크게 걱정은 하지 않아도 된다! 갓장래 강사님 말씀대로 계속 하면서 점점 익숙해진다 정말로 그러니까 혹시 5+기인 당신이 이 글을 보고 있다면 너무 걱정하지 말고 에이블스쿨에서 가르쳐준 대로만 차근차근 따라가면 되니 너무 걱정하지 마시라!! 

2차 미니 프로젝트 3일차

2차 미프 마지막 날은 어제 처치한? 주택 데이터를 가지고 바로 데이터 분석에 들어가는 작업을 했다.
생소한 분야의 데이터기도 하고, 뭘 봐야할지 몰라서 우왕좌왕 많이 했는데 팀원들이랑 상의하면서 분석 방향에 대해 입을 맞추고 진행할 수 있어서 정말 다행이었다. 혼자 했으면 나혼자 어느 산으로 어디까지 갔을지 모른다.ㅋㅋ

이 임대주택 데이터 전까지는 수업 때, 실습 때나 1차 미프에서도 상식 선에서 이해 가능한 쉬운 도메인의 쉬운 데이터를 가지고 했었는데, 완전 생소한 부동산 분야의 데이터를 다뤄보니까 데이터 분석가에게 왜 도메인 지식이 정말 중요하다는지 몸소 깨달을 수 있었다.

데이터 코드를 잘 다룰 수 있어도 데이터에 대한 이해를 못하면 말짱도루묵이다 정말 

아 이렇게 다 모자이크하니까 좀 웃긴데 어떡하지... 하지만 우리 소중한 27조 조원들 초상권 절대 지켜

이렇게 해서 데이터 분석, 수집까지 배우고, 2차 미프를 무사히 마쳤다 ! 

우리 8반 짱짱

 

2차 미프를 무사히 끝내긴 했지만 아직 나는 한참 부족하다는 생각과 밀린 공부에 파묻혀 이후 나는 무한 슬럼프에 빠지게 된다...
이 이야기는 머신러닝 후기와 함께 뒤에 이어서...