캐글 보스턴 집값 예측 데이터 분석을 하였습니다. 코드는 캐글 노트북을 참조하였습니다.본 글의 순서는 아래와 같습니다. III. 모델링 IV. 예측 제출결과 rmsle score 0.11891을 얻을 수 있었으며 상위 10% 해당되었습니다. 모델링 과정에서 공부를 조금 더 하면 모델의 성능을 조금 더 올릴 수 있을거 같습니다 코드는 아래 캐글 커널에서 볼 수 있습니다. https://www.kaggle.com/munmun2004/house-prices-for-begginers [한글커널][House Prices]보스턴 집값 예측 for Begginers Explore and run machine learning code with Kaggle Notebooks | Using data from House P..
캐글 보스턴 집값 예측 데이터 분석을 하였습니다. 코드는 캐글 노트북을 참조하였습니다. 본 글의 순서는 아래와 같습니다. I. 데이터 불러오기 및 확인 데이터는 일부만을 설명하였습니다 II. EDA & FE 코드는 아래 캐글 커널에서 볼 수 있습니다. https://www.kaggle.com/munmun2004/house-prices-for-begginers [한글커널][House Prices]보스턴 집값 예측 for Begginers Explore and run machine learning code with Kaggle Notebooks | Using data from House Prices: Advanced Regression Techniques www.kaggle.com 참고) #1 House P..
캐글 타이타닉 데이터 분석을 해보았습다. 캐글 노트북에서 필요한 부분들을 참고하였으며 순서는 아래의 목차와 같습니다. III. 모델링 보팅을 통해서 제출결과 accuracy 0.77990이 나왔다. 이번 타이타닉 데이터의 경우 타이타닉 원본 데이터 존재로 인해서 많은 사람들이 정확도가 1이 나올 수 있었고 이번 타이타닉 데이터 분석을 통해서 데이터분석에 관해 잘못 알고있었던 점과 부족했던 부분에 대해서 더 자세히 알게 되는 계기가 되었으며 기초적인 데이터일지라도 피처에 대해 많은 생각을 하게 되었던 캐글이였다. 특히나 모델링 부분에서 많은 점을 배울 수 있어서 좋은 경험이 되었다. 코드는 아래 캐글 커널에서 볼 수 있습니다. https://www.kaggle.com/munmun2004/titanic-fo..
캐글 타이타닉 데이터 분석을 해보았습다. 캐글 노트북에서 필요한 부분들을 참고하였으며 순서는 아래의 목차와 같습니다. I. 데이터 불러오기 및 확인 II. EDA & FE 코드는 아래 캐글 커널에서 볼 수 있습니다. https://www.kaggle.com/munmun2004/titanic-for-begginers [titanic][한글커널]타이타닉 데이터분석 for Begginers Explore and run machine learning code with Kaggle Notebooks | Using data from Titanic: Machine Learning from Disaster www.kaggle.com 본 글은 아래의 사이트를 참고하였습니다. 참고] Titanic Survival: Sea..
http://kostat.go.kr/wnsearch/search.jsp 통계청 통합검색 kostat.go.kr 통계청 수출입물가조사 데이터를 이용해서 1971년~2019년 데이터를 가지고 시계열 데이터 분석을 해보려고 한다. loc를 이용해서 원하는 부분만을 불러온 다음에 plot을 이용해서 그래프를 그릴수도 있지만 seaborn에 있는 relplot을 이용해서 시계열 그래프를 그려본다. 물가지수의 연도별 상승률을 시계열 그래프로 그려보았 을 때 평균과 분산이 변하는 비정상 시계열이다. 단순이동평균법(simple moving average)은 가장 최근의 m-기간 동안의 자료들의 단순평균을 이용하여 다음 기간을 예측하는 방법이며 최근의 새로운 자료들이 첨가되어도 단순평균값에 거의 영향을 주지 못할 뿐만 ..
- datasets에서 iris데이터를 불러오고 뉴럴네트워크에서 MLPClassfiier를 불러들어와 fit시켜보았다. - tensorflow에 keras에서 KerasClassifier를 불러들어와서 Sequetial을 이용해 모델을 만들어봤다. - 다중 분리이기 때문에 sparse 카테고리컬 크로스엔트로피를 사용했고 활성화함수는 렐루를 썼다. - KerasClassifier에 에폭을 5로해서 학습을 시키고 교차검증을 해보았다. - 머신러닝은 데이터가 많을수록 성능이 안올라가는데 딥러닝은 모델이 훨씬 더 복잡하기 때문에 더 성능을 올리수 있다.오버피팅이 생길수 있는데 이것을 막으려면 데이터를 늘려야한다. - 러닝커브를 그려보면 데이터가 요동쳐서 학습이 부족하다는 것을 알수있다. - 데이터가 충분하지 않..
#mnist - convolution을 쓰려면 reshape을 해야 하기 때문에 train과 test를 split 한 다음에 크기를 맞춰주었고 픽셀 값을 0~1사이로 정규화 하기 위해서 255로 나누어 주었다. - Sequential 모델을 만들어서 컨볼루셔널과 최대 풀링을 위한 MaxPool2D를 하였다. - 첫번째 CNN 네트워크 구조는 3*3 크기의 필터를 32개 가지는 것이고 여기서 padding 매개변수는 따로 지정해 주지 않았다.(주로 valid 패딩 아니면 same 패딩을 지정한다) 스타라이드 또한 지정해주지 않았다. - 활성화 함수는 relu 활성화 함수를 선택했고 최근 이미지 분야에서 자주 사용되고 있다. - 모델에 추가되는 첫 번째 층이므로 입력 크기를 input_shape 매개변수에 ..
#fashion_mnist - tensorflow keras에 있는 datasets에서 fashion_mnist 파일을 불러들어와서 image와 lable로 트레이닝 테스트 스플릿을 하고 이미지 데이터를 보기 위해서 matploblib에 있는 imshow를 사용하였다. -데이터를 255로 나눠 minmax화 시켰고 -기본적인 예측모델들은 데이터를 1차원으로 받아들이기 때문에 flatten 시켰다. -Sequential을 이용해서 모델을 만들고 첫번째 레이어는 전부 input_shape시킨다. 그리고 Sequential모델을 만드는 방법은 2가지 이다. - adam 옵티마이저를 사용해서 컴파일 하였고 지표로는 정확도를 사용했다. 그리고 다중 클래스 분류문제이므로 sparse_categorical_cross..