파이썬 판다스 메모리 에러 해결하기

파이썬 판다스 메모리 에러 해결하기

파이썬 사용중 판다스에서 엑셀파일 합치기를 하다보면 메모리 에러가 발생하는 경우가 있는데요. 판다스 데이터 용량 확인하기 먼저 판다스에서 info에 memory_usage 명령어를 사용해보면 데이터 용량을 확인할 수 있는데요. 이때 파이썬 판다스의 데이터 종류가 있습니다. 바로 아래와 같은 데이터 형태가 있는데요. 판다스에서 파일을 옵션없이 불러오면 일반적으로 object로 불러옵니다. 하지만 이 object의 경우 아무 문자열이나 다 가능하기 때문에 데이터를 … Read more

Python 판다스 활용 데이터 전처리 방법 – 특정 문자열 찾아서 변경하기

Python 판다스 활용 데이터 전처리 방법 –  특정 문자열 찾아서 변경하기

사실 우리가 실생활에서 만나는 데이터는 예외가 많습니다. 그래서 데이터를 꼭 전처리해야 하는데요. 오늘은 이 데이터 전처리하는 방법을 알아보도록 하겠습니다. 파이썬 판다스 결측치 처리하기 실무에서 가장 많이 만나는 부분은 데이터가 없는 것입니다. 이 때에 데이터가 빈값을 Drop하면 되는데요. 이것을 전문적인 용어로는 결측치 제거라고 합니다. 간단하게 dropna를 활용합니다. dropna 실행 후 결측치를 제거하지 않고 반대로 0으로 채우는 … Read more