CSV to DB 적재 시 발생했던 에러

 

 

프로젝트를 진행하기 위해 문화 빅데이터 https://www.bigdata-culture.kr/

https://www.bigdata-culture.kr/

해당 사이트에 있는 무료 데이터를 참조하여 Python 을 이용해 CSV 파일에 있는 데이터를 DB에 적재시도

DB에 컬럼이 존재 했음에도 적재할 때, 에러가 발생

 

문제점을 로그와 함께 검색해보니 아래와 같은 문제점이 원인이 될 수 있다고 해서

 

CSV 헤더에 BOM(Byte Order Mark)이 포함됨

• '\ufeffBRDCST_DE' ← 컬럼 이름 앞에 BOM이 붙어서 BRDCST_DE 컬럼으로 인식되지 않음

        with open(csv_file_path, 'r', encoding='utf-8') as file:

            csv_reader = csv.reader(file)

            header = next(csv_reader)

 

해당 부분을 아래와 같이 수정했더니 에러 없이 잘 동작했다.

        with open(csv_file_path, 'r', encoding='utf-8-sig') as file:

            csv_reader = csv.reader(file)

            header = next(csv_reader)

 

해당 DB에 SELECT 쿼리를 날려서 CSV 에 있는 데이터가 잘 적재되어 있는 모습을 확인