note.nkmk.me

Pythonでコンマの後に空白があるcsvを読むときは注意

Date: 2016-05-03 / Modified: 2017-08-08 / tags: Python, CSV

Pythonでは、標準のcsvモジュールを使ってcsvファイルを簡単に読み書きできる。

例えば、

11,12,13,14
21,22,23,24
31,32,33,34
source: sample.csv

というsample.csvは以下のように読める。

import csv

with open('data/src/sample.csv', 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)
# ['11', '12', '13', '14']
# ['21', '22', '23', '24']
# ['31', '32', '33', '34']
source: csv_comma.py

ここで注意が必要なのが、コンマの後に空白(スペース)がある場合。本来、コンマの後には不要な空白を入れるべきではないが、たまにスペースが入ってるファイルを見かける。

そのような場合、デフォルトでは空白が無視されずそのまま読み込まれてしまう。

11, 12, 13, 14
21, 22, 23, 24
31, 32, 33, 34

という、コンマの後にスペースが入ったファイルを上のコードで読み込むと、

with open('data/src/sample_space.csv', 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)
# ['11', ' 12', ' 13', ' 14']
# ['21', ' 22', ' 23', ' 24']
# ['31', ' 32', ' 33', ' 34']
source: csv_comma.py

と出力される。

csv.readerskipinitialspace=Trueと指定すると、コンマの後の空白がスキップされる。

with open('data/src/sample_space.csv', 'r') as f:
    reader = csv.reader(f, skipinitialspace=True)
    for row in reader:
        print(row)
# ['11', '12', '13', '14']
# ['21', '22', '23', '24']
# ['31', '32', '33', '34']
source: csv_comma.py

上のような簡単な例であればstrip()で空白を消去してやってもいいが、問題は、次のようなダブルクオーテーションで囲まれている場合。

"one,one", "two,two", "three,three"

ダブルクオーテーションで囲まれている部分は一つの要素として見なしてほしいが、skipinitialspace=False(デフォルト)だと、

with open('data/src/sample_double_quotation.csv', 'r') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)
# ['one,one', ' "two', 'two"', ' "three', 'three"']
source: csv_comma.py

となってしまう。

skipinitialspace=TrueとするとOK。

with open('data/src/sample_double_quotation.csv', 'r') as f:
    reader = csv.reader(f, skipinitialspace=True)
    for row in reader:
        print(row)
# ['one,one', 'two,two', 'three,three']
source: csv_comma.py

pandasのread_csv()でcsvファイルを読むときも同様。コンマの後にスペースがあるcsvファイルの場合はread_csv(skipinitialspace=True)とする。

スポンサーリンク
シェア
このエントリーをはてなブックマークに追加

関連カテゴリー

関連記事