Pythonでコンマの後に空白があるcsvファイルを読むときは注意


このページは以下のURLに移転しました。5秒後に自動で移動します。
新URL: https://note.nkmk.me/python-csv-skipinitialspace/

Pythonでは、標準のcsvモジュールを使ってcsvファイルを簡単に読み書きできる。

例えば、

sample.csvlink
1
2
3
11,12,13,14
21,22,23,24
31,32,33,34

というsample.csvは以下のように読める。

csv_comma.pylink
1
2
3
4
5
6
7
8
9
import csv
with open('data/src/sample.csv', 'r') as f:
reader = csv.reader(f)
for row in reader:
print(row)
# ['11', '12', '13', '14']
# ['21', '22', '23', '24']
# ['31', '32', '33', '34']

ここで注意が必要なのが、コンマの後に空白(スペース)がある場合。本来、コンマの後には不要な空白を入れるべきではないが、たまにスペースが入ってるファイルを見かける。

そのような場合、デフォルトでは空白が無視されずそのまま読み込まれてしまう。

sample_space.csvlink
1
2
3
11, 12, 13, 14
21, 22, 23, 24
31, 32, 33, 34

という、コンマの後にスペースが入ったファイルを上のコードで読み込むと、

csv_comma.pylink
11
12
13
14
15
16
17
with open('data/src/sample_space.csv', 'r') as f:
reader = csv.reader(f)
for row in reader:
print(row)
# ['11', ' 12', ' 13', ' 14']
# ['21', ' 22', ' 23', ' 24']
# ['31', ' 32', ' 33', ' 34']

と出力される。

csv.readerskipinitialspace=Trueと指定すると、コンマの後の空白がスキップされる。

csv_comma.pylink
19
20
21
22
23
24
25
with open('data/src/sample_space.csv', 'r') as f:
reader = csv.reader(f, skipinitialspace=True)
for row in reader:
print(row)
# ['11', '12', '13', '14']
# ['21', '22', '23', '24']
# ['31', '32', '33', '34']

上のような簡単な例であればstrip()で空白を消去してやってもいいが、問題は、次のようなダブルクオーテーションで囲まれている場合。

sample_double_quotation.csvlink
1
"one,one", "two,two", "three,three"

ダブルクオーテーションで囲まれている部分は一つの要素として見なしてほしいが、skipinitialspace=False(デフォルト)だと、

csv_comma.pylink
27
28
29
30
31
with open('data/src/sample_double_quotation.csv', 'r') as f:
reader = csv.reader(f)
for row in reader:
print(row)
# ['one,one', ' "two', 'two"', ' "three', 'three"']

となってしまう。

skipinitialspace=TrueとするとOK。

csv_comma.pylink
33
34
35
36
37
with open('data/src/sample_double_quotation.csv', 'r') as f:
reader = csv.reader(f, skipinitialspace=True)
for row in reader:
print(row)
# ['one,one', 'two,two', 'three,three']

pandasのread_csv()でcsvファイルを読むときも同様。コンマの後にスペースがあるcsvファイルの場合はread_csv(skipinitialspace=True)とする。

関連記事