note.nkmk.me

pandas.DataFrame, Seriesの重複した行を抽出・削除

Date: 2018-01-22 / tags: Python, pandas
このエントリーをはてなブックマークに追加

pandas.DataFrame, pandas.Seriesから重複した要素を含む行を抽出するにはduplicated()、削除するにはdrop_duplicates()を使う。

例として、以下のデータを使用する。重複したデータを追加している。

import pandas as pd

df = pd.read_csv('data/src/sample_pandas_normal.csv')
print(df)
#       name  age state  point
# 0    Alice   24    NY     64
# 1      Bob   42    CA     92
# 2  Charlie   18    CA     70
# 3     Dave   68    TX     70
# 4    Ellen   24    CA     88
# 5    Frank   30    NY     57

df = df.append({'name': 'Dave', 'age': 68, 'state': 'TX', 'point': 70}, ignore_index=True)
print(df)
#       name  age state  point
# 0    Alice   24    NY     64
# 1      Bob   42    CA     92
# 2  Charlie   18    CA     70
# 3     Dave   68    TX     70
# 4    Ellen   24    CA     88
# 5    Frank   30    NY     57
# 6     Dave   68    TX     70

サンプルのcsvファイルはコチラ。

例はpandas.DataFrameだが、pandas.Seriesでも同様。

重複した行を抽出する: duplicated()

duplicated()メソッドを使うと、重複した行をTrueとしたブール値のpandas.Seriesが得られる。デフォルトでは、すべての列の要素が一致しているときに重複したとみなされる。

print(df.duplicated())
# 0    False
# 1    False
# 2    False
# 3    False
# 4    False
# 5    False
# 6     True
# dtype: bool

得られたpandas.Seriesを使って、元のpandas.DataFrameから重複した行のデータを抽出できる。

print(df[df.duplicated()])
#    name  age state  point
# 6  Dave   68    TX     70

引数keep

デフォルトでは引数keep='first'となっており、重複した最初の行はFalseになる。最初(first)の行が重複とみなされずkeepされるイメージ。

keep='last'とすると、重複した最後の行はFalseになる。最後(last)の行が重複とみなされずkeepされるイメージ。

print(df.duplicated(keep='last'))
# 0    False
# 1    False
# 2    False
# 3     True
# 4    False
# 5    False
# 6    False
# dtype: bool

keep=Falseとすると、重複した行すべてがTrueとなる。

print(df.duplicated(keep=False))
# 0    False
# 1    False
# 2    False
# 3     True
# 4    False
# 5    False
# 6     True
# dtype: bool

引数subset

上述のように、デフォルトではすべての列の要素が一致しているときに重複したとみなされる。

引数subsetで考慮する列を指定することができる。

print(df.duplicated(subset='state'))
# 0    False
# 1    False
# 2     True
# 3    False
# 4     True
# 5     True
# 6     True
# dtype: bool

リストで複数の列を指定することも可能。指定したすべての列の要素が一致しているときに重複したとみなされる。

print(df.duplicated(subset=['state', 'point']))
# 0    False
# 1    False
# 2    False
# 3    False
# 4    False
# 5    False
# 6     True
# dtype: bool

重複した行の数をカウント

value_counts()を使ってduplicated()で得られたpandas.SeriesTrueをカウントすると、重複した行の数が確認できる。

value_counts()については以下の記事参照。

引数keepによって結果が変わるので注意。目的によって使い分ける。

print(df.duplicated().value_counts())
# False    6
# True     1
# dtype: int64

print(df.duplicated().value_counts()[True])
# 1

print(df.duplicated(keep=False).value_counts()[True])
# 2

重複した行を削除する: drop_duplicates()

duplicated()と論理否定演算子~を使って、重複した行を削除したDataFrameを取得できる。

print(df[~df.duplicated()])
#       name  age state  point
# 0    Alice   24    NY     64
# 1      Bob   42    CA     92
# 2  Charlie   18    CA     70
# 3     Dave   68    TX     70
# 4    Ellen   24    CA     88
# 5    Frank   30    NY     57

同様の処理を行うdrop_duplicates()メソッドが用意されている。

print(df.drop_duplicates())
#       name  age state  point
# 0    Alice   24    NY     64
# 1      Bob   42    CA     92
# 2  Charlie   18    CA     70
# 3     Dave   68    TX     70
# 4    Ellen   24    CA     88
# 5    Frank   30    NY     57

引数keep, subset

drop_duplicates()でも、duplicated()と同様に引数keep, subsetを設定できる。

print(df.drop_duplicates(keep=False))
#       name  age state  point
# 0    Alice   24    NY     64
# 1      Bob   42    CA     92
# 2  Charlie   18    CA     70
# 4    Ellen   24    CA     88
# 5    Frank   30    NY     57

print(df.drop_duplicates(subset='state'))
#     name  age state  point
# 0  Alice   24    NY     64
# 1    Bob   42    CA     92
# 3   Dave   68    TX     70

引数inplace

デフォルトでは、重複した行が削除された新たなDataFrameが返されるが、引数inplace=Trueとすると、元のDataFrameから重複した行が削除される。

df.drop_duplicates(subset='state', keep='last', inplace=True)
print(df)
#     name  age state  point
# 4  Ellen   24    CA     88
# 5  Frank   30    NY     57
# 6   Dave   68    TX     70
スポンサーリンク
シェア
このエントリーをはてなブックマークに追加

関連カテゴリー

関連記事