【Python中級編】正規表現でデータを操作する基本を紹介します
更新日：2023年7月20日
はじめに
この記事では、正規表現の基礎について説明します。正規表現は、テキストの検索や置換に使用できる強力なツールです。正規表現を習得すると、テキストの処理を効率化することができます。
この記事は、正規表現の基礎を学習したい人向けに書かれています。
正規表現の経験がなくても、この記事を読んで基本的な概念を理解することができます。
正規表現は、テキストの検索や置換に使用できるパターンの集合で、テキストを記述する自然言語とは異なり、数学的な記法で記述されます。また、テキストの処理を効率化するためにも使用できます。
例えば、正規表現を使用して、テキストから特定の文字列を検索したり、特定の文字列を置換したりすることができます。
この記事を読んで、基本的な概念と実用的な活用方法を学んでいきましょう。
目次
正規表現とは
正規表現（Regular Expression）は、テキストデータを検索、置換、抽出するための強力なツールで、文字列パターンの記述に使用されます。
正規表現は多くのプログラミング言語やツールで使用できますが、ここではPythonの観点から説明します。
正規表現の基本的な概念と目的
正規表現（Regular Expression、RegEx）はパターンマッチングに使用される特殊な文字シーケンスです。
例えば「ハロー」のような単語を探すという単純な検索から「email@example.com」のような特定のパターンを持つテキスト（この場合、メールアドレス）を見つけるような複雑なタスクまで、あらゆる検索とマッチングに使用されます。
以下は、特定の文字列（ここでは"cat"）がテキスト内に存在するかどうかをチェックするための正規表現の基本的な使用例です。
import re
text = "The cat is on the mat."
if re.search("cat", text):
print("Found!")
else:
print("Not Found!")
このコードは、指定したテキスト内で"cat"という単語を検索し、それが存在すれば"Found!"と出力し、存在しなければ"Not Found!"と出力します。
正規表現の一般的な用途とPythonでの利用方法
Pythonのreモジュールを使用して、正規表現に基づく文字列の検索、置換、分割などを行うことができます。
例えば、以下のコードでは、テキストから電子メールアドレスを検索して抽出します。
import re
text = "Contact us at: support@example.com"
email_address = re.findall(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', text)
print(email_address) # 出力：['support@example.com']ここでは、電子メールアドレスを正確に表現するための一般的な正規表現パターンを使用しています。
このパターンは、大文字・小文字のアルファベット、数字、特定の記号（".", "_", "%", "+", "-"）で構成される1つ以上の文字列、"@", その後に大文字・小文字のアルファベット、数字、"."や"-"からなる一つ以上の文字列、"."、そして最後に2文字以上の大文字または小文字のアルファベットから構成されます。
このパターンを使用してre.findall()関数を実行すると、指定のテキストからメールアドレスを抽出できます。
正規表現はその強力さと柔軟性から、プログラム内のテキストデータを検索し、操作するための有力なツールとなっています。
それでは、具体的にPythonでどのように正規表現を使用するのか、基本的な機能から応用的な使い方まで詳しく見ていきましょう。
次の章では、「Pythonでの正規表現の使用」に焦点を当て、正規表現の活用法を具体的なコード例とともに紹介します。
Pythonでの正規表現の使用
Pythonのreモジュールの概要：
Pythonには標準で正規表現を操作するためのライブラリであるreモジュールが提供されています。
正規表現は、テキストデータを検索、置換、分割などをするための非常に強力な手段であり、その一部として特殊なパターンマッチングや条件付きマッチングがあります。
reモジュールは、これらの全ての機能をPythonプログラマに提供します。
reモジュールの主要な関数とその使用例：
・match()：
この関数は、文字列の先頭がパターンに一致するかどうかをチェックします。
もし一致すれば、マッチオブジェクトを返します。一致しない場合はNoneを返します。
import re
# "Hello"で始まる任意の文字列にマッチ
pattern = r'Hello'
string = 'Hello, world!'match = re.match(pattern, string)
if match:
print("Match found:", match.group()) # "Hello"
else:
print("No match found.")・search()：
この関数は、文字列全体を対象にパターンが存在するか調べます。
最初に見つけたマッチを返します。
import re
pattern = r'world'
string = 'Hello, world!'
match = re.search(pattern, string)
if match:
print("Match found:", match.group()) # "world"
else:
print("No match found.")・findall()：
この関数は、文字列全体からパターンに一致するすべてのマッチを見つけ出し、リストにして返します。
import re
pattern = r'\b[a-z]\w*\b'
string = 'The quick brown fox jumps over the lazy dog'
matches = re.findall(pattern, string)
print("Matches found:", matches) # ['he', 'quick', 'brown', 'fox', 'jumps', 'over', 'the', 'lazy', 'dog']・sub()：
この関数は、文字列の中のパターンにマッチするすべての部分を別の文字列（置換文字列）で置き換えます。
import re
pattern = r'dog'
string = 'The quick brown fox jumps over the lazy dog'
new_string = re.sub(pattern, 'cat', string)
print("New string:", new_string) # "The quick brown fox jumps over the lazy cat"・split()：
この関数は、文字列をパターンにマッチする場所で分割し、結果の部分文字列をリストにして返します。
import re
pattern = r'\s'
string = 'The quick brown fox'
split_string = re.split(pattern, string)
print("Split string:", split_string) # ['The', 'quick', 'brown', 'fox']これらの関数はPythonでの正規表現を扱う基本的な方法を提供しています。
これらを使って、テキストデータの検索、置換、分割などを行うことができます。
ただし、正規表現自体は非常に多機能であり、この記事ではほんの一部しか扱えていません。
より詳しい情報はPythonの公式ドキュメンテーションや他の学習リソースを参照してください。
次の章では、正規表現で使用される主要なパターンを解説していきます。
正規表現のパターン
正規表現で使用される主要なパターン（メタ文字、エスケープシーケンスなど）
正規表現は、特定の文字列パターンを探すための強力なツールです。
これらのパターンは、一連のメタ文字とエスケープシーケンスを組み合わせて作成されます。
メタ文字：これらは特殊な意味を持つ一連の文字で、それらを組み合わせることで非常に複雑なパターンを表現することが可能です。例えば、"."は任意の一文字を、"*"は直前の文字が0回以上繰り返すことを、"+"は直前の文字が1回以上繰り返すことを、"?"は直前の文字が0回または1回繰り返すことを表します。また、"[abc]"は"a", "b", "c"のいずれか一文字を表し、"^(...)$"は文字列の始まりと終わりを表します。
エスケープシーケンス：これらはバックスラッシュ "" を使って始まり、特定の種類の文字を表現します。例えば、"\d"は数字を、"\s"は空白文字を、"\w"は単語文字（英数字とアンダースコア）を表します。これらのシーケンスを大文字にすると（"\D", "\S", "\W"）、それぞれの意味が逆転し、それぞれ数字でない文字、非空白文字、単語文字でない文字を表すようになります。
パターンを使用した検索とマッチングの例
Pythonのreモジュールを使用して、特定のパターンに一致する文字列を検索し、取得することができます。この方法は、テキスト内から特定の情報を抽出する際に非常に有用です。
以下に、正規表現を用いたテキスト検索とマッチングの基本的な方法を示します。
import re
text = "My phone number is 123-456-7890."
# 電話番号のパターンを作成します。
pattern = r'\d{3}-\d{3}-\d{4}'
# search()メソッドを使用してパターンを検索します。
match = re.search(pattern, text)
if match:
print("Phone number found:", match.group())
else:
print("No phone number found.")このコードはテキスト内から電話番号を見つけて出力します。
このような形で、正規表現は大量のテキストデータから必要な情報を素早く抽出するための強力なツールとなります。
また、正規表現の知識はデータクレンジングやテキスト分析にも非常に有用であり、Pythonプログラミング全般で役立つスキルとなります。
グループ化とキャプチャ
正規表現でのグループ化（()）とその目的
正規表現では、丸括弧()を使用して一部のパターンをグループ化します。
グループ化とは、複数のパターンを一つの単位として扱う手法のことを指します。
グループ化によって、一致するパターン全体ではなく、その一部にマッチした内容を特定することが可能になります。
また、グループ化された部分は一つのブロックとして機能し、そのブロック全体に対して繰り返し（*、+）、選択（|）、量指定（{m,n}）などの操作を適用できます。
例えば、文字列"abcabcabc"から"abc"を3回繰り返すパターンを探す場合、次のように記述できます。
import re
text = "abcabcabc"
pattern = r'(abc){3}'
match = re.fullmatch(pattern, text)
if match:
print("Match found!")
else:
print("No match found.")このコードは、パターン(abc){3}が文字列全体にマッチするかどうかをチェックし、マッチした場合は"Match found!"を、マッチしない場合は"No match found."を出力します。
グループ化を使用したマッチングとデータ抽出の例
テキストから特定の情報を抽出するために、正規表現のグループ化を使用することができます。
例えば、テキストから電話番号を抽出し、エリアコードと主要な番号部分を別々に取得するためには、以下のように記述します。
import re
text = "My phone number is 123-456-7890."
pattern = r'(\d{3})-(\d{3}-\d{4})'
match = re.search(pattern, text)
if match:
print("Full phone number:", match.group())
print("Area code:", match.group(1))
print("Main number:", match.group(2))
else:
print("No phone number found.")このコードでは、まず正規表現(\d{3})-(\d{3}-\d{4})を使用してテキストから電話番号を検索します。
この正規表現では、2つのグループを定義しています。
最初のグループ(\d{3})は3桁の数字（エリアコード）を、2番目のグループ(\d{3}-\d{4})は"3桁の数字-4桁の数字"の形式（主要な番号部分）をマッチします。
re.search()関数は、テキスト内で正規表現にマッチする最初の位置を見つけ、それに関する情報を含む特殊なマッチオブジェクトを返します。
マッチオブジェクトのgroup()メソッドを使用して、全体の電話番号や各部分（エリアコードと主要な番号部分）を取得できます。
正規表現の応用例
複雑なデータ検索や抽出
Pythonの正規表現は、複雑なデータの検索や抽出に優れています。
例えば、文章中で特定のパターンを持つすべての単語を見つけ出すといった作業が可能です。
以下の例では、文章からメールアドレスを抽出してみましょう。
メールアドレスは一般的に user@example.com のような形式をとります。
ここで、 user 部分には英数字と一部の記号が使われ、@の後ろのexample部分にはドメイン名が来ます。
import re
text = "Contact us at contact@example.com and info@example.com."
pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
matches = re.findall(pattern, text)
print(matches) # ['contact@example.com', 'info@example.com']ここで、 re.findall() 関数は指定したパターンに一致するすべての部分文字列をリストとして返します。
このため、結果として得られるのは ['contact@example.com', 'info@example.com'] というリストです。
データの変更
Pythonの正規表現はまた、データの変更にも使用することができます。
特にre.sub() 関数を使用すれば、指定したパターンに一致する部分を新しい文字列で置き換えることが可能です。
上記のメールアドレスの例を引き続き用いて、文章中のメールアドレスをすべて "[REDACTED]" という文字列で置き換えてみましょう。
import re
text = "Contact us at contact@example.com and info@example.com."
pattern = r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b'
redacted_text = re.sub(pattern, "[REDACTED]", text)
print(redacted_text) # Contact us at [REDACTED] and [REDACTED].この場合、 re.sub() 関数は文章中のメールアドレスを "[REDACTED]" で置き換えた新しい文字列を生成します。結果として得られるのは "Contact us at [REDACTED] and [REDACTED]." という文字列です。
以上のように、Pythonの正規表現はテキストの検索や置換といった操作に非常に強力なツールであることが分かります。
これらの基本的な技術をマスターすれば、さらに複雑なテキスト処理タスクにも対応できるようになるでしょう。
まとめと次のステップ
本記事の内容の要約
本記事では、Pythonでの正規表現の基本的な使用方法について学びました。
正規表現の基本的な概念やPythonの re モジュールの主要な関数の使い方、さらにはより複雑なパターンやグループ化の活用法など、幅広いトピックをカバーしました。
さらに、具体的な例を通じて正規表現の強力な能力を見てきました。
複雑なデータの検索、抽出、そして変更です。
さらに深く学ぶためのリソースやテーマの提案
Pythonでの正規表現は非常に豊富で、これをマスターすれば、様々なテキスト処理タスクを効率的にこなすことが可能になります。
興味がある方は、Pythonの公式ドキュメンテーションの reモジュール をチェックして、さらに詳しい情報を得ることができます。
また、実際に自分でテキストデータを用いて正規表現を試してみることも、理解を深めるのに役立つでしょう。
これまでの学習で、Pythonの豊富な機能の一部を探ることができました。
しかし、Pythonの学習はこれで終わりではありません。
次のステップとして、Pythonの「多重スレッドとマルチプロセスの基本」について学ぶことをお勧めします。これらの概念を理解することで、Pythonプログラムのパフォーマンスを改善するための新たな手法を身につけることができます。
次の記事では、これらのトピックを詳しく解説していきます。ぜひご覧ください！