python requestsの概要

Pythonのrequestsは、HTTP通信用のライブラリです。GET、POST、PUT、DELETEなどのHTTPメソッドを使用して、Webサーバーと通信するための簡単なインターフェイスを提供します。

requestsの主な機能は、以下のとおりです。

• HTTPリクエストの送信
• レスポンスの受信
• レスポンスのデコード
• ヘッダーの設定
• 認証の設定
• プロキシの設定
• タイムアウトの設定

requestsは、WebスクレイピングやWeb APIの呼び出しなど、さまざまな用途に使用できます。

Python requestsは、pipコマンドを使用してインストールできます。

pip install requests

関連 pythonのライブラリ一覧を取得

python requestsの使用方法

Python Requestsの基本的な使い方は、以下のとおりです。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# レスポンスの取得
text = response.text

# レスポンスのデコード
html = bs4.BeautifulSoup(text, "html.parser")

# タイトルの取得
title = html.find("title").text

print(title)

pythonのrequests get

Python Requestsのget()関数は、HTTP GETリクエストを送信するための関数です。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

get()関数の引数は、以下のとおりです。

• url: リクエストを送信するURL
• params: リクエストに渡すパラメータ
• headers: リクエストに渡すヘッダー
• **kwargs: その他のオプション

params引数には、辞書でパラメータを渡します。

# GETリクエストの送信
response = requests.get("https://www.google.co.jp/search", params={"q": "python"})

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

このコードは、Googleで「python」を検索した結果を取得し、そのテキストを表示します。

headers引数には、ヘッダーを辞書で渡します。

# GETリクエストの送信
response = requests.get("https://www.python.org/", headers={"User-Agent": "MyApp"})

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

**kwargs引数には、その他のオプションを渡します。

# GETリクエストの送信
response = requests.get("https://www.python.org/", timeout=10)

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

このコードは、タイムアウトを10秒に設定して、Pythonの公式ドキュメントのページを取得します。

pythonのrequestsのheader

Python Requestsのheaders引数を使用して、HTTPリクエストにヘッダーを設定することができます。

import requests

# User-Agentヘッダーを設定
headers = {"User-Agent": "MyApp"}

# GETリクエストの送信
response = requests.get("https://www.python.org/", headers=headers)

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

ヘッダーは、辞書で指定します。キーはヘッダー名、値はヘッダーの値です。

複数のヘッダーを設定する場合は、辞書に複数のキーと値を追加します。

# AcceptヘッダーとAccept-Encodingヘッダーを設定
headers = {"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", "Accept-Encoding": "gzip, deflate"}

# GETリクエストの送信
response = requests.get("https://www.python.org/", headers=headers)

# レスポンスの取得
text = response.text

# レスポンスの表示
print(text)

ヘッダーの値は、文字列、整数、浮動小数点数、ブール値、リスト、辞書など、さまざまな型を指定できます。

pythonのrequestsのresponse

PythonのRequestsのresponseは、HTTPリクエストの応答を表すオブジェクトです。

responseオブジェクトには、以下の属性があります。

• status_code: HTTPステータスコード
• headers: HTTPヘッダー
• content: レスポンスボディ
• raw: バイナリレスポンス
• elapsed: 応答時間
• history: リクエストの履歴

responseオブジェクトの属性は、以下のようにしてアクセスできます。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# ステータスコード
print(response.status_code)
# 200

# ヘッダー
print(response.headers)
# {'Content-Type': 'text/html; charset=utf-8', 'Cache-Control': 'max-age=86400', 'Content-Length': '7441', 'Date': 'Mon, 18 Sep 2023 15:14:18 GMT', 'Expires': 'Tue, 20 Sep 2023 15:14:18 GMT', 'Server': 'nginx', 'X-Content-Type-Options': 'nosniff', 'X-Frame-Options': 'SAMEORIGIN', 'X-Powered-By': 'Python/3.10.4'}

# レスポンスボディ
print(response.content)
# HTMLの文字列

以下は、responseオブジェクトの例です。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# 属性の確認
print(response.status_code)
# 200

print(response.headers)
# {'Content-Type': 'text/html; charset=utf-8', 'Cache-Control': 'max-age=86400', 'Content-Length': '7441', 'Date': 'Mon, 18 Sep 2023 15:14:18 GMT', 'Expires': 'Tue, 20 Sep 2023 15:14:18 GMT', 'Server': 'nginx', 'X-Content-Type-Options': 'nosniff', 'X-Frame-Options': 'SAMEORIGIN', 'X-Powered-By': 'Python/3.10.4'}

print(response.content)
# HTMLの文字列

このコードは、Pythonの公式ドキュメントのページを取得し、そのステータスコード、ヘッダー、レスポンスボディを表示します。

responseオブジェクトは、HTTPリクエストの応答を処理するために使用できます。

たとえば、responseオブジェクトのcontent属性を使用して、レスポンスボディをテキストとして取得できます。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# レスポンスボディの取得
text = response.content

# レスポンスボディの表示
print(text)

このコードは、Pythonの公式ドキュメントのページのテキストを表示します。

また、responseオブジェクトのheaders属性を使用して、ヘッダーを辞書として取得できます。

import requests

# GETリクエストの送信
response = requests.get("https://www.python.org/")

# ヘッダーの取得
headers = response.headers

# ヘッダーの表示
for key, value in headers.items():
    print(f"{key}: {value}")

このコードは、Pythonの公式ドキュメントのページのヘッダーを表示します。

responseオブジェクトは、HTTPリクエストの応答を処理するための便利なオブジェクトです。さまざまな属性を使用して、HTTPリクエストの応答に関する情報を取得したり、処理したりすることができます。

python requestsのresponseをjson形式で取得

PythonのrequestsのresponseをJSONで取得するには、responseオブジェクトのjson()メソッドを使用します。

json()メソッドは、レスポンスボディをJSON形式でデコードして、Pythonの辞書やリストに変換します。

import requests

# GETリクエストの送信
response = requests.get("https://api.example.com/v1/users/1")

# JSON形式でレスポンスボディを取得
data = response.json()

# 取得したデータを表示
print(data)

このコードは、例のAPIからユーザー情報を取得し、その情報をJSON形式で表示します。

responseオブジェクトのjson()メソッドは、レスポンスボディがJSON形式でない場合、エラーが発生します。

レスポンスボディがJSON形式でない場合、responseオブジェクトのcontent属性を使用して、レスポンスボディをテキストとして取得できます。その後、JSONモジュールを使用して、テキストをJSON形式に変換できます。

import requests
import json

# GETリクエストの送信
response = requests.get("https://api.example.com/v1/users/1")

# レスポンスボディの取得
text = response.content

# JSON形式に変換
data = json.loads(text)

# 取得したデータを表示
print(data)

このコードも、例のAPIからユーザー情報を取得し、その情報をJSON形式で表示します。

python環境構築

PYTHONのIDE（開発環境）を使って動かしてみよう！

# 変数を宣言する
x = 10

# 変数の値を表示する
print(x)

10

selenium pythonの概要

pip install selenium

関連 pythonのライブラリ一覧を取得

# ブラウザを起動する
from selenium import webdriver

# Chromeを起動する
driver = webdriver.Chrome()

# ウェブサイトにアクセスする
driver.get('https://www.google.com/')

# 検索ボックスに入力する
driver.find_element_by_name('q').send_keys('Selenium')

# 検索ボタンをクリックする
driver.find_element_by_name('btnK').click()

# 検索結果を取得する
results = driver.find_elements_by_class_name('g')

# 結果を表示する
for result in results:
    print(result.text)

# ブラウザを閉じる
driver.close()

selenium pythonでのスクレイピング

# ブラウザを起動する
from selenium import webdriver

# Chromeを起動する
driver = webdriver.Chrome()

# ウェブサイトにアクセスする
driver.get('https://www.google.com/')

# 検索ボックスに入力する
driver.find_element_by_name('q').send_keys('Selenium')

# 検索ボタンをクリックする
driver.find_element_by_name('btnK').click()

# 検索結果を取得する
results = driver.find_elements_by_class_name('g')

# 結果を表示する
for result in results:
    print(result.text, result.get_attribute('href'))

# ブラウザを閉じる
driver.close()

Selenium - WebDriver API - WebDriver | Selenium

WebDriver
WebDriver drives a browser natively; learn more about it.
www.selenium.dev
Selenium - WebDriver API - WebDriver - Locators | Selenium

301 Moved Permanently
selenium.dev
Selenium - WebDriver API - WebDriver - Actions | Selenium

301 Moved Permanently
selenium.dev
Selenium - WebDriver API - WebDriver - Interactions | Selenium

301 Moved Permanently
selenium.dev
Selenium - WebDriver API - WebDriver - Alert | Selenium

301 Moved Permanently
selenium.dev

PythonとAnacondaの違い

Anacondaのインストール方法

Anacondaのインストール方法は、以下のとおりです。

Windowsの場合

1. Anacondaのダウンロードページにアクセスします。
2. 「Download」をクリックします。
3. 「Windows」をクリックします。
4. 「Anaconda3-2023.07-Windows-x86_64.exe」をクリックして、インストーラをダウンロードします。
5. ダウンロードしたインストーラをダブルクリックして、インストーラを起動します。
6. ライセンス条項に同意します。
7. インストール先を選択します。
8. インストールオプションを選択します。
9. 「Install」をクリックします。
10. インストールが完了したら、デスクトップにショートカットが作成されます。

Macの場合

1. Anacondaのダウンロードページにアクセスします。
2. 「Download」をクリックします。
3. 「Mac」をクリックします。
4. 「Anaconda3-2023.07-MacOSX-x86_64.pkg」をクリックして、インストーラをダウンロードします。
5. ダウンロードしたインストーラをダブルクリックして、インストーラを起動します。
6. ライセンス条項に同意します。
7. インストール先を選択します。
8. 「Install」をクリックします。
9. インストールが完了したら、アプリケーションフォルダにインストールされます。

Linuxの場合

1. Anacondaのダウンロードページにアクセスします。
2. 「Download」をクリックします。
3. 「Linux」をクリックします。
4. 自分の環境に合ったバージョンのインストーラをダウンロードします。
5. ダウンロードしたインストーラを実行します。
6. ライセンス条項に同意します。
7. インストール先を選択します。
8. 「Install」をクリックします。
9. インストールが完了したら、ターミナルで以下のコマンドを実行して、Anacondaの環境を有効にします。

conda activate base

Anacondaのインストールが完了したら、以下のコマンドを実行して、Pythonのバージョンを確認できます。

python --version

出力に「Python 3.10.4」と表示されれば、Anacondaが正常にインストールされています。

Anacondaのインストール時に、以下のオプションを選択できます。

• Install for all users：すべてのユーザーでAnacondaを利用できるようにします。
• Add Anaconda to my PATH environment variable：AnacondaをPATHに追加して、コマンドラインからAnacondaを簡単に利用できるようにします。
• Register Anaconda as my default Python：AnacondaをデフォルトのPythonとして登録します。

Pythonでのグラフ描画

Pythonでグラフ描画を行うには、「Matplotlib」というライブラリを使う方法があります。

Matplotlibを使用することで、折れ線グラフや棒グラフ、円グラフ、散布図など様々なプロットを簡単に描画可能。

線の色、スタイル、ガイドの付加などをカスタマイズすることもできます。

Matplotlibの使い方

Matplotlibは、Pythonでグラフを描画するためのライブラリです。折れ線グラフ、棒グラフ、円グラフ、散布図など、さまざまな種類のグラフを描画できます。

Matplotlibの使い方は、以下のとおりです。

1. Matplotlibをインポートする
2. グラフを描画する
3. グラフを表示する

Matplotlibをインポートする

Matplotlibをインポートするには、以下のコードを実行します。

import matplotlib.pyplot as plt

関連 pythonのライブラリ一覧を取得

グラフを描画する

グラフを描画するには、plt.plot()関数を使用します。plt.plot()関数には、x軸の値とy軸の値を指定します。

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

plt.plot(x, y)

このコードは、x軸に1から5までの値、y軸に2から10までの値をプロットします。

グラフを表示する

グラフを表示するには、plt.show()関数を使用します。内部的にグラフが作成されてても、show()関数を使わないと表示されないんですね。

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

plt.plot(x, y)
plt.show()

Matplotlibの基本的な使い方

Matplotlibの基本的な使い方は、以下のとおりです。

• plt.plot()関数でグラフを描画する
• plt.xlabel()関数でx軸のタイトルを指定
• plt.ylabel()関数でy軸のタイトルを指定
• plt.title()関数でグラフのタイトルを指定
• plt.show()関数でグラフを表示

Matplotlibの便利な機能

Matplotlibには、さまざまな便利な機能があります。

• グラフの色や線のスタイルを変更する
• グラフに注釈を追加する
• グラフを保存する

これらの機能は、Matplotlibのドキュメントで詳しく説明されています。

Matplotlibのサンプルコード

Matplotlibの例をいくつか紹介します。

• 折れ線グラフ

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

plt.plot(x, y, color="red", linestyle="-")
plt.xlabel("x")
plt.ylabel("y")
plt.title("折れ線グラフ")
plt.show()

• 棒グラフ

x = ["A", "B", "C", "D", "E"]
y = [10, 20, 30, 40, 50]

plt.bar(x, y)
plt.xlabel("x")
plt.ylabel("y")
plt.title("棒グラフ")
plt.show()

• 円グラフ

labels = ["A", "B", "C", "D", "E"]
values = [10, 20, 30, 40, 50]

plt.pie(values, labels=labels)
plt.title("円グラフ")
plt.show()

• 散布図

x = [1, 2, 3, 4, 5]
y = [2, 4, 6, 8, 10]

plt.scatter(x, y)
plt.xlabel("x")
plt.ylabel("y")
plt.title("散布図")
plt.show()

Pythonでjsonの読み込み、文字列変換

JSONは、JavaScriptObjectNotation(JSON)というデータ交換フォーマット。PythonでJSONデータを扱うためのツールとしてjsonモジュールが提供されています。

jsonモジュールを使うと、load/dump関数でJSONファイルの読み書きや、JSON文字列の変換を行うことができます。

公開APIなんかも、レスポンスをJSON形式で返すことも多く、PythonでJSONを使う機会は多いんですね。

JSONデータの読み書き

loads()とdumps()関数を使うことで、JSON形式のデータを含む文字列のエンコード／デコードを行うことが可能です。

PythonでテキストデータをJSON形式として読み込むには、以下のようにします。テキスト形式をloads関数でJSON形式に変換しているんですね。ダブルクォート3つで囲った部分は、JSON形式のテキストファイルを読み込んで変数に入れたときのイメージになります。

import json

json_string = """
{
  "name": "John Doe",
  "age": 30,
  "address": "123 Main Street, Anytown, CA 91234"
}
"""

data = json.loads(json_string)

print(data)

import json

data = {
    "name": "John Doe",
    "age": 30,
    "address": "123 Main Street, Anytown, CA 91234"
}

json_string = json.dumps(data, indent=4)

print(json_string)

いずれのサンプルも、実行すると以下のように表示されます。

{
    "name": "John Doe",
    "age": 30,
    "address": "123 Main Street, Anytown, CA 91234"
}

JSONデータとテキストデータの変換は、json.loads、json.dumpsを使うという点を覚えておきましょう。

Pythonのファイル入出力に関する入門

では、テキストファイルを読み込んでPython内部でJSON形式データとして保持したり、JSON形式データをテキストとして出力するには？

テキストファイルからの読み込みサンプルはこう。ファイルdata.jsonからデータを読み込んで、内部でJSON形式の変数dataに格納します。

import json

with open("data.json") as f:
    data = json.load(f)

print(data)

import json

data = {
    "name": "John Doe",
    "age": 30,
    "address": "123 Main Street, Anytown, CA 91234"
}

with open("data.json", "w") as f:
    json.dump(data, f, indent=4)

テキストファイルからJSONを読み込むと、Pythonオブジェクトに変換されます。テキストファイルにJSONを書き込むと、PythonオブジェクトがJSONに変換されてファイルに書き込まれます。

PythonでJSONからCSVに変換するサンプル

JSONデータはちょくちょくCSVファイルに変換したいケースがあります。以下は、テキストファイルを読み込んでPython内部でJSON形式データとして保持し、CSV形式でテキストファイルに出力するサンプルです。

import csv

with open("data.json") as f:
    data = json.load(f)

with open("data.csv", "w") as f:
    writer = csv.writer(f)
    writer.writerow(data.keys())
    writer.writerows(zip(*data.values()))

name,age,address
John Doe,30,123 Main Street, Anytown, CA 91234

関連）PythonのCSV作成

Pythonでstringをintに

Pythonで数字の文字列strを数値int, floatに変換

string = "123"

int_value = int(string)

print(int_value)

123

string = "123"

int_value = int(string, 10)

print(int_value)

123

string = "abc"

int_value = int(string)

print(int_value)

ValueError: invalid literal for int() with base 10: 'abc'

string = "123"

if string.isdigit():
    int_value = int(string)
    print(int_value)
else:
    print("string is not an integer")

123

数字の文字列を浮動小数点数に変換: float()

string = "123.456"

float_value = float(string)

print(float_value)

123.456

string = "abc"

float_value = float(string)

print(float_value)

ValueError: could not convert string to float: 'abc'

string = "123.456"

if string.isdigit():
    float_value = float(string)
    print(float_value)
else:
    print("string is not a float")

123.456

string = "123.456"

float_value = float(string, 2)

print(float_value)

123.46

Pythonでリスト（配列）の要素を削除する方法

Pythonでリスト（配列）の要素を削除するには、以下の方法があります。

• del文
• pop()メソッド
• remove()メソッド

clear()メソッド

clear()メソッドは、リストのすべての要素を削除します。

list = [1, 2, 3, 4, 5]

list.clear()

print(list)

このコードは、listのすべての要素を削除します。

出力：

[]

pop()メソッド

pop()メソッドは、リストの要素を削除して、その要素を返します。インデックスを指定して要素を削除する場合は、インデックスを指定します。インデックスを指定しないと、リストの最後の要素が削除されます。

list = [1, 2, 3, 4, 5]

element = list.pop()

print(list)
print(element)

このコードは、listの最後の要素を削除して、その要素をelementに格納します。

出力：

[1, 2, 3, 4]
5

remove()メソッド

remove()メソッドは、リストから指定した値の要素を削除します。

list = [1, 2, 3, 4, 5]

list.remove(3)

print(list)

このコードは、listから値が3の要素を削除します。

出力：

[1, 2, 4, 5]

del文を使って要素を削除する方法

del文は、リストの要素を削除するだけでなく、変数そのものを削除することもできます。

list = [1, 2, 3, 4, 5]

del list[2]

print(list)

このコードは、listの2番目の要素を削除します。

出力：

[1, 2, 4, 5]

Pythonのソート

Pythonのソートの仕方

Pythonでリストをソートするには、以下の方法があります。

• リストのメソッドを使用する
• 組み込み関数を使用する

コレ以外にも、「アルゴリズムを手作りでソート」という方法もあります。が、フツーにメソッドや組み込み関数使ったほうが効率が良いでしょう。本気で高速ソートをしたい場合は、その部分だけC言語で速いモジュールとして作り込むケースがあります。

ちなみに、Pythonのsort()メソッドは、Timsortというソートアルゴリズムで、挿入ソートとマージソートの長所を組み合わせたものです。

Pythonのソートのサンプルコード

リストのメソッドを使用するサンプルコードを紹介します。

リストには、sort()メソッドが用意されています。sort()メソッドを使用すると、リストを昇順にソートできます。

list = [1, 5, 3, 2, 4]

list.sort()

print(list)

このコードは、リストを昇順にソートします。

出力：

[1, 2, 3, 4, 5]

sort()メソッドには、第二引数として、ソートの順序を指定することができます。

list = [1, 5, 3, 2, 4]

list.sort(reverse=True)

print(list)

このコードは、リストを降順にソートします。

出力：

[5, 4, 3, 2, 1]

また、sort()メソッドには、キーワード引数として、ソートする基準を指定することができます。

list = ["a", "c", "b"]

list.sort(key=len)

print(list)

このコードは、リストを文字列の長さでソートします。

出力：

['a', 'b', 'c']

組み込み関数を使用したソートについても紹介します。

組み込み関数には、sorted()関数が用意されています。sorted()関数を使用すると、リストをソートして、新しいリストを返すことができます。

list = [1, 5, 3, 2, 4]

sorted_list = sorted(list)

print(sorted_list)

このコードは、リストを昇順にソートして、新しいリストを返します。

出力：

[1, 2, 3, 4, 5]

sorted()関数には、第二引数として、ソートの順序を指定することができます。

list = [1, 5, 3, 2, 4]

sorted_list = sorted(list, reverse=True)

print(sorted_list)

このコードは、リストを降順にソートして、新しいリストを返します。

出力：

[5, 4, 3, 2, 1]

また、sorted()関数には、キーワード引数として、ソートする基準を指定することができます。

list = ["a", "c", "b"]

sorted_list = sorted(list, key=len)

print(sorted_list)

このコードは、リストを文字列の長さでソートして、新しいリストを返します。

出力：

['a', 'b', 'c']

pythonのintをtostringで文字列に変換

Pythonのint型を文字列に変換する、tostringメソッドってないの？

Pythonで数値を文字列に変換する方法

Pythonのint型を文字列に変換するには、tostring()メソッドとかではなく、str()で可能。

int_value = 123

string_value = str(int_value)

print(string_value)

このコードは、int_valueをstring_valueに格納します。そして、string_valueを出力します。

出力：

123

str()メソッドは、引数として任意のオブジェクトを受け取ることができます。int型の場合は、そのint型の値を文字列に変換して返します。

また、format()メソッドを使用しても、int型を文字列に変換できます。

int_value = 123

string_value = f"{int_value}"

print(string_value)

このコードも、int_valueをstring_valueに格納します。そして、string_valueを出力します。

出力：

123

format()メソッドは、引数として任意のオブジェクトを受け取ることができます。int型の場合は、そのint型の値を文字列に変換して返します。

f文字列リテラルを使用しても、int型を文字列に変換できます。

int_value = 123

string_value = f"{int_value:d}"

print(string_value)

このコードも、int_valueをstring_valueに格納します。そして、string_valueを出力します。

出力：

123

f文字列リテラルは、format()メソッドと同様に、引数として任意のオブジェクトを受け取ることができます。int型の場合は、そのint型の値を文字列に変換して返します。

:dは、int型を10進数で文字列に変換する指定です。他の指定も使用できます。例えば、:xは、int型を16進数で文字列に変換する指定です。

関連 stringをintに（python）／数字の型変換の変換

Pythonで文字列と数値の連結

文字列と数値を連結するには、「＋」を使うのが一番かんたん。

string = "Hello, "
number = 123

combined_string = string + str(number)

print(combined_string)

出力：

Hello, 123

もうちょっと複雑に「フォーマット文字列に値を流し込みたい」ってときには、format()メソッドを使うほうが楽なケースもあります。

format()`メソッドは、文字列に埋め込みたい値を指定できます。

string = "Hello, {0}"
number = 123

combined_string = format(string, number)

print(combined_string)

このコードも、”Hello, “と123を連結して、”Hello, 123″を生成します。

出力：

Hello, 123