現在位置: 首頁 > Pandas 教程 > 正文

Pandas JSON

JSON(JavaScript Object Notation,JavaScript 對象表示法),是存儲和交換文本信息的語法,類似 XML。

JSON 比 XML 更小、更快,更易解析,更多 JSON 內容可以參考 JSON 教程。

Pandas 可以很方便的處理 JSON 數據,本文以 sites.json 為例,內容如下:

實例

[ { "id": "A001", "name": "菜鳥教程", "url": "www.hfmhpj.com", "likes": 61 }, { "id": "A002", "name": "Google", "url": "www.google.com", "likes": 124 }, { "id": "A003", "name": "淘寶", "url": "www.taobao.com", "likes": 45 } ]

實例

import pandas as pd

df = pd.read_json('sites.json')
   
print(df.to_string())

to_string() 用于返回 DataFrame 類型的數據,我們也可以直接處理 JSON 字符串。

實例

import pandas as pd

data =[
    {
      "id": "A001",
      "name": "菜鳥教程",
      "url": "www.hfmhpj.com",
      "likes": 61
    },
    {
      "id": "A002",
      "name": "Google",
      "url": "www.google.com",
      "likes": 124
    },
    {
      "id": "A003",
      "name": "淘寶",
      "url": "www.taobao.com",
      "likes": 45
    }
]
df = pd.DataFrame(data)

print(df)

以上實例輸出結果為:

     id    name             url  likes
0  A001    菜鳥教程  www.runoob.com     61
1  A002  Google  www.google.com    124
2  A003      淘寶  www.taobao.com     45

JSON 對象與 Python 字典具有相同的格式,所以我們可以直接將 Python 字典轉化為 DataFrame 數據:

實例

import pandas as pd


# 字典格式的 JSON                                                                                              
s = {
    "col1":{"row1":1,"row2":2,"row3":3},
    "col2":{"row1":"x","row2":"y","row3":"z"}
}

# 讀取 JSON 轉為 DataFrame                                                                                          
df = pd.DataFrame(s)
print(df)

以上實例輸出結果為:

      col1 col2
row1     1    x
row2     2    y
row3     3    z

從 URL 中讀取 JSON 數據:

實例

import pandas as pd

URL = 'https://static.runoob.com/download/sites.json'
df = pd.read_json(URL)
print(df)

以上實例輸出結果為:

     id    name             url  likes
0  A001    菜鳥教程  www.runoob.com     61
1  A002  Google  www.google.com    124
2  A003      淘寶  www.taobao.com     45

內嵌的 JSON 數據

假設有一組內嵌的 JSON 數據文件 nested_list.json

nested_list.json 文件內容

{
    "school_name": "ABC primary school",
    "class": "Year 1",
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}

使用以下代碼格式化完整內容:

實例

import pandas as pd

df = pd.read_json('nested_list.json')

print(df)

以上實例輸出結果為:

          school_name   class                                           students
0  ABC primary school  Year 1  {'id': 'A001', 'name': 'Tom', 'math': 60, 'phy...
1  ABC primary school  Year 1  {'id': 'A002', 'name': 'James', 'math': 89, 'p...
2  ABC primary school  Year 1  {'id': 'A003', 'name': 'Jenny', 'math': 79, 'p...

這時我們就需要使用到 json_normalize() 方法將內嵌的數據完整的解析出來:

實例

import pandas as pd
import json

# 使用 Python JSON 模塊載入數據
with open('nested_list.json','r') as f:
    data = json.loads(f.read())

# 展平數據
df_nested_list = pd.json_normalize(data, record_path =['students'])
print(df_nested_list)

以上實例輸出結果為:

     id   name  math  physics  chemistry
0  A001    Tom    60       66         61
1  A002  James    89       76         51
2  A003  Jenny    79       90         78

data = json.loads(f.read()) 使用 Python JSON 模塊載入數據。

json_normalize() 使用了參數 record_path 并設置為 ['students'] 用于展開內嵌的 JSON 數據 students。

顯示結果還沒有包含 school_name 和 class 元素,如果需要展示出來可以使用 meta 參數來顯示這些元數據:

實例

import pandas as pd
import json

# 使用 Python JSON 模塊載入數據
with open('nested_list.json','r') as f:
    data = json.loads(f.read())

# 展平數據
df_nested_list = pd.json_normalize(
    data,
    record_path =['students'],
    meta=['school_name', 'class']
)
print(df_nested_list)

以上實例輸出結果為:

     id   name  math  physics  chemistry         school_name   class
0  A001    Tom    60       66         61  ABC primary school  Year 1
1  A002  James    89       76         51  ABC primary school  Year 1
2  A003  Jenny    79       90         78  ABC primary school  Year 1

接下來,讓我們嘗試讀取更復雜的 JSON 數據,該數據嵌套了列表和字典,數據文件 nested_mix.json 如下:

nested_mix.json 文件內容

{
    "school_name": "local primary school",
    "class": "Year 1",
    "info": {
      "president": "John Kasich",
      "address": "ABC road, London, UK",
      "contacts": {
        "email": "admin@e.com",
        "tel": "123456789"
      }
    },
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "math": 60,
        "physics": 66,
        "chemistry": 61
    },
    {
        "id": "A002",
        "name": "James",
        "math": 89,
        "physics": 76,
        "chemistry": 51
    },
    {
        "id": "A003",
        "name": "Jenny",
        "math": 79,
        "physics": 90,
        "chemistry": 78
    }]
}

nested_mix.json 文件轉換為 DataFrame:

實例

import pandas as pd
import json

# 使用 Python JSON 模塊載入數據
with open('nested_mix.json','r') as f:
    data = json.loads(f.read())
   
df = pd.json_normalize(
    data,
    record_path =['students'],
    meta=[
        'class',
        ['info', 'president'],
        ['info', 'contacts', 'tel']
    ]
)

print(df)

以上實例輸出結果為:

     id   name  math  physics  chemistry   class info.president info.contacts.tel
0  A001    Tom    60       66         61  Year 1    John Kasich         123456789
1  A002  James    89       76         51  Year 1    John Kasich         123456789
2  A003  Jenny    79       90         78  Year 1    John Kasich         123456789

讀取內嵌數據中的一組數據

以下是實例文件 nested_deep.json,我們只讀取內嵌中的 math 字段:

nested_deep.json 文件內容

{
    "school_name": "local primary school",
    "class": "Year 1",
    "students": [
    {
        "id": "A001",
        "name": "Tom",
        "grade": {
            "math": 60,
            "physics": 66,
            "chemistry": 61
        }
 
    },
    {
        "id": "A002",
        "name": "James",
        "grade": {
            "math": 89,
            "physics": 76,
            "chemistry": 51
        }
       
    },
    {
        "id": "A003",
        "name": "Jenny",
        "grade": {
            "math": 79,
            "physics": 90,
            "chemistry": 78
        }
    }]
}

這里我們需要使用到 glom 模塊來處理數據套嵌,glom 模塊允許我們使用 . 來訪問內嵌對象的屬性。

第一次使用我們需要安裝 glom:

pip3 install glom

實例

import pandas as pd
from glom import glom

df = pd.read_json('nested_deep.json')

data = df['students'].apply(lambda row: glom(row, 'grade.math'))
print(data)

以上實例輸出結果為:

0    60
1    89
2    79
Name: students, dtype: int64
火灭小说网