Pyspark：将列中的 json 分解为多列

使用PySpark分析和处理大型数据集是一种非常强大和高效的方法。在本文中，我们将探讨如何使用PySpark将包含JSON数据的列拆分为多个列。这种技术对于处理具有复杂结构的数据非常有用，例如包含嵌套JSON对象的列。

python
from pyspark.sql import SparkSession
from pyspark.sql.functions import *

python
spark = SparkSession.builder.appName("JSONColumnSplit").getOrCreate()

python
data = spark.read.json("data.json")

python
data = data.select(col("column_name").alias("json_column")) # 将包含JSON数据的列重命名为"json_column"
data = data.select(from_json(col("json_column"), StructType([StructField("field1", StringType()), StructField("field2", IntegerType())])).alias("json_data")) # 使用from_json函数将JSON列拆分为多个列
data = data.select(col("json_data.field1").alias("field1"), col("json_data.field2").alias("field2")) # 选择所需的列

python
data.show()

python
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
# 创建SparkSession对象
spark = SparkSession.builder.appName("JSONColumnSplit").getOrCreate()
# 加载包含JSON数据的数据集
data = spark.read.json("data.json")
# 将包含JSON数据的列重命名为"json_column"
data = data.select(col("column_name").alias("json_column"))
# 使用from_json函数将JSON列拆分为多个列
data = data.select(from_json(col("json_column"), StructType([StructField("field1", StringType()), StructField("field2", IntegerType())])).alias("json_data"))
# 选择所需的列
data = data.select(col("json_data.field1").alias("field1"), col("json_data.field2").alias("field2"))
# 显示拆分后的数据集
data.show()