Pyspark - 将 json 字符串转换为 DataFrame

将 JSON 字符串转换为 DataFrame 是在 Pyspark 中进行数据处理和分析的常见任务之一。Pyspark 是 Apache Spark 的 Python API，它提供了强大的工具和库，可以处理大规模的数据集。在本文中，我们将探讨如何使用 Pyspark 将 JSON 字符串转换为 DataFrame，并提供一个实际的案例代码供参考。

python
from pyspark.sql import SparkSession
from pyspark.sql.functions import from_json
from pyspark.sql.types import StructType, StructField, StringType

python
spark = SparkSession.builder \
    .appName("JSON to DataFrame") \
    .getOrCreate()

python
json_string = '''
{
    "name": "John",
    "age": 30,
    "city": "New York"
}
'''

python
schema = StructType([
    StructField("name", StringType(), True),
    StructField("age", StringType(), True),
    StructField("city", StringType(), True)
])

python
df = spark.read \
    .option("multiline", "true") \
    .json(spark.sparkContext.parallelize([json_string]), schema)

python
df.show()

+----+---+--------+
|name|age|    city|
+----+---+--------+
|John| 30|New York|
+----+---+--------+