当前位置：首页 > news >正文

PySpark3：pyspark.sql.functions常见的60个函数

news 文章来源：https://blog.csdn.net/weixin_44458771/article/details/143891101 2025/5/9 12:20:28

一、常见的60个函数

1、col

2、lit

3、sum

4、avg/mean

5、count

6、max

7、min

8、concat

9、substring

10、lower

11、upper

12、trim

13、ltrim

14、rtrim

15、split

16、explode

17、collect_list

18、collect_set

19、asc

20、desc

21、when

22、to_date

23、current_date

24、datediff

25、date_add

26、date_sub

27、year

28、month

29、day

30、cast

31、round

32、ceil

34、coalesce

35、isnull

36、isnotnull

37、like

38、rlike

39、size

40、array_contains

41、element_at

42、array_join

43、struct

44、expr

45、create_map

46、map_keys

47、map_values

48、translate

49、regexp_replace

50、flatten

51、sort_array

52、to_json

53、from_json

54、udf

55、pandas_udf

56、row_number

57、rank

58、dense_rank

59、stddev

60、var_samp

二、总结

一、常见的60个函数

首先创建一个用于测试的DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql import functions as F# 初始化 SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()# 创建一个 DataFrame
data = [("James", "Smith", "USA", "CA", "1999/04/15", 60.86, "football|swimming|playing the guitar", None),("Michael", "Rose", "USA", "NY", "1995/03/01", 80.0, "reading books|gardening|collecting stamps", "phone number:123456"),("Robert", "Williams", None, None, "1997/10/31", 91.0, "photography", " outgoing "),("Maria", "Jones", "USA", "FL", "1991/01/25", 59.5, None, " a diligent student.  ")]
columns = ["firstname", "lastname", "country", "state", "birthday", "score", "hobbies", "remarks"]
df = spark.createDataFrame(data, schema=columns)df.show()'''
+---------+--------+-------+-----+----------+-----+--------------------+--------------------+
|firstname|lastname|country|state|  birthday|score|             hobbies|             remarks|
+---------+--------+-------+-----+----------+-----+--------------------+--------------------+
|    James|   Smith|    USA|   CA|1999/04/15|60.86|football|swimming...|                NULL|
|  Michael|    Rose|    USA|   NY|1995/03/01| 80.0|reading books|gar...| phone number:123456|
|   Robert|Williams|   NULL| NULL|1997/10/31| 91.0|         photography|           outgoing |
|    Maria|   Jones|    USA|   FL|1991/01/25| 59.5|                NULL| a diligent stude...|
+---------+--------+-------+-----+----------+-----+--------------------+--------------------+
'''

1、col

用于通过列名获取列对象，在选择列、进行列相关操作时经常使用。

df.select(F.col("firstname"), F.col("lastname")).show()'''
+---------+--------+
|firstname|lastname|
+---------+--------+
|    James|   Smith|
|  Michael|    Rose|
|   Robert|Williams|
|    Maria|   Jones|
+---------+--------+
'''

有的时候PySpark在内部会将字符串自动转换为Column对象，例如select方法可以接受字符串列表，并且PySpark会将这些字符串解释为DataFrame中的列名，所以可以省略col：

df.select("firstname", "lastname")

但在执行更复杂的操作，如对列进行函数调用或组合列，那么必须使用col：

df.select(F.col("score")+0.5)

2、lit

lit函数用于创建一个包含常量值的Column对象，可以向DataFrame添加常量值或作为条件表达式的一部分。

df.select(F.col("firstname"), F.lit("Member").alias("type"), F.lit(0).alias("number")).show()'''
+---------+------+------+
|firstname|  type|number|
+---------+------+------+
|    James|Member|     0|
|  Michael|Member|     0|
|   Robert|Member|     0|
|    Maria|Member|     0|
+---------+------+------+
'''

3、sum

对指定列进行求和操作，常用于数据分析中计算数值列的总和。

df.select(F.sum("score").alias("score_sum")).show()'''
+---------+
|score_sum|
+---------+
|   291.36|
+---------+
'''

4、avg/mean

计算指定列的平均值。

df.select(F.avg("score").alias("score_avg"),
F.mean("score").alias("score_mean")).show()
'''
+---------+----------+
|score_avg|score_mean|
+---------+----------+
|    72.84|     72.84|
+---------+----------+
'''

5、count

统计行数。

df.select(F.count("*")).show()
'''
+--------+
|count(1)|
+--------+
|       4|
+--------+
'''

6、max

获取指定列中的最大值。

df.select(F.max("score").alias("score_max")).show()
'''
+---------+
|score_max|
+---------+
|     91.0|
+---------+
'''

7、min

获取指定列中的最小值。

df.select(F.min("score").alias("score_min")).show()
'''
+---------+
|score_min|
+---------+
|     59.5|
+---------+
'''

8、concat

用于将多个字符串列或者字符串字面量拼接成一个新的字符串。

df.select((F.concat(F.col("firstname"), F.lit("·"), F.col("lastname"))).alias("fullname")).show()'''
+---------------+
|       fullname|
+---------------+
|    James·Smith|
|   Michael·Rose|
|Robert·Williams|
|    Maria·Jones|
+---------------+
'''

9、substring

从字符串列中截取指定位置和长度的子字符串。

df.select(F.substring("birthday", 1, 4).alias("birthyear")).show()'''
+---------+
|birthyear|
+---------+
|     1999|
|     1995|
|     1997|
|     1991|
+---------+
'''

10、lower

将字符串列中的所有字符转换为小写，常用于文本标准化等场景。

df.select(F.lower("country")).show()'''
+--------------+
|lower(country)|
+--------------+
|           usa|
|           usa|
|          NULL|
|           usa|
+--------------+
'''

11、upper

和lower函数相反，upper将字符串列中的所有字符转换为大写。

df.select(F.upper("firstname")).show()'''
+----------------+
|upper(firstname)|
+----------------+
|           JAMES|
|         MICHAEL|
|          ROBERT|
|           MARIA|
+----------------+
'''

12、trim

去除字符串列两端的空白字符（空格、制表符等），清理输入文本时常用。

df.select(F.trim("remarks")).show()'''
+-------------------+
|      trim(remarks)|
+-------------------+
|               NULL|
|phone number:123456|
|           outgoing|
|a diligent student.|
+-------------------+
'''

13、ltrim

只去除字符串列左边的空白字符。

df.select(F.ltrim("remarks")).show()'''
+--------------------+
|      ltrim(remarks)|
+--------------------+
|                NULL|
| phone number:123456|
|           outgoing |
|a diligent studen...|
+--------------------+
'''

14、rtrim

只去除字符串列左边的空白字符。

df.select(F.rtrim("remarks")).show()'''
+--------------------+
|      rtrim(remarks)|
+--------------------+
|                NULL|
| phone number:123456|
|            outgoing|
| a diligent student.|
+--------------------+
'''

15、split

按照指定分隔符将字符串列分割成数组。

df = df.withColumn("hobby_list",F.split("hobbies", "\|"))
df.select("hobby_list").show()'''
+--------------------+
|          hobby_list|
+--------------------+
|[football, swimmi...|
|[reading books, g...|
|       [photography]|
|                NULL|
+--------------------+
'''

16、explode

将包含数组的列展开，每行对应数组中的一个元素，常用于处理一对多的数据关系。

df.select("firstname", F.explode("hobby_list")).show()'''
+---------+------------------+
|firstname|               col|
+---------+------------------+
|    James|          football|
|    James|          swimming|
|    James|playing the guitar|
|  Michael|     reading books|
|  Michael|         gardening|
|  Michael| collecting stamps|
|   Robert|       photography|
+---------+------------------+
'''

17、collect_list

将指定列的值收集成一个列表（数组），常用于分组后把某列的值聚合起来。

df.groupBy("country").agg(F.collect_list("firstname")).show()'''
+-------+-----------------------+
|country|collect_list(firstname)|
+-------+-----------------------+
|    USA|   [James, Michael, ...|
|   NULL|               [Robert]|
+-------+-----------------------+
'''

18、collect_set

类似collect_list，不过它会去除重复元素，将指定列的值收集成一个去重后的集合（数组）。

df.groupBy("country").agg(F.collect_set("firstname")).show()'''
+-------+----------------------+
|country|collect_set(firstname)|
+-------+----------------------+
|    USA|  [Maria, Michael, ...|
|   NULL|              [Robert]|
+-------+----------------------+
'''

19、asc

指定升序排序，但其实升序是默认的，也可以不指定。

df.select("firstname","score").orderBy(F.asc("score")).show()'''
+---------+-----+
|firstname|score|
+---------+-----+
|    Maria| 59.5|
|    James|60.86|
|  Michael| 80.0|
|   Robert| 91.0|
+---------+-----+
'''

20、desc

指定降序排序。

df.select("firstname","score").orderBy(F.desc("score")).show()'''
+---------+-----+
|firstname|score|
+---------+-----+
|   Robert| 91.0|
|  Michael| 80.0|
|    James|60.86|
|    Maria| 59.5|
+---------+-----+
'''

21、when

用于实现类似条件判断的操作，构建条件表达式来生成新列或者更新列值。

类似于SQL中的“case when … then … when … then … else … end”结构。

df.select("score", F.when(F.col("score") >= 90, "Grade A")\
.when(F.col("score") >= 80, "Grade B")\
.when(F.col("score") >= 70, "Grade C")\
.when(F.col("score") >= 60, "Grade D")\
.otherwise("Grade E").alias("grade")).show()'''
+-----+-------+
|score|  grade|
+-----+-------+
|60.86|Grade D|
| 80.0|Grade B|
| 91.0|Grade A|
| 59.5|Grade E|
+-----+-------+
'''

22、to_date

将字符串类型的日期数据转换为日期格式，方便后续日期相关运算

df = df.withColumn("birthday", F.to_date("birthday", "yyyy/MM/dd"))
df.select("birthday").show()'''
+----------+
|  birthday|
+----------+
|1999-04-15|
|1995-03-01|
|1997-10-31|
|1991-01-25|
+----------+
'''

23、current_date

获取当前的日期。

df.select(F.current_date()).show()'''
+--------------+
|current_date()|
+--------------+
|    2024-11-20|
|    2024-11-20|
|    2024-11-20|
|    2024-11-20|
+--------------+
'''

24、datediff

计算两个日期列之间的天数差值。

df.select(F.datediff(F.current_date(), "birthday")).show()'''
+----------------------------------+
|datediff(current_date(), birthday)|
+----------------------------------+
|                              9351|
|                             10857|
|                              9882|
|                             12353|
+----------------------------------+
'''

25、date_add

在指定日期列基础上增加一定天数。

df.select("birthday", F.date_add("birthday", 1)).show()'''
+----------+---------------------+
|  birthday|date_add(birthday, 1)|
+----------+---------------------+
|1999-04-15|           1999-04-16|
|1995-03-01|           1995-03-02|
|1997-10-31|           1997-11-01|
|1991-01-25|           1991-01-26|
+----------+---------------------+
'''

26、date_sub

和date_add相反，date_sub是在指定日期列基础上减去一定天数。

df.select("birthday", F.date_sub("birthday", 1)).show()'''
+----------+---------------------+
|  birthday|date_sub(birthday, 1)|
+----------+---------------------+
|1999-04-15|           1999-04-14|
|1995-03-01|           1995-02-28|
|1997-10-31|           1997-10-30|
|1991-01-25|           1991-01-24|
+----------+---------------------+
'''

27、year

从日期列中提取年份部分。

df.select(F.year("birthday")).show()'''
+--------------+
|year(birthday)|
+--------------+
|          1999|
|          1995|
|          1997|
|          1991|
+--------------+
'''

28、month

提取日期列中的月份部分。

df.select(F.month("birthday")).show()'''
+---------------+
|month(birthday)|
+---------------+
|              4|
|              3|
|             10|
|              1|
+---------------+
'''

29、day

提取日期列中的日部分。

df.select(F.day("birthday")).show()'''
+-------------+
|day(birthday)|
+-------------+
|           15|
|            1|
|           31|
|           25|
+-------------+
'''

30、cast

用于数据类型转换，比如把时间类型转成字符串类型。

df.select(F.cast('string',F.col("birthday")).alias("birthday_str")).show()'''
+------------+
|birthday_str|
+------------+
|  1999-04-15|
|  1995-03-01|
|  1997-10-31|
|  1991-01-25|
+------------+
'''

或者，也可使用Column对象的绑定方法：

df.select(F.col("birthday").cast("string").alias("birthday_str")).show()

31、round

对数值列进行四舍五入操作，指定保留的小数位数。

df.select(F.round("score", 1), F.round("score", -1)).show()'''
+---------------+----------------+
|round(score, 1)|round(score, -1)|
+---------------+----------------+
|           60.9|            60.0|
|           80.0|            80.0|
|           91.0|            90.0|
|           59.5|            60.0|
+---------------+----------------+
'''

32、ceil

向上取整，对数值列取大于等于它的最小整数。

df.select(F.ceil("score")).show()'''
+-----------+
|CEIL(score)|
+-----------+
|         61|
|         80|
|         91|
|         60|
+-----------+
'''

33、floor

向下取整，对数值列取小于等于它的最小整数。

df.select(F.floor("score")).show()'''
+------------+
|FLOOR(score)|
+------------+
|          60|
|          80|
|          91|
|          59|
+------------+
'''

34、coalesce

从多个列中选择第一个非空值的列作为结果列，常用于处理可能存在空值替换的情况。

df.select(F.coalesce("hobbies", "remarks")).show()'''
+--------------------------+
|coalesce(hobbies, remarks)|
+--------------------------+
|      football|swimming...|
|      reading books|gar...|
|               photography|
|       a diligent stude...|
+--------------------------+
'''

也可以使用nvl（只能传入两列）、nvl2（只能传入三列），相比之下，还是coalesce函数（不限制列数）更好用一些。

35、isnull

判断列中的值是否为 null，常配合条件判断使用，比如筛选出某列值为 null 的行。

df.filter(F.isnull("hobbies")).show()'''
+---------+--------+-------+-----+----------+-----+-------+--------------------+
|firstname|lastname|country|state|  birthday|score|hobbies|             remarks|
+---------+--------+-------+-----+----------+-----+-------+--------------------+
|    Maria|   Jones|    USA|   FL|1991/01/25| 59.5|   NULL| a diligent stude...|
+---------+--------+-------+-----+----------+-----+-------+--------------------+
'''

36、isnotnull

df.filter(F.isnotnull("hobbies")).show()'''
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
|firstname|lastname|country|state|  birthday|score|             hobbies|            remarks|
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
|    James|   Smith|    USA|   CA|1999/04/15|60.86|football|swimming...|               NULL|
|  Michael|    Rose|    USA|   NY|1995/03/01| 80.0|reading books|gar...|phone number:123456|
|   Robert|Williams|   NULL| NULL|1997/10/31| 91.0|         photography|          outgoing |
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
'''

37、like

用于字符串的模糊匹配，类似 SQL 中的 LIKE 操作符。

df.select(F.col("firstname").like("J%"))
'''
+-----------------+
|firstname LIKE J%|
+-----------------+
|             true|
|            false|
|            false|
|            false|
+-----------------+
'''df.filter(F.col("firstname").like("J%")).show()
'''
+---------+--------+-------+-----+----------+-----+--------------------+-------+
|firstname|lastname|country|state|  birthday|score|             hobbies|remarks|
+---------+--------+-------+-----+----------+-----+--------------------+-------+
|    James|   Smith|    USA|   CA|1999/04/15|60.86|football|swimming...|   NULL|
+---------+--------+-------+-----+----------+-----+--------------------+-------+
'''

38、rlike

使用正则表达式进行字符串匹配，更灵活地进行文本匹配筛选。

df.filter(F.col("remarks").rlike(".*[0-9].*")).show()
'''
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
|firstname|lastname|country|state|  birthday|score|             hobbies|            remarks|
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
|  Michael|    Rose|    USA|   NY|1995/03/01| 80.0|reading books|gar...|phone number:123456|
+---------+--------+-------+-----+----------+-----+--------------------+-------------------+
'''

39、size

用于获取数组列中元素的个数，若为Null值则返回-1。

df.select("hobby_list",F.size("hobby_list")).show()'''
+--------------------+----------------+
|          hobby_list|size(hobby_list)|
+--------------------+----------------+
|[football, swimmi...|               3|
|[reading books, g...|               3|
|       [photography]|               1|
|                NULL|              -1|
+--------------------+----------------+
'''

40、array_contains

判断数组列中是否包含指定元素。

df.filter(F.array_contains("hobby_list", "football")).show()'''
+---------+--------+-------+-----+----------+-----+--------------------+-------+--------------------+
|firstname|lastname|country|state|  birthday|score|             hobbies|remarks|          hobby_list|
+---------+--------+-------+-----+----------+-----+--------------------+-------+--------------------+
|    James|   Smith|    USA|   CA|1999-04-15|60.86|football|swimming...|   NULL|[football, swimmi...|
+---------+--------+-------+-----+----------+-----+--------------------+-------+--------------------+
'''

41、element_at

从数组列中获取指定位置的元素，比如获取列表中的第2个因元素。若没有第二个元素，则返回Null值。

df.select(F.element_at("hobby_list", 2)).show()'''
+-------------------------+
|element_at(hobby_list, 2)|
+-------------------------+
|                 swimming|
|                gardening|
|                     NULL|
|                     NULL|
+-------------------------+
'''

42、array_join

将数组列中的元素用指定分隔符拼接成字符串，用法与split函数相反。

df.select(F.array_join("hobby_list", "|")).show()'''
+-------------------------+
|array_join(hobby_list, |)|
+-------------------------+
|     football|swimming...|
|     reading books|gar...|
|              photography|
|                     NULL|
+-------------------------+
'''

43、struct

用于创建包含多个字段的结构体列，常用于嵌套数据结构的构建，例如把姓名和出生年月组合成一个结构体列。

df = df.withColumn("person_info", F.struct(F.col("firstname"), F.col("lastname"), F.col("birthday")))
df.select("person_info").show()'''
+--------------------+
|         person_info|
+--------------------+
|{James, Smith, 19...|
|{Michael, Rose, 1...|
|{Robert, Williams...|
|{Maria, Jones, 19...|
+--------------------+
'''

44、expr

允许用户以字符串的形式编写 SQL 表达式，并将其应用到 DataFrame 上。

df.select(F.expr("person_info.firstname")).show()'''
+---------+
|firstname|
+---------+
|    James|
|  Michael|
|   Robert|
|    Maria|
+---------+
'''

或者，也可使用以下代码，作用相同：

df.selectExpr("person_info.firstname").show()

45、create_map

创建一个键值对形式的映射（字典）列。

df = df.withColumn("person_map", F.create_map(F.col("firstname"), F.col("birthday")))
df.select("person_map").show()'''
+--------------------+
|         person_map|
+--------------------+
|{James -> 1999-04...|
|{Michael -> 1995-...|
|{Robert -> 1997-1...|
|{Maria -> 1991-01...|
+--------------------+
'''

46、map_keys

获取映射列中所有的键组成的数组。

df.select(F.map_keys("person_map")).show()'''
+--------------------+
|map_keys(person_map)|
+--------------------+
|             [James]|
|           [Michael]|
|            [Robert]|
|             [Maria]|
+--------------------+
'''

47、map_values

获取映射列中所有的键组成的数组。

df.select(F.map_values("person_map")).show()'''
+----------------------+
|map_values(person_map)|
+----------------------+
|          [1999-04-15]|
|          [1995-03-01]|
|          [1997-10-31]|
|          [1991-01-25]|
+----------------------+
'''

48、translate

根据给定的字符映射关系来替换字符串中的字符。

df.select(F.translate("remarks", "123456", "#")).show()'''
+-----------------------------+
|translate(remarks, 123456, #)|
+-----------------------------+
|                         NULL|
|               phone number:#|
|                    outgoing |
|          a diligent stude...|
+-----------------------------+
'''

49、regexp_replace

按照指定的正则表达式模式来替换字符串中的内容，例如把一个文本列中所有的数字替换为#符号。

df.select(F.regexp_replace("remarks", "\\d", "#")).show()'''
+---------------------------------+
|regexp_replace(remarks, \d, #, 1)|
+---------------------------------+
|                             NULL|
|              phone number:######|
|                        outgoing |
|              a diligent stude...|
+---------------------------------+
'''

50、flatten

将一个数组（Array）类型的列转换为一个包含所有元素的扁平化列表，常用于处理嵌套结构的数据。

df = df.withColumn("array", F.lit([[1,2], [3,4]]))
df.select(F.flatten("array")).show()'''
+--------------+
|flatten(array)|
+--------------+
|  [1, 2, 3, 4]|
|  [1, 2, 3, 4]|
|  [1, 2, 3, 4]|
|  [1, 2, 3, 4]|
+--------------+
'''

51、sort_array

对数组类型的列按照元素的值进行排序，可以指定升序或者降序等排序规则。

df.select(F.sort_array(F.flatten("array"), asc=False)).show()'''
+---------------------------------+
|sort_array(flatten(array), false)|
+---------------------------------+
|                     [4, 3, 2, 1]|
|                     [4, 3, 2, 1]|
|                     [4, 3, 2, 1]|
|                     [4, 3, 2, 1]|
+---------------------------------+
'''

52、to_json

将结构化的数据（如StructType结构的数据）转换为JSON格式的字符串，方便存储或者传输等操作。

df = df.withColumn("json_string", F.to_json("person_info"))
df.select("json_string").show()'''
+--------------------+
|         json_string|
+--------------------+
|{"firstname":"Jam...|
|{"firstname":"Mic...|
|{"firstname":"Rob...|
|{"firstname":"Mar...|
+--------------------+
'''

53、from_json

将包含JSON格式字符串的列解析转换为相应的结构化数据类型（比如StructType等），便于后续进一步处理其中的字段数据。

from pyspark.sql.types import StructType, StructField, StringType, DateType 
json_schema = StructType([StructField("firstname", StringType(), True),StructField("lastname", StringType(), True),StructField("birthday", DateType(), True)
])
df.select(F.from_json("json_string", json_schema)).show()'''
+----------------------+
|from_json(json_string)|
+----------------------+
|  {James, Smith, 19...|
|  {Michael, Rose, 1...|
|  {Robert, Williams...|
|  {Maria, Jones, 19...|
+----------------------+
'''

54、udf

用于创建一个自定义函数，将其应用到DataFrame的每一行上。

def get_grade(score):if score >= 90:return "Grade A"elif score >= 80:return "Grade B"elif score >= 70:return "Grade C"elif score >= 60:return "Grade D"else:return "Grade E"get_grade_udf = F.udf(get_grade, StringType())
df.select("score", get_grade_udf("score")).show()'''
+-----+----------------+
|score|get_grade(score)|
+-----+----------------+
|60.86|         Grade D|
| 80.0|         Grade B|
| 91.0|         Grade A|
| 59.5|         Grade E|
+-----+----------------+
'''

55、pandas_udf

pandas_udf是PySpark中提供的一种机制，允许使用pandas库的高效数据处理能力来定义用户自定义函数，相较于普通的udf，pandas_udf利用了pandas在向量化计算等方面的优势，在处理大数据量时往往能有更好的性能表现。

@F.pandas_udf(StringType())
def get_grade_pandas_udf(score_series: pd.Series) -> pd.Series:result_series = score_series.apply(get_grade)return result_seriesdf.select("score", get_grade_pandas_udf(F.col("score"))).show()'''
+-----+---------------------------+
|score|get_grade_pandas_udf(score)|
+-----+---------------------------+
|60.86|                    Grade D|
| 80.0|                    Grade B|
| 91.0|                    Grade A|
| 59.5|                    Grade E|
+-----+---------------------------+
'''

56、row_number

用于分配一个唯一的序号给 DataFrame 中的每一行，通常在窗口函数的上下文中使用。

from pyspark.sql import Window
windowSpec = Window.partitionBy("country").orderBy(F.desc("score"))df = df.union(df.limit(1))
df.select("country", "score", F.row_number().over(windowSpec).alias("rn")).sort("country","rn").show()'''
+-------+-----+---+
|country|score| rn|
+-------+-----+---+
|   NULL| 91.0|  1|
|    USA| 80.0|  1|
|    USA|60.86|  2|
|    USA|60.86|  3|
|    USA| 59.5|  4|
+-------+-----+---+
'''

57、rank

与row_number()类似，也是用于排名，但在遇到相同值时会分配相同的排名，并且下一个排名会出现 “空位”，即排名间断。

df.select("country", "score", F.rank().over(windowSpec).alias("rank")).sort("country","rank").show()'''
+-------+-----+----+
|country|score|rank|
+-------+-----+----+
|   NULL| 91.0|   1|
|    USA| 80.0|   1|
|    USA|60.86|   2|
|    USA|60.86|   2|
|    USA| 59.5|   4|
+-------+-----+----+
'''

58、dense_rank

同样用于排名，在遇到相同值时分配相同排名，不过下一个排名是连续的，不会出现 “空位”。

df.select("country", "score", F.dense_rank().over(windowSpec).alias("dense_rank")).sort("country","dense_rank").show()'''
+-------+-----+----------+
|country|score|dense_rank|
+-------+-----+----------+
|   NULL| 91.0|         1|
|    USA| 80.0|         1|
|    USA|60.86|         2|
|    USA|60.86|         2|
|    USA| 59.5|         3|
+-------+-----+----------+'''

59、stddev

计算指定列数值的总体标准差，可用于分析数据的离散程度。

df.select(F.stddev("score")).collect()[0][0]
'''
14.29461017306873
'''

60、var_samp

用于计算指定列数据的样本方差，反映数据的离散情况。另外var_pop用于计算总体方差。

df.select(F.var_samp("score")).collect()[0][0]
'''
204.33588000000003
'''

二、总结

pyspark.sql.functions中的这些函数为用户在数据处理、分析和转换等方面提供了丰富的工具，能够满足各种复杂的数据处理需求，熟练掌握这些函数将大大提高在 PySpark 环境下处理大数据的效率和能力。无论是简单的数据清洗还是复杂的数据分析任务，都可以从中找到合适的函数来完成。

一、常见的60个函数

1、col

2、lit

3、sum

4、avg/mean

5、count

6、max

7、min

8、concat

9、substring

10、lower

11、upper

12、trim

13、ltrim

14、rtrim

15、split

16、explode

17、collect_list

18、collect_set

19、asc

20、desc

21、when

22、to_date

23、current_date

24、datediff

25、date_add

26、date_sub

27、year

28、month

29、day

30、cast

31、round

32、ceil

34、coalesce

35、isnull

36、isnotnull

37、like

38、rlike

39、size

40、array_contains

41、element_at

42、array_join

43、struct

44、expr

45、create_map

46、map_keys

47、map_values

48、translate

49、regexp_replace

50、flatten

51、sort_array

52、to_json

53、from_json

54、udf

55、pandas_udf

56、row_number

57、rank

58、dense_rank

59、stddev

60、var_samp

二、总结

相关文章：