程序员最近都爱上了这个网站  程序员们快来瞅瞅吧！  it98k网:it98k.com

我有一张桌子

--------------------|
Val
--------------------|
1, M A ,HELLO,WORLD |
2, M 1A,HELLO WORLD |
---------------------

我想拆分上面的数据框，以便它包含下面的三列。

----------------------
a | b   | c          |
----------------------
1 | M A | HELLO,WORLD|
1 | M 1A| HELLO WORLD|
----------------------

I have used the below code, but it does not work as expected. Is there a way to contain all characters after 5 characters in column c, etc. and character 2-5 in column b?

df = df.withColumn('Splitted', F.split(hadf37dr_df['Val'], ',')).withColumn('a', F.col('Splitted')[0]).withColumn('b', F.col('Splitted')[1]).withColumn('c', F.col('Splitted')[2])

解决方案

如果你想在PySpark中这样做，你需要F.concat_ws连接列表的元素并将其作为字符串返回，你需要F.slice将列表的元素从'head'中切片为指定的'length'。因为您需要设置长度，所以您需要F.size可以拥有的数组的大小。

(
    df
    .withColumn('Splitted', F.split(df['val'], ','))
    .withColumn('a', F.col('Splitted')[0])
    .withColumn('b', F.col('Splitted')[1])
    .withColumn(
        'c',
        F.concat_ws(
            ',',
            F.slice('Splitted', 3,  F.size('Splitted') - 2)))
).show()

输出：

+-------------------+--------------------+---+-----+-----------+
|                val|            Splitted|  a|    b|          c|
+-------------------+--------------------+---+-----+-----------+
|1, M A ,HELLO,WORLD|[1,  M A , HELLO,...|  1| M A |HELLO,WORLD|
|2, M 1A,HELLO WORLD|[2,  M 1A, HELLO ...|  2| M 1A|HELLO WORLD|
+-------------------+--------------------+---+-----+-----------+