如何从hdfs读取文件
发布于2020-01-12 06:06 阅读(1185) 评论(0) 点赞(13) 收藏(0)
我在/ project1目录下的hadoop文件系统中有一个文本文件名mr.txt。我需要编写python代码以读取文本文件的第一行，而无需将mr.txt文件下载到本地。但是我无法从hdfs打开mr.txt文件。我尝试过：
open('hdfs:///project1/mr.txt','r') 解决方案
安装PySpark。
text = sc.textFile('hdfs:///project1/mr.txt')
first_line = text.first()
所属网站分类: 技术文章 > 问答
作者：黑洞官方问答小能手
链接：https://www.pythonheidong.com/blog/article/218256/9080b84dc33e6580a0ef/
来源：python黑洞网
任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任
昵称:
评论内容：(最多支持255个字符)
---无人问津也好，技不如人也罢，你都要试着安静下来，去做自己该做的事，而不是让内心的烦躁、焦虑，坏掉你本来就不多的热情和定力