python读写hdfs文件的实用解决方案

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了python写hdfs文件的实用解决方案，希望能对新手有所帮助。

1. 背景介绍

  由于近期涉及到读写hdfs文件，尤其是写入hdfs文件，一般的做法是先写入服务器，再使用put命令或者脚本代码将其放入到hdfs中。但是如此一来，单步的写入操作就需要分成两步来做，甚至还要再将写入服务器的文件进行删除，就显得非常笨拙。所以需要研究能否直接写入hdfs文件。