基于R语言的自动数据收集：网络抓取和文本挖掘实用指南【1.7】

3.5 XML和R的实践现在让我们转到实际例子。XML文件在R会话中如何查看、如何导入、如何访问以及如何把来自XML文档的信息转化为更便于进一步图形化或统计化分析的数据结构例如常规的数据框data frame呢正如我们前面讲到的XML文件可以在所有的文本编辑器和浏览器中打开和查看。不过文本编辑器通常会原封不动地使用XML文件而现代浏览器则会自动解析它并尝试表达它的结构。当XML文档不合法的时候这个过程就会失败。在这种情况下浏览器可能会通报解析失败的原因例如因为某一行的开放和闭合标签不匹配。从这个角度说浏览器对于检查XML是否结构良好是个不错的工具。在标准的网络抓取任务中我们通常不会逐个文件查看XML文档而是在第一步下载它们然后在第二步把它们导入我们的R工作区里参见第9章。3.5.1 解析XML我们解析XML的原因和解析HTML网页的原因是一样的参见2.4.1节也就是对XML文件产生一个能保留原结构的表征据此能够从这些文件中进行简单的信息提取。类似于在HTML解析所在的小节里概述的内容解析XML的过程实质上包括两个步骤。首先组成XML文件的符号序列会被读取并从元素中创建层次化的C语言树形数据结构其次这个数据结构会通过使用处理器翻译为R语言的数据结构。我们用来导入和解析XML文档的组件名副其实就叫作XMLTemple Lang 2013c。采用XML组件我们就能读取、查找和创建XML文档——虽然我们只关心前两个任务。让我们来看看如何把XML文件加载到R里。对于XML文件的DOM风格解析法可以使用xmlParse函数。该函数的参数和htmlParse的大致相同。我们利用technology.xml来帮助描述这个过程该XML文件中存放了三个技术公司的股票信息。文档开始的几行如图3-6所示。正如我们所见该文件包括股票信息例如当天的收盘价、最低价、最高价、成交量。要用R读取这个XML树我们可以把文件路径传递给xmlParse的file参数xmlParse函数用于解析XML文档。[1]解析函数提供了一组选项它们在大部分情况下可以忽略但仍然是值得了解的。通过设置这些选项可以把输入内容当作XML而不是文件名asText选项确定每个节点需要提供的是命名空间URI和前缀两个参数还是只需要前缀就可以了fullNamespaceInfo选项确定解析的是否是XML模式isSchema选项或者是否用一个DTD去校验XMLvalidate选项等。让我们更详细地讨论一下最后这个选项。虽然HTML和XML在大部分情况下是非常相似的它们还是存在一个值得注意的差别那就是XML受限于一套严格得多的规范规则。正如我们在3.3节所见合法的XML不仅必须是结构良好的也就是说标签必须闭合属性值必须用引号括起来等等而且还必须符合其DTD中的规范。要检查文档是否遵循了规范可以通过设置validate参数为TRUE来引入DOM创建后的校验步骤。我们尝试用相关的外部technologystocks.dtd参见图3-7对technology.xml进行校验该DTD存放在我们的文件夹中并在XML文件的第二行引用参见图3-6这个XML没有不符合规范的地方校验成功了。为了演示在XML不符合给定DTD时会发生的情况我们修改了DTD让文档节点不再有定义。结果是XML文件不再符合该损坏的DTD校验函数提出了一个错误总而言之用DTD、XSD或其他模式进行XML校验时它相对笨重的逻辑不应该阻挡你充分利用XML的DOM结构的力量。在大部分数据抓取的情况下校验文件是没有必要的我们可以直接对它们进行原样处理。3.5.2 对XML文档的基本操作一旦XML文档被解析好了我们就可以使用一套XML组件里的函数访问它的内容。即使要推荐使用更加通用可靠的XPath来从XML文档中查找和抽取信息在这里我们还是要介绍一些适用于不那么复杂的XML文档的基本操作。要了解它们是如何起作用的。让我们回到原先的实际例子先解析一下bond.xml文件当我们在控制台输入bond时控制台的输出看起来和原始XML文件非常相似。不过我们知道bond对象里面无非一些纯文本数据而已。例如我们可以对根元素进行一些基本操作。顶级节点可以用xmlRoot函数提取出来xmlName和xmlSize则返回这个root元素的名字和子节点数在节点集中基本的导航或子集操作和在R中对普通列表的索引操作是类似的。也就是说我们可以使用数字序号或名字作为索引来选择特定的节点。这对于用xmlParse产生的XMLInternalDocument类对象则不适用了。所以我们对属于XMLInternalElementNode类的root对象进行操作。用“1”作为谓语predicate进行索引会得到第一个子节点我们必须使用双重方括号来访问内部节点。通过增加另一个索引项我们可以继续深入节点树并提取出第一个子节点的第一个子节点元素名也可以作为谓语。使用双重方括号得到节点树的第一个元素单个方括号则返回XMLInternalNodeList类的对象。要查看两者的差别可以作如下比较名字和序号也可以结合使用。要返回第一个name元素的原子值我们可以编写如下代码按照上面的方式对象的结构保持得很好可以用来定位元素及其值。不过通过上面这种普通谓语来查找XML文件中的内容是相当复杂、易于出错而且极不方便的。此外这种方法没有利用节点之间的关系——这可是被解析的XML文档的核心特性。对任何真心想分析XML数据的同学来说有充分的理由好好学习XPath这个非常强大的查询语言。我们会在第4章讲解如何运用这项技术。总而言之这里涉及的所有方法和规则也都适用于其他基于XML的语言。解析器并不关心文档的名字和结构只要代码是合法的就可以了。因此类似于之前介绍的RSS样本代码也可以很容易地导入3.5.3 从XML获取数据框或列表有时候把整个XML对象转换为如向量、数据框或列表这样的普通R数据结构就够用了。XML组件提供了一些相应的函数在原始结构不是太复杂的情况下可以干脆利落地完成这样的操作。单个向量的提取可以用xmlSApply完成这是一个lapply和sapply的包裹函数用于处理给定XML节点的子节点。该函数对一个XML节点作为第一个参数传递进行操作对其子节点调用任何给定的函数作为第二个参数传递并通常返回一个向量。我们可以把这个函数与xmlValue和xmlGetAttr以及其他函数详见表4-4配套使用来提取元素或属性值只要XML文档在层次关系上是扁平的也就是说离根节点最远的亲属节点是其孙子节点或子节点它们就能用xmlToDataFrame很轻松地转换为数据框不过请注意这样的函数调用在actor元素上出现了问题该元素是里面只有两个属性的空元素。因此在data.frame对象里对应的变量是空的对此只能耸肩表示无语。相类似用xmlToList把XML转换成一个列表也是可以的XML和类似于JSON的其他数据交换格式能够存放比前面例子复杂得多的数据结构。这就是它们在网络上的数据交换方面如此强大的原因。强制把这些结构转换为一个普通的数据框会带来一定的成本——复杂的数据转换任务或信息的丢失。说到xmlToDataFrame对于它的名字所宣称能完成的任务它也并非万能函数。相反在这种情况下我们往往不得不自行开发和应用相关的提取函数。3.5.4 事件驱动的解析虽然解析3.5.1节里的XML样本文件在R里很快就能处理好但是更大的文件会产生工作内存超负荷以及随之而来的数据管理问题。作为一种主要针对跨服务传递数据的格式XML文件通常比HTML文件大得多。在很多情况下文件大小会超过普通桌面和笔记本PC的内存容量。这个问题在涉及数据流时更为严重在这种情况下XML数据是逐步抵达的。这些应用需求就不适用我们在本章及第2章使用的基于DOM的解析方式而是需要更具迭代风格的方法。产生这个问题的根源在于DOM风格的解析器处理和存放信息的方式。解析器产生给定XML文件的两个副本——一个作为C语言级别节点集第二个作为R语言的数据结构。要检测XML文件里的特定元素我们也可以通过采用一个叫事件驱动的解析或SAX解析即用于XML的简单接口Simple API for XML的解析技术来应对这种问题。事件驱动的解析和DOM风格解析的差别在于它跳过了在C语言级别创建完整DOM的步骤。相反事件驱动的解析器会顺序遍历XML文件一旦它们发现了某个感兴趣的特定元素就会触发一个实时的、用户定义的对该事件的反应。这个步骤让它相对DOM风格解析器具有了一个巨大的优势因为电脑内存永远不需要容纳整个文档。让我们再看一下technology.xml以及提取有关Apple公司股票的信息提取问题。假设我们要获取Apple的每日收盘价及其日期。同样我们利用处理器函数描述如何处理感兴趣的节点。类似于2.4.3节讨论的数据提取问题我们把处理器定义为一个嵌套函数把它和一个引用环境和容器变量组合在一起参见图3-8。branchFun定义了两个局部变量container_close和container_date它们在这里就作为容器变量。因为我们是对Apple的股票信息感兴趣我们建议采用下面的方法首先为Apple节点定义一个处理器函数代码第6、8行。在这些元素中我们再去找到它们的子节点中名字为date和close的节点并返回它们的值代码第7、9行。另外还定义了一个返回函数getContainer代码第12行它把容器变量的内容组合成一个数据框并返回这个对象。要创建一个可用的处理器函数实例我们执行上面定义的函数并把它的返回值传递给一个叫h5的新对象现在一切就绪我们可以利用XML组件里的xmlEventParse函数对technology.xml文件运行该SAX解析器。这次我们会把处理器函数传给branches参数而不是handlers参数。branches参数是handlers的更通用的版本它能够为整个节点的内容包括其子节点指定函数。这恰恰是我们手头的任务所需要的因为在处理器函数h5里我们已经在利用xmlChildren函数来查找子节点的信息了。此外对于handlers参数我们需要传递一个空列表要了解迭代遍历文档的过程你可以去掉解析器第10行的注释符号并返回该SAX解析器。最终要从本地环境获取信息我们可以调用getStore函数并把得到的内容赋值给一个新的对象为了验证解析过程是否成功我们来显示一下返回数据框的前5行正如我们所见事件驱动的解析是有效的它返回了正确的信息。不过我们不推荐用户把这种风格的解析方式作为从XML文档获取数据的优先手段。虽然事件驱动的解析在速度方面超过了DOM风格的解析而且在处理超级大的XML文件的情况下它有可能是唯一可行的方法但是它需要大量的代码还需要对R函数和环境具备较多的背景知识。因此对于在本书中处理的中小型文档后几章还是会专注于通过XPath查询语言提供的DOM风格的解析和提取方法参见第4章。[1] XML组件提供了一套其他的XML解析函数即xmlTreeParse()、xmlInternalTreeParse()、xmlNativeTree-Parse()还有xmlEventParse()。正如其名字所暗示的它们在XML树的解析方式上有所不同。xmlInternal-TreeParse()和xmlNativeTreeParse()等同于xmlParse()。此外所有这些函数都接近等同于xmlTreeParse()除了后者自动依赖于内部节点useInternalNodes参数设为TRUE。