XML解析大文件处理技巧：无线配置日志也能轻松搞定

家里路由器换了新固件，导出的配置日志是个几百兆的XML文件，想查点信息结果电脑卡得打不开？别急，这问题我之前也踩过坑。大文件直接用DOM加载，内存分分钟爆掉，其实有更聪明的办法。

别再用DOM一次性加载了

很多人习惯用DOM解析XML，写法简单，但一碰到大文件就歇菜。比如你从网关设备导出的网络拓扑记录，动不动几十万行，全读进内存，轻则卡顿，重则程序崩溃。这时候就得换思路——用流式解析。

推荐用SAX或StAX逐行处理

SAX是事件驱动的，边读边处理，内存占用基本稳定。比如你想从一个巨大的设备配置XML里找某台IP为192.168.1.100的摄像头设置，完全不需要加载整个文件。

import xml.sax

class DeviceHandler(xml.sax.ContentHandler):
    def __init__(self):
        self.current_ip = ''
        self.in_ip_tag = False

    def startElement(self, name, attrs):
        if name == 'device':
            self.current_ip = ''
        if name == 'ip':
            self.in_ip_tag = True

    def characters(self, content):
        if self.in_ip_tag:
            self.current_ip += content

    def endElement(self, name):
        if name == 'ip':
            self.in_ip_tag = False
        if name == 'device' and '192.168.1.100' in self.current_ip:
            print('找到目标设备IP:', self.current_ip.strip())

xml.sax.parse('huge_network_config.xml', DeviceHandler())

上面这段Python代码，哪怕文件有1GB，内存也就用几十MB。适合在树莓派这类小设备上跑，用来分析家庭网络日志正合适。

也可以试试命令行工具快速提取

如果你只是临时查个字段，不想写代码，可以用xmlstarlet这种命令行工具。比如筛选所有启用DHCP的节点：

xmlstarlet sel -t -m '//node[service="dhcp"]' -v 'name' -n huge_config.xml

安装简单，Debian系系统一条sudo apt install xmlstarlet就行，适合运维时快速排查。

拆分大文件也是个实用招

有些老系统不支持流式处理，那就提前把大XML拆成小块。比如按<record>标签切分，每1000条存一个文件。用脚本跑一遍，后续处理就轻松多了。

家里的智能网关每天生成日志，时间久了XML堆成山，学会这些方法，查个连接记录再也不用等半天了。