矩阵补全因果推断：破解贸易政策评估中的内生性与异质性难题

1. 项目概述当因果推断遇上贸易政策评估的“硬骨头”做贸易政策评估的同行都知道这事儿有多棘手。你想啊一个国家签了个自由贸易协定FTA几年后出口额涨了你怎么知道这增长里有多少是协定带来的有多少是全球经济复苏、汇率变化或者企业自身努力的结果传统的计量方法比如双重差分法DID总绕不开两个核心难题内生性选择和非平行趋势。谈判代表们可不是闭着眼睛随机选产品放进协定的他们往往倾向于选择那些本来就更有竞争力、增长潜力更大的行业。这就好比你要评估一个新肥料的效果却偏偏把肥料都撒在了原本就最肥沃的那几块田里结果当然有偏误。另一方面被纳入协定的产品和没被纳入的产品它们的发展趋势在协定生效前就可能不一样了这直接动摇了DID方法的基石假设。我最近深度研究并实践了一种方法感觉像是为这类问题量身打造了一把新钥匙基于矩阵补全Matrix Completion的因果机器学习方法。这个项目的核心就是用这把钥匙去打开评估《欧盟-加拿大全面经济贸易协定》CETA对法国出口影响这扇门。我们手头有法国海关提供的2015年至2018年月度全量出口数据颗粒度细到企业、产品和目的地。目标很明确在承认产品选择内生、企业异质且处理时间交错CETA在2017年9月生效的现实下尽可能干净地识别出CETA的因果效应。这个方法的价值在于它不再强求一个“完美”的对照组而是把所有的观测值产品-目的地-时间或企业-产品-目的地-时间看作一个巨大的、有些单元格缺失的矩阵。我们的任务就是利用矩阵中未被“处理”即CETA影响的那些单元格的信息通过机器学习算法“补全”那些被处理单元在假设没有协定情况下的反事实结果。听起来有点玄乎其实它的直觉很直观通过挖掘高维数据中复杂的协同变化模式来预测缺失值。在这项研究中我们分别在产品层面5118种HS6位码产品 x 18个目的地 x 时间和企业层面3791家多产品企业 x 其核心出口产品 x 18个目的地 x 时间构建了这样的矩阵进行了一场多维度的反事实推演。注意这里的内生性不仅指产品选择还包括企业层面的自我选择。更大、更多元化的企业可能更有能力游说政府将其产品纳入协定同时也更善于利用协定带来的机会。传统方法很难同时干净地处理这两个层面的选择偏差。2. 核心方法拆解矩阵补全如何为因果推断赋能2.1 从推荐系统到政策评估一个框架的迁移矩阵补全最出名的应用大概是Netflix的影片推荐系统通过一部分用户对一部分影片的评分来预测某个用户会对某部未看过的影片打多少分。其核心假设是评分矩阵是低秩的即用户的偏好可以由少数几个潜在因子如喜欢科幻、讨厌爱情片来解释。Athey等人2021的突破性贡献在于将这一思路迁移到了因果推断的潜在结果框架中。在我们的场景里矩阵的行是“单位”产品-目的地组合或企业-产品-目的地组合列是时间。矩阵中的每个单元格是观测到的出口额Y_ut。处理变量W_ut是否受CETA影响将矩阵切割成了四部分处理前控制组未受CETA影响单位在协定生效前的出口值观测值。处理后控制组未受CETA影响单位在协定生效后的出口值观测值。处理前处理组受CETA影响单位在协定生效前的出口值观测值。处理后处理组受CETA影响单位在协定生效后的出口值观测值但我们需要的是其反事实值。因果推断的“根本问题”在于我们永远无法观测到第4部分单元格的反事实值即如果CETA没有签署这些处理组单位在事后的出口额会是多少。矩阵补全方法巧妙地将其转化为一个预测问题利用第1、2、3部分的所有信息去预测第4部分单元格的缺失值。具体操作上我们首先在矩阵中将所有“处理后处理组”的单元格即W_ut 1的Y_ut人为设置为缺失NA。然后应用矩阵补全算法通常基于奇异值阈值化或核范数正则化来拟合这个不完整的矩阵。算法会寻找一个低秩矩阵L使其尽可能接近所有非缺失的观测值。这个拟合过程本质上是在学习数据中跨越单位、时间和目的地维度的复杂协同变动模式。最终用拟合出的矩阵L来预测那些被我们设为缺失的单元格的值这些预测值就是我们需要反事实结果Y_ut(0)。2.2 处理组定义与矩阵构建产品vs.企业的双重视角这个方法的一个强大之处在于其灵活性可以适配不同层面的分析。在本项目中我们构建了两个核心分析矩阵2.2.1 产品层面矩阵单位 (u)定义为特定HS6位码产品p出口到特定目的地d的组合。例如“法国产的6204.41棉制女式连衣裙出口到加拿大”是一个单位。处理定义如果一个产品p被列入CETA关税减让清单那么所有包含该产品p的单位无论出口到哪个目的地d在2017年9月及之后都被视为“已处理”。即W_pdt 1ifp ∈ T(CETA清单) andt ≥ τ(生效后)。矩阵维度行为 5,118种产品 × 18个目的地 ≈ 92,124 个单位列为从2015年9月到2018年8月按年度9月-次年8月聚合的三个时期。设计意图这样定义可以同时评估CETA对法国向加拿大出口的直接效应以及对向其他目的地出口可能产生的间接溢出效应贸易转移。因为一个产品只要被CETA覆盖无论它实际卖到哪里在矩阵中都被标记为“处理”这允许我们比较同一产品对不同目的地的出口在协定前后的变化差异。2.2.2 企业-产品层面矩阵单位 (u)定义为特定法国企业i出口特定产品p到特定目的地d的组合。我们聚焦于多产品企业即向加拿大出口至少2种不同产品的企业。处理定义如果一家企业i在CETA生效前后向加拿大出口的产品组合Ψ_iCA中至少有一种产品被列入CETA清单则该企业被视为处理组企业i ∈ Θ。那么该企业出口的所有产品无论是否在CETA清单内也无论出口到哪个目的地在协定生效后都被标记为“已处理”。即W_ipt 1ifi ∈ Θandt ≥ τ。矩阵维度行为 3,791家企业 × 每家企业的前3大出口产品 × 18个目的地时间维度同上。设计意图这个层面旨在捕捉企业的内部调整策略。当核心市场加拿大的贸易成本下降时多产品企业可能会重新配置其全球产品组合和销售重心例如将资源更多集中在具有核心竞争力的产品上或调整对不同市场的供应。企业层面的处理定义允许我们观察这种跨产品和跨目的地的协同调整。实操心得定义“处理”是关键一步需要紧密结合研究问题和数据结构。我们的双重定义产品层面侧重于“政策覆盖”效应企业层面侧重于“行为响应”效应。在构建企业层面矩阵时只选取每家企业的前三大出口产品是基于计算可行性和聚焦核心业务的权衡这是一个在实战中常见的处理技巧。2.3 应对内生性与非平行趋势方法的内在优势矩阵补全方法在处理本项目面临的两大挑战时表现出天然的优势内生选择我们的初步描述性统计见表1证实了内生性的存在。被纳入CETA的产品在协定生效前就表现出平均单次交易额更低、交易频率更高、出口企业数量更多、且这些企业的对加出口依存度更高。传统方法需要寻找有效的工具变量或依赖强假设而矩阵补全通过其拟合过程部分缓解了这一问题。算法在利用控制组信息预测处理组的反事实时会吸收那些与处理状态相关的、可观测和不可观测的、且随时间变化的混杂因素所留下的数据模式。当然这依赖于“不存在与处理相关的、未纳入矩阵的不可观测混杂因素”的假设但这通常比DID的平行趋势假设更弱、更灵活。非平行趋势图3和图4清晰地显示无论是产品还是企业处理组和对照组在协定生效前的集约边际出口额和扩展边际产品种类/企业产品线数量上趋势都存在显著差异。DID在这里会失效。矩阵补全方法通过引入单位固定效应和时间固定效应并利用其低秩结构捕捉更复杂的跨单位-时间的交互效应能够有效地拟合和调整这些差异性的预存趋势。Athey等人的框架允许在算法中直接加入这些固定效应从而更干净地分离出处理效应。为了验证方法在处理内生性上的有效性我们进行了一项安慰剂检验假设CETA在某个虚假日期如2016年9月生效然后应用矩阵补全去估计“处理效应”。如果方法有效我们应该在虚假处理期前后观测到接近零的效应。实际检验结果支持了我们的方法能够有效应对内生选择问题。3. 数据准备与实证实施流程3.1 数据源与关键处理步骤本项目的基石是法国海关DGDDI的月度全量出口报关数据。原始数据颗粒度极细企业SIREN编码、产品CN8编码、目的地国家、月度出口值。要让这些数据服务于我们的分析框架需要经过一系列严谨的处理时间聚合与对齐CETA于2017年9月21日临时生效。因此我们将月度数据聚合为以9月为起点的年度数据形成三个时期τ-2(2015.09-2016.08)τ-1(2016.09-2017.08)τ(2017.09-2018.08)。这确保了处理期前后时间窗口的对称性并符合贸易协定的实际执行周期。产品编码统一CETA的关税减让清单是基于HS6位码2017版。我们需要将海关的CN8编码欧盟内部更细的分类映射到HS6位码2012版因2017版有修订需统一回退。这一步通过官方转换表完成确保了政策变量与贸易流变量的精确匹配。处理组识别根据CETA法律文本附件逐一识别出HS6位码层面关税或配额发生变化的“已处理产品”集合T。这是定义两个层面处理状态的基础。企业样本筛选产品层面分析包含所有向加拿大出口的法国企业无论其规模和产品数量。企业层面分析聚焦“多产品出口商”。我们定义在样本期内至少向加拿大出口过2种不同HS6位码产品的法国企业。同时剔除那些主营业务为服务业、偶尔出口货物很可能是服务配套物料的企业以保证样本的纯粹性。经过上述处理我们得到了分析的基本盘见图1、图2产品覆盖CETA覆盖的产品线占法国对加出口产品总数的77%且其中57%的产品法国本就向全球出口。这暗示了潜在的贸易转移效应。企业覆盖仅约10.5%的法国出口商涉足加拿大市场。其中约40%为多产品出口商。而这些多产品出口商中高达79.8%的企业至少有一种出口产品受到CETA影响。这部分企业的对加出口额占总量的85%是分析的绝对重心。3.2 矩阵补全算法的实施与参数选择我们采用了Athey等人2021提出的基于核范数正则化的矩阵补全算法。其目标函数可以简化为min_{L} ∑_{(u,t) ∈ Ω_obs} (Y_ut - L_ut)^2 λ ||L||_*其中Ω_obs是所有非缺失观测值的集合即矩阵中未被我们人为设置为缺失的单元格。L是我们试图寻找的低秩矩阵。||L||_*是矩阵L的核范数即所有奇异值之和用于惩罚模型的复杂度鼓励低秩解。λ是正则化参数控制拟合优度与模型复杂度之间的权衡。实施步骤数据标准化在拟合前我们对出口额取对数以缓解极端值的影响并使效应近似呈百分比解释。同时按标准做法从数据中减去单位固定效应和时期固定效应的估计值将矩阵中心化。交叉验证选择λ这是关键一步。我们将控制组样本即从未被处理的单位或处理前的所有时期随机分成5个折叠。用其中4个折叠的数据训练模型即拟合矩阵L然后用训练好的模型预测第5个折叠中在“处理期”的出口值这些值实际上是观测到的但在预测时被当作缺失。计算预测值与真实值之间的均方预测误差MSPE。重复此过程5次遍历所有折叠。最终选择那个使得平均MSPE最小的λ值。这个过程确保了我们的模型具有良好的样本外预测能力这是因果估计可信度的基础。反事实预测用选定的最优λ使用全部控制组数据以及处理组在处理前的数据拟合最终的矩阵L_final。然后用L_final来预测所有处理组单位在处理期内的反事实结果Y_ut(0)。处理效应计算对于每个处理组单位u在时期t其个体处理效应ITE为ITE_ut Y_ut(observed) - Y_ut(0)_predicted。平均处理效应ATE则是所有ITE_ut的平均值。技术细节算法实现通常使用软阈值奇异值分解Soft-Impute等迭代算法来高效求解上述优化问题。在实际操作中我们使用了R语言的cv.nuclear包或类似的经过优化的矩阵补全库它内置了交叉验证和固定效应处理功能大大简化了计算流程。4. 实证结果CETA影响的异质性图景应用上述方法我们得到了超越传统汇总统计的、丰富多彩的异质性处理效应分布。4.1 产品层面整体积极与隐藏的分布首先在产品层面我们估计CETA对法国对加出口的平均处理效应ATE约为**1.28%**。这意味着平均而言一项产品被CETA覆盖能使其对加拿大的出口额增加约1.28%。这个正值在统计上是显著的表明协定在集约边际上产生了积极的整体效果。然而平均效应掩盖了巨大的异质性。图5展示了个体处理效应ITE的分布它并非一个集中的尖峰而是一个从显著负值延伸到显著正值的广阔分布。这说明有的产品从CETA中获益巨大有的产品却可能受损。这是矩阵补全方法的一大优势它不满足于只给出一个平均数字而是揭示了政策影响的完整分布。图5产品层面个体处理效应ITE分布示意图注此处为文字描述实际分析中包含直方图或密度图 分布呈现近似正态但右偏的形态均值在1.28%附近但存在一个不容忽视的左尾包含许多零效应甚至负效应的产品。为了理解这种异质性我们将产品的ITE与其在协定前的某些特征进行关联分析。一个有趣的发现是产品的事前显示性比较优势RCA与其ITE呈正相关。也就是说那些在协定签署前法国在全球市场上就具有较强竞争力的产品例如奢侈品、航空设备、高端酒类从CETA中获得的出口提升更大。这符合直觉关税削减放大了原有的竞争优势。在扩展边际上CETA引发了显著的产品更替product churning。我们估计约有13.1%的新产品在CETA后首次进入加拿大市场同时有11.9%的原有产品退出。进一步分析发现这种进入和退出更可能发生在替代弹性较高的产品类别中如许多制造业中间品、标准化消费品。这些市场本身竞争激烈关税的细微变化就可能改变企业的市场进入/退出决策。4.2 企业层面多产品企业的内部资源再配置切换到企业-产品层面故事变得更加微观和动态。我们关注多产品企业如何调整其全球产品组合。核心发现是在CETA生效后法国多产品出口商平均而言增加了向其加拿大市场“核心产品”即原本在该市场销售额最高的产品的销售倾斜度。换句话说企业没有均匀地增加所有产品的对加出口而是将增长资源更多地集中到了它们已经在加拿大市场取得相对成功的产品上。这个发现与Eckel Neary (2010) 和 Mayer et al. (2021) 的理论预测高度一致。当贸易自由化带来需求冲击时也会加剧市场竞争。多产品企业的最优策略不是全面铺开而是进行“核心聚焦”——将有限的边际资源如营销精力、库存、适应性改造投入配置到其竞争力最强、盈利能力最高的核心产品上以巩固和扩大在这些产品上的优势。矩阵补全方法通过在企业-产品-目的地三维矩阵中捕捉这种跨产品的协同变化清晰地揭示了这一内部资源再配置策略。4.3 一般均衡效应贸易转移的蛛丝马迹贸易理论Viner, 1950预测自贸协定会在成员之间创造贸易的同时也可能导致“贸易转移”——成员间的贸易部分替代了成员与非成员间的贸易。我们的多维矩阵设计允许我们检验这一效应。我们做了一个有趣的关联分析计算每个受CETA影响的产品p其对加拿大出口的处理效应与同期对世界其他目的地非加拿大出口额的变化之间的相关性。结果发现两者之间存在显著的负相关关系。具体来说一个产品对加拿大的出口因CETA增长得越多其同期对其他国家如美国、德国、中国等的出口增长往往越慢甚至下降。这种负向关联在替代弹性高的产品中更为强烈。这为“贸易转移”提供了微观产品层面的证据CETA降低了法国产品进入加拿大的相对成本使得加拿大市场相对其他市场更具吸引力可能导致企业将部分出口供应从其他目的地转向加拿大或至少减少了向其他市场的增长投入。5. 方法对比、稳健性检验与实操反思5.1 与传统双重差分法的对比作为基准我们也用传统的双向固定效应TWFE双重差分模型进行了估计。结果见附录表B1显示DID方法仅在企业的扩展边际出口产品线数量上检测到了显著效应而在产品和企业层面的集约边际出口额上均未发现显著影响。这与矩阵补全得出的显著正向平均效应产品层面1.28%形成了对比。这种差异很可能源于DID方法的两大局限在本场景中的暴露平行趋势假设不成立如前所述图3-4显示处理组和对照组预趋势存在差异。处理效应异质性当处理效应在不同单位或不同时间存在异质性时TWFE估计量可能严重偏误甚至符号相反“负权重”问题。矩阵补全通过估计每个个体的处理效应再聚合自然避免了这一问题。因此在本案例中矩阵补全方法提供了一个更可靠、信息量也更丰富的估计。5.2 稳健性检验与敏感性分析我们进行了一系列检验来夯实结论安慰剂检验如前所述将处理时间伪随机提前估计出的“效应”接近于零说明我们估计到的效应确实与CETA生效时间相关。不同的正则化参数λ在交叉验证选定的最优λ附近进行网格搜索发现ATE估计值相对稳定结论未发生根本性改变。控制组构造尝试了不同的控制组定义如仅使用从未被处理的产品/企业主要结论依然稳健。排除临近生效期考虑到企业可能有预期并提前调整我们排除了CETA生效前后各3个月的数据重新分析结果依然相似。5.3 实操中的挑战与心得挑战一计算复杂度与规模。构建产品-目的地-时间三维矩阵约9万行 x 3列尚可应付但企业-产品-目的地矩阵的维度可能爆炸式增长。我们的解决方案是聚焦每家企业的前三大出口产品这是一个在信息损失和计算可行性之间的必要权衡。未来随着算力提升可以尝试纳入更多产品。挑战二处理定义的“溢出”争议。在企业层面我们将“处理”定义为只要企业有一款产品在CETA清单内则该企业所有产品在所有目的地均被视为“已处理”。有审稿人质疑这是否过度定义了处理。我们的辩护是这旨在捕捉企业的整体战略响应而不仅仅是单一产品的直接关税效应。这是一种理论驱动的选择需要在论文中明确阐述其理由和局限性。挑战三对“无未观测混杂”假设的依赖。矩阵补全虽然放宽了平行趋势但仍假设在控制了矩阵中丰富的多维固定效应和低秩结构后处理分配与潜在结果无关。这无法用数据直接检验。我们通过纳入尽可能多的维度产品、目的地、时间及其交互和展示丰富的描述性证据来增强说服力但这一点始终是观察性研究的天花板。心得可视化至关重要。像图3、图4这样的预趋势图以及个体处理效应的分布图在展示方法必要性和结果丰富性上比任何复杂的表格都更有力。在报告矩阵补全结果时一定要把异质性效应画出来。6. 结论与拓展方向这项研究展示了一种将前沿的因果机器学习方法——矩阵补全——应用于复杂贸易政策评估的可行路径。面对内生选择、异质性企业和非平行趋势等多重挑战该方法通过构建多维反事实提供了比传统方法更精细、更稳健的效应估计。我们的核心发现是CETA对法国出口产生了积极但高度异质的影响。平均而言它提升了覆盖产品对加出口约1.28%并引发了显著的产品更替。多产品企业通过聚焦其核心产品来应对市场开放。同时我们也发现了贸易转移效应的微观证据。对于政策制定者而言这项研究的启示在于贸易协定的影响远非一个单一数字可以概括。它像一场雨有的作物受益良多有的可能只是沾湿了叶子甚至有的低洼处的作物还可能受涝。评估政策时需要关注效应的分布、不同群体产品、企业的差异化反应以及可能产生的间接第三方影响。未来的拓展方向更长期的影响本研究受数据所限仅分析了短期效应生效后一年。获取更长时间的数据可以研究效应的动态演变例如是立即发生还是逐渐显现效应是否会持续或衰减。引入更丰富的协变量可以在矩阵补全框架中引入产品、企业或目的地的时变协变量如全球价格指数、企业研发投入等以控制更多的混杂因素进一步收紧识别。应用于其他政策场景这套方法论框架可以迁移到其他具有“交错处理”和“多维单位”特征的政策评估中如区域补贴政策、环保规制、创新激励政策等只要能够构建出类似的面板数据矩阵。最后从我个人的实践体会来看矩阵补全这类方法代表了实证研究的一个趋势从追求一个“干净”的识别策略转向利用复杂模型和丰富数据去“拥抱”现实世界的复杂性。它要求研究者不仅要有扎实的计量经济学功底还要对机器学习算法有足够的理解并能将经济理论与数据架构巧妙地结合起来。这个过程充满挑战但当你能从纷繁的数据中勾勒出政策影响的细致图景时那种满足感也是无可替代的。