熟女

尽管Boosting方法在结构化预测中被广泛应用，但对于超越标量损失的聚合方法，目前仍缺乏统一而系统的理论理解。在本报告中，我将介绍我们近期关于向量值预测（vector-valued prediction）与条件密度估计（conditional density estimation）的研究工作，并讨论在一般散度（divergence）下的理论框架。我们将引入一种稳定性概念，称为 ((α, β))-boostability，用于刻画何时聚合能够将弱保证（weak guarantees）放大为强保证（strong guarantees）。我们证明，对于一大类散度，几何中位数聚合（geometric median aggregation）可以实现这种boostability，并揭示了依赖维度与无维度依赖两种不同机制之间的清晰区分（例如在 l_1、l_2、总变差距离（total variation）以及Hellinger距离等情形下）。尽管KL散度本身并不直接具有boostability，但可以通过Hellinger几何结构间接处理。基于这些结构性结果，我将进一步介绍一种通用的Boosting框架，该框架基于指数重加权（exponential reweighting）与几何中位数聚合。该框架能够统一地恢复经典算法，如AdaBoost、SAMME和MedBoost作为特例，并从几何角度提供一个统一视角来理解结构化预测与决策问题中的Boosting方法。