将传统概率方法的可解释性与神经网络的可扩展性和灵活性相结合，使用复杂数据构建复杂的时间序列预测模型。 时间序列问题无处不在，从预测天气和交通模式到了解经济趋势。贝叶斯方法从对数据模式（先验概率）的假设开始，收集证据（例如，新的时间序列数据），并不断更新该假设以形成后验概率分布。高斯过程(GP) 和结构时间序列等传统贝叶斯方法广泛用于对时间序列数据进行建模，例如常用的Mauna Loa CO2数据集。然而，他们通常依赖领域专家来精心选择合适的模型组件，并且计算成本可能很高。神经网络等替代方案缺乏可解释性，因此很难理解它们如何生成预测，并且不能产生可靠的置信区间。 为此，我们引入，这是一个用JAX编写列预测模型，提供高质量的不确定性估计，并有效扩展以用于大型数据集。
我们描述了如何将传统概 德国电报吗数据库 率方法的可解释性与神经网络的可扩展性和灵活性结合起来。 自动BNN 基于一系列研究 ，在过去十年中，通过使用具有学习内核结构的 GP 进行时间序列建模，提高了预测准确性。 GP 的核函数对有关正在建模的函数的假设进行编码，例如趋势、周期性或噪声的存在。对于学习的 GP 核，核函数是组合定义的：它可以是基本核（例如、、或），也可以是使用、、 或等运算符组合两个或多个核函数的复合核。这种组合内核结构有两个相关的目的。首先，这很简单，对于数据专家（但不一定是 GP 专家）的用户可以为其时间序列构建合理的先验。其次，诸如顺序蒙特卡罗之类的技术可用于对小型结构进行离散搜索进了这些想法，用贝叶斯神经网络(BNN)取代 GP，同时保留组合核结构。 BNN 是一种具有权重概率分布的神经网络，而不是一组固定的权重。
这会导致输出分布，捕获预测中的不确定性。与具有以下优势：首先，训练大型 GP 的计算成本很高，并且传统的训练算法按时间序列中数据点数量的立方进行缩放。相反，对于固定宽度，训练 BNN 通常与数据点的数量呈近似线性关系。其次，BNN比 GP 训练操作更适合 GPU 和TPU硬件加速。第三，组合 BNN 可以很容易地与传统的深度 BNN结合，后者具有特征发现的能力。人们可以想象一种“混合”架构，其中用户指定Add( Linear, Periodic, )的顶层结构Deep，而深度潜在的高维协变量信息中学习贡献。 那么如何将具有组合内核的 GP 转换为 BNN？随着神经元数量（或“宽度”）趋于无穷大，单层神经网络通常会收敛到 GP 。最近，研究人员发现了另一个方向的对应关系——许多流行的 GP内核（例如 、 或）可当选择的激活函数和权重分布作为无限宽度的 BNN 获得。此外，即使宽度远小于无穷大，这些 BNN 仍然接近相应的 GP。例如，下图显示了观测值对之间协方差的差异，以及真实 GP 及其相应宽度 10 神经网络版本的回归结果。
发表于 2024-4-27 13:35:42
