Dey2026TabularFoundationModels
Brief
#
- tabular foundation model 的整体表现优于传统 ML 算法，尤其是 spec-z data 有偏或者存在 calibration data 的情况下
- TFM 包含了 attention 架构，并且需要在合成的 SCM data 上进行预训练
- CDE model 相比 PIT 是更好的检验 PDF 的方法（？）因为一些病态的情况可能会具有很好的 PIT
Intro
#
- ML photo-z 方法面临的问题是 selection bias，也就是 spec-z training sample 集中在/偏向于 faint end
- tabular foundation model 是新的一类 transformer model，在表格数据上进行预训练
Methods
#
- photo-z 推断输入是 multi-band photometry，输出是一维红移空间中的 PDF
- 选用 tab arena 中的三个开源模型，预测星系在 0-2 上的红移分布概率
- 用作对比的方法是 FlexZBoost、CMNN 以及 GPz（这类方法进行了额外的 optuna 优化）
- 数据集来自 LSST DESC DC1，使用两个不同性质的 training sample 进行训练，一个是均匀选择，另一个模拟 HSC PDR2 的 spec-z selection function
- 模拟真实的 spec-z 观测完备度的细节是：在 mag-color plane 上计算 spec-z completeness，此外增加了每个格子的 99% 红移 cutoff
- fig3 展示了大致的 selection effect
- 检验方式是 CDE loss（用于 PDF）和 bias/IQR scatter/outlier fraction（用于点估计）
- PIT 可能通过某种简单的方式刷分，比如针对每一个星系都给出相同的 sample 整体 $n(z)$ 分布
Results
#
- 三个表格模型的表现超越了传统 ML 方法，其中 TabPFN-3.5 表现最佳（fig1）
- 使用 1k training sample 可以得到和传统方法使用 43k training sample 相当的效果
- 在 biased sample 条件下具有更强的 robustness（fig4），并且加入小规模的 calibration sample（小规模的均匀观测）之后表现更佳
Thoughts
#
- calibration sample 确实很重要，可以来自 COSMOS 或者 DESI 观测
- 这里的 incompleteness 模拟似乎比 19.5/50% 的经验结论更加乐观
- CDE loss 其实对应于两个 PDF 差值平方的积分（L2 distance），只是省略了最后的常数项
- TFM 通过随机的 structural casual model 进行预训练，蕴含了某些复杂特征相关性
- 具体的星系 photometry 的作用类似 prompt，输入到模型中进行 PDF 推断