Huertas-Company2023DAWESReview10
1 Intro
#
- deep learning 的一个标志性事件是 CNN 在 ImageNet 中取得突破
- this review 主要介绍 DL 在天文学的各个领域/task 上的应用（不涉及具体 technique/mechanism），大致的分类是
- 通用 computer vision task（分类和 de-blending）
- 推导星系物理性质（红移和 stellar population）
- 辅助科学发现（降维、anomaly detection）
- 宇宙学应用（field-level inference）
2 A brief history
#
- DL 之前的 general ML application 已经在天文学中存在，比如用 ANN/decision tree/SOM 进行 star/galaxy separation
- 此外星系形态分类、AGN/galaxy separation、photo-z 估计等任务也很早就在使用 ML 算法
- Baron 2019 可以作为介绍全部 ML 方法的一个 wider review
3 CV
#
Classification
#
- SDSS 之后解决大量星系形态分类任务的方式主要包括类似 galaxy zoo 的 citizen scientist program 以及 ML automation 两类
- Dieleman 2015 利用 galaxy zoo 2 样本训练了一个 CNN 在 Kaggle 上获得了很好的成绩（fig2）
- 用于分类任务的 model 一般由一个 CNN 和一个负责分类的 MLP 组成
- 各个 survey 上都开展了使用标准 CNN 方式进行星系形态分类的 work
- 在 LS 上的应用的 reference 是 Walmsley 2022
- radio galaxy morphology 同样有 radio galaxy zoo 以及对应的 CNN 分类 work
- 一般简单的 3-layer CNN 就可以达到很好的效果
- 寻找 strong lenses 任务的特点是出现频率很低
- 带来两个主要问题
- 缺乏足够大的真实训练样本
- 一个解决办法是生成在物理上合理的 mock image 用于 CNN 训练
- false positive 主导 candidate list
- Euclid SL challenge 中的前五名都是 CNN 算法
- open issue 包括
- ResNet 等更复杂架构一般不会带来比简单的 sequential CNN 更好的表现，可能因为天文图像多样性/复杂度相比其他领域更低
- fig5 展示了 capsule network 相比简单 CNN 的效果
- 使用 CNN 的一个瓶颈在于 labeled data，诸如 active/transfer/few-shot learning 的办法可以减少对 labeled data 的需求
- active 指的是模型同时给出分类结果和不确定性（fig6）
- transfer 指的是将一个 survey 的训练结果经过微调之后应用到其他 survey 上（fig7）
- time domain 领域的一个重要任务是从 light curve 中识别 SN Ia
- light curve 和语言同属 time series analysis 所以方法比较共通
- 早期的 challenge 包括 SPCC, PLAsTiCC
- 2017 的一项工作将 RNN 应用在 SPCC 上得到了很好的结果（fig9）
- RNN（fig8）用于处理可变长度序列数据（最初用于处理语言数据），特性是可以保留对先前信息的记忆
- 之后的一些工作引入了 attention/transfomer 架构（fig11），实现了相比 random forest/RNN 的提升
- attention 可以将更多权重置于序列中的信息密度最高的区域（fig10）
- RCNN（RNN+CNN）可以实现对 variable source image 的分类/分析
- 在时间序列分析方面，RNN/transformer 相比传统 ML 方法没有实现很大幅度的提升（比如相比 Euclid challenge 中 CNN 算法的大幅领先）
- 其他任务/领域还包括 star-galaxy separation、LAE 识别、galaxy merger、LSB
Segmentation, deblending and pixel-level classification
#
- object detection and deblending 是图像数据处理的重要且困难的一步，尤其是随着图像深度的增加难度会逐渐提升
- 相比普通 CV segmentation 任务，天文学图像处理的特点是动态范围更大、天体边界不明显
- 传统的方法是 SourceExtractor
- deblending 的机制可能是 watershed
- see Melchior 2021 for a review on deblending
- U-Net（fig12, encoder&decoder）从 2020 开始具有在 deblending 上的应用（fig13），相比 SEx 有更好的表现
- 类似的方法还包括 Mask R-CNN
- 缺乏在实际图像上的实际应用 work，或者说仍然处于 proof-of-concept 阶段
- 另一个 perspective 是将 deblending 转化为回归问题（通过星系亮度分布的叠加重建图像）并且用 generation model 给出 solution
- GAN/VAE 可以用于类似的任务
- 一个 side effect 是 generation model 可能产生 artifact
Improving data quality
#
- DL 在图像中的应用通常是反卷积以抵消 PSF 的效应
- 常用的方法是 GAN 和 U-Net
- 同样仍处于 proof-of-concept 阶段
Emulating astronomical images
#
- 在 survey 实际开始之前为了验证 pipeline 需要生成大量的对应规格的 mock image
- 常用的方法是 GAN, VAE
- 一项 2021 work 提出了 NF+VAE 混合架构的 elumation pipeline
- GAN/VAE 的一个 limitation 是无法生成大尺寸的图像
4 Inferring physical properties of galaxies
#
- 基本的方向是用 DL/NN 模拟（并且取代）传统的领域特化方法
Fast emulators
#
- photo-z 的传统方法依赖于 stellar population model 的拟合（BPZ, LePhare）
- 很早就有 ANNz 这样的 ML 方法，DL/NN 带来的改进主要是离散化 PDF（相当于将回归转化为分类问题）和利用 CNN 将图像信息加入红移估计中
- 离散化 PDF 的缺陷是 model 无法意识到相邻 bin/index 对应红移空间上的相邻
- 一个共识是 ML 方法并不相比 template fitting 方法更好（引用是 Schmidt 2020）
- 早期在 photo-z 加入 image input 的尝试不太奏效，直到 Pasquet 2019 采用包含五个 inception 的 deep CNN 得到了非常好的效果
- 可以自动将 inclination 和 dust reddening 之间的关联纳入考虑（fig21）
- 之后的发展是利用 MPL+CNN 的 hybrid 架构降低 CNN 处理信息的负担
- 另外一个维度是降低对 training sample 的依赖性，方法包括各类预训练、capsule network 等
- 一般来说相比 template fitting 方法具有更差的可解释性
- 星系结构参数的描述方式一般是使用 Sersic model，传统的方式是 GALFIT
- Tuccillo 2018 在 mock image 上用 CNN 测量结构参数效果很好，但是转移到真实 HST 图像上效果变差
- Li 2021 开发了 GalNets（fig22），同时加入了随空间位置变化的 PSF 信息
- 其他 task 包括 bulge/disk 区分、CAS (concentration, asymmetry, smoothness) 参数测量等
- SED fitting 的输入是多波段测光数据，输出 stellar mass, SFR, metallicity 等信息
- ML/DL 的优势主要在于速度更快
- 用到的方法包括 ANN, Boosting tree, SOM 等
- 训练集/truth 来自 SAM 或者 stellar population model
- BW21 使用 U-Net 建立了多波段图像和 2D stellar population decomposition 之间的联系
- 另外一个更困难的任务是推测 SFH，这个任务具有很强的简并性（高度依赖 prior）
- strong lensing modeling 一般依赖于 MCMC
- CNN/Bayesian NN 可以实现相比 MCMC 多个数量级的加速
Physical properties from simulations
#
- simulation 里面各类 truth 是已知的，所以可以建立可观测量 - underlying truth 之间的（尤其是非线性的）关联
- merger 的识别以及时间确定是一个比较 non-linear 的任务，传统方法是基于 CAS 参数判断
- Ferreira 2020 将 TNG300 上训练的 CNN 应用在 CANDELS 中测量了 z=3 以来的 merger rate，证明之前用 pair count 和 morphology 测量的 merger rate 差异主要来自于 calibration
- 存在类似 strong lensing 中的由 false positive 带来的 purity 损失
- 后续的工作尝试将测光和运动学图像输入 CNN，发现运动学信息不太有用
- 类似 merger 的现象/特定演化阶段还包括 blue nugget、S0、galaxy quenching 等，具体的方法是在 simulation 中建立底层物理机制和模拟观测图像之间的关联，然后将模型应用到真实观测中
- 主要的问题是 simulation 和真实 universe 之间的差别（domain shift）
- DM 相关的应用包括 cluster/galaxy mass 测量
- 一般 cluster 测量都基于 hydro-static 以及球对称假设
- Ntampaka 2019 将 CNN 应用于 Chandra mock data，发现模型会自动忽略 cluster core 区域
- 后续的其他类似工作都可以实现 cluster mass 估计误差的降低
- 原理是用 CNN 学习某种未知的非线性关联，代替球对称模型这种 linear model
- galaxy mass 测量一般使用 abundance matching，用 ML technique 可以加入更多的性质从而实现更精确的 mass measurement
- 利用 GNN 可以将周围环境效应加入考虑（fig31）
- 其他应用包括从 SDSS 多波段观测中（粗略）预测 spectrum、从星系图像中预测 2D velocity dispersion
5 Discovery
#
- 无监督/自监督的方法在「寻找未知规律/对象」上具有优势
Visualization of large datasets
#
- 低维空间中的 visualization 可以辅助发现数据中的趋势和相关性
- 一些经典/传统的 ML 方法包括 graph representation, clustering, SOM 以及一些降维方法（PCA, t-SNE, UMAP）
- DL 提供的标准降维方式是 auto-encoders，原理是通过 information bottleneck 实现自动/强制的信息压缩
- 实现参数空间降维之后可以用于下游的 clustering/classification 任务
- fig32: 将 SDSS 光谱压缩到 6D space 并且实现了 SF/Quiescent galaxy/AGN 分离，表现超过普通的 PCA
- convolutional/variational AE 是两类应用最广泛的变式
- contrastive learning 是一种自监督方法，基本 idea 是在数据上添加扰动/噪声并且引导 model 对扰动/噪声保持 robust，并且对更加本质/内在的差别保持敏感
- 可以让模型更集中在内在差异上
- Hayat 2021 用类似的技术使得 model 尽量少地受到裁剪、旋转、dust extinction 的影响，之后 UMAP 的效果很好（fig34）
- 可以处理一些 PCA/AE 失败的情况（fig35），如果 PCA/AE 给出的区别主要来自于非物理的简单效应或者样本的不均匀性（仪器效应、尺寸、数量）
Outlier/Anomaly Detection
#
- basic idea 是对整体数据分布进行拟合和表征，然后寻找该分布下概率较低的数据点
- time domain 领域对 outlier detection 的需求非常迫切，并且存在类似 PLAsTiCC 这样的 challenge/dataset
- Villar 2020 开发的一套 pipeline 组件包括 GP, VRAE 和 isolation forest
- Muthukrishna 2021 发现 auto-regressive model 效果反而不如简单的 Bayes 方法，可能因为 NN 的泛化和表达能力过强
- outlier 检测最终都需要 human inspection，因为我们感兴趣的 outlier 和 artifact 从分布本身（或者数学/统计上的罕见程度）不可区分
- 一个在这个方向上进行探索的框架是 astronomaly（LB21）
- photometry/spectroscopy outlier detection 同样需要自动化，由于未来巡天的数据量的要求
- GAN/CAE 被用于在 HSC image 上寻找 merging system/strange galaxy/ELG 等
- Storey-Fisher 2021 用一个 GAN 生成模拟图像，然后针对每一个星系 cutout 生成最相似的图像，如果还是距离真实图像有差距则将其判定为 outlier（fig37）
- 也可以在 simulation 中运行 GAN/CAE 然后应用到真实观测中，以发现「当前 simulation 无法重现的星系类型」
Discovery of physical laws
#
- 结合 GNN 和 Symbolic Regression 可以将数据/模型中的规律先学习到模型中，之后对模型的输出进行 SR（fig39），可以推导出类似 Newton law 的简单规律
6 Cosmology
#
Accelerating
#
- 针对 fast simulation 的 residual 进行进一步修正以提升精度
- 一个应用是用基于 U-Net 的 D3M 替代 2LPT（fig40）
- super-resolution/up-sampling
- 从初始条件出发，利用 generative modeling 学习 N-body simulation 给出的宇宙学场分布
- 从 3D DM 分布场中识别 DM halo
- 在 N-body simulation 基础上填充重子物质，比如从 2D DM 分布出发预测气体、HI 分布
- 相当于跳过底层物理机制，直接连接 N-body simulation 结果和重子可观测量
Cosmological inference
#
- field-level 宇宙学限制指的是不进行显式的信息压缩/总结（比较 data vector），而是充分利用全部信息
- 以 simulation 为参照，从 WL 观测中可以提取宇宙学信息限制
- 模型 output 应该被视作一种需要进一步 calibration 的 summary statistic
- 之后有一些在 KiDS/DES 上的实际应用，相比普通功率谱分析能提供更强的参数限制
- 通过 3D DM matter 可以推断/重现 $\Omega_\mathrm{m}$ 和 $\sigma_8$，并且可以免受 HOD 模型先验/假设的影响
- 在 CAMELS 上的测试证明 NN 可以很好地应对重子效应的差异，并且给出宇宙学参数的无偏估计
- strong lensing 包含了一些 DM sub-structure 信息，可能和 CDM/WDM 等区分有关
- 可以用 CNN 根据 SL 观测对 substructure 进行分类
- 另外一个方向是从包含噪声、不完整的观测中重建 cosmological fields
- 从观测到的 WL shear 反演 convergence map
- 从 z=0 的 LSS 反演更早时期的 density field
7 Final thoughts
#
- NN 可以分类为七个类别（tbl1）：CNN (ResNets), Encoder-Decoder (U-Net, YOLO), generative model (VAE, GAN), Bayesian NN (MDN, NF), RNN, transformer, GNN
- tbl1 中蓝色/红色对应监督/无监督学习，star 代表需要 simulation data
- simulation data 带来的问题是 domain shift
- CNN 占据主导地位是因为天文学数据仍然以图像为主
- 先进方法的易用性使得普及非常容易，但是另一方面也导致缺乏定制化的调整，比如修改 loss function 以及修改 architecture 使其包含已知的对称性
- DL 应用从 2015 开始呈现指数增长，其中 CV 最初占比很高但是后期其他类别占据更高 fraction（fig47）
- 平均引用率相比 galaxy evolution 低 1.5 倍（fig48），可能的原因是大部分工作都是为下一代 survey 做可行性验证/探索，而上一代 survey 的规模仍然可以用人工/手动方法进行处理
- sec7.3 总结了一些 challenges（tbl2，同时还总结了 solution）
- datasets 规模不足并且高度 biased
- 不同 survey 之间的 dataset 不能直接套用
- representativity 存在偏差：数据获取难度和本身性质是高度关联的，比如 spec 观测一般针对明亮星系具有 bias
- 解决方法包括 transfer learning、simulated data、self-supervised learning (首先提取数据的低维表示，再进行下游的回归/分类)、active learning
- NN 一般无法给出不确定性的度量，而是仅仅给出点估计
- 解决方法是 Bayesian NN、使用 MDN/NF 等方法给出概率密度函数/后验分布
- NN 属于 blackbox 缺乏可解释性
- 对于 systematic 控制非常不利，比如 DS 2022 发现 DL 星系分类结果对空间位置敏感
- 解决方法是归因方法（计算哪部分信息对决策贡献最大）、SR、在 NN 中加入已知的物理规律/对称性
- domain shift 指的是利用 simulation 再将其应用到真实观测中产生的问题
- 有一些 technique 可以实现「普遍规律保持不变而针对 domain 微调」
- benchmark 缺乏导致不同方法缺乏相互比较的平台
- galaxy zoo, PLAsTiCC, Euclid challenge 等是比较好的实践
Thoughts
#
- 大部分内容类似 bookmark 也就是列举相关的各类 work
- 总之 数据是重要的，方法是不重要的
- 普遍存在的问题是训练集不足或者不够具有代表性（需要接受外推的风险）
- 只要 truth/training sample 足够好，总是能找到合适的 ML/NN 工具实现高效/合理的内推
- 有关 simulation：如果相信 simulation 是足够好的近似/描述，只需要找到足够好的方法提取观测量和内禀量之间的关联
- astronomaly 用到了 (H)DBSCAN
Supplement - ML&DL
#
- https://share.gemini.google/xfDJ7thbrdSr
- 简单的包含关系是 AI > ML > Artificial NN >= DL
- reinforce learning 和 supervised/unsupervised 并列
- DL 不再依赖 feature engineering 而是由多层 NN 自动提取特征（representation learning），类似从 supervised 到 unsupervised 的改变/过渡
- 可以更自然地应用到非结构化数据上
- 伴随一定的可解释性损失（因为没有明确定义的 feature）
- 常见 DL 算法包括 CNN, RNN, transformer
- DL 和 neural network 的关系是：deep NN 或者 hidden layer 数量较多的 NN 属于 DL
- 基本没有单层/浅层的 NN 仍在使用，所以 DL=NN 也在某种意义上成立
- NN 最早在 1940s/50s 就出现，之后基于 MLP 发展出了处理空间数据/时间数据的 CNN/RNN (LSTM) 两条路径
- transformer 不再使用 CNN/RNN 架构/机制
- CNN 在 1990s 就已经存在（back propagation 在 1986 提出），但是效果一般不如 SVM/random forest
- 2012 8-layer AlexNet (Hinton, Alex, Ilya) 在 ImageNet 上获胜
- 使用 GPU 进行训练、使用大规模数据集、引入 ReLU 激活函数和 dropout 方法
- 之后 CV 的研究转向了 deep learning 方向
- 在结构数据上的应用通常 random forest、XGBoost 等 non-DL 方法仍然表现更好
- 可微分性质允许 back-propagation 和梯度下降
Updates since 2023
#
- Ting 2026 ARA&A 介绍了一些 2023 之后的新的技术和 paradigm shift
- topic 不局限在 galaxy survey
- 组织架构按照 technique 而不是 application
- normalizing flow, diffusion model（以及与之相关的 SBI）等新的 technique，作为对 GAN/VAE 的替代
- transfomer/attention 的引入（以及 RL/LLM）
- foundation model 将 photo/spec data 映射到同一个 latent space