Home/Publications/Rain Removal
Paper Note

Removing Raindrops and Rain Streaks in One Go

雨天图像里有两种很不同的退化:镜头上的 raindrops 和空中的 rain streaks。把它们分开处理,常常会把一个问题变成两个问题。

Image Restoration Rain Removal CVPR 2021
TL;DR

这篇论文的核心是 “one go”:同时去除 raindrops 和 rain streaks。 两类雨退化的形态差异很大:raindrops 通常是局部遮挡和折射,rain streaks 更像细长、方向性的纹理噪声。 如果用两个模型串联处理,第一阶段的残留和误删会被第二阶段放大。联合建模能让网络同时判断“哪里是遮挡、哪里是纹理、哪里是真实结构”,减少误修复。

1. 问题:雨不是一种噪声

镜头上的水滴会遮挡背景、扭曲局部纹理;空中的雨线则通常细、密、有方向。 它们在图像里的统计特性不同,却常常同时出现。 单一去雨假设很容易漏掉其中一类,或者把真实细节误当成雨。

2. 核心思路:联合识别与联合恢复

“in one go” 的意义不只是省步骤,而是避免两阶段 pipeline 的 error propagation。 模型需要同时学习两类退化的空间分布,并在恢复背景时保留真实边缘与纹理。

3. Key Insights:restoration 里的退化类型要一起看

图像恢复常被拆成很多子任务,但真实世界的退化往往混在一起。 当退化之间会互相遮挡、互相伪装时,联合建模比串联模块更稳。 这也是该工作对后续 real-world restoration 的启发。

English Summary

This work addresses rain removal under mixed degradations: adherent raindrops on the lens and directional rain streaks in the scene.

Problem

Raindrops and rain streaks have different visual statistics. A two-stage pipeline can propagate residual artifacts or remove valid image details.

Core Idea

Remove both degradations jointly so the model can distinguish occlusion, streak-like noise, and real image structure in one restoration process.

Practical Takeaways

Real-world restoration benefits from modeling mixed degradations together, especially when different artifacts can imitate or mask each other.

Links