{ "_comment": "格式示例（虚构发明，仅演示字段、写法与粒度）。正式撰写时所有技术内容必须来自用户提供的论文。", "invention_name": "低照度图像增强方法、装置、电子设备及存储介质", "source_title": "示例论文：Multi-Scale Attention Retinex Network for Low-Light Image Enhancement", "abstract": "本发明公开了一种低照度图像增强方法、装置、电子设备及存储介质，涉及图像处理技术领域。该方法包括：获取待增强的低照度图像；利用光照估计网络得到光照图，并将低照度图像逐像素除以光照图得到反射分量；将反射分量输入多尺度注意力去噪网络，对至少两种尺度的特征按通道注意力权重加权融合，得到去噪反射分量；对光照图进行伽马校正后与去噪反射分量逐像素相乘，得到增强图像。本发明在提升图像亮度的同时抑制了暗区噪声的放大，可用于夜间监控图像的增强。", "abstract_figure": 1, "claims": [ "1.一种低照度图像增强方法，其特征在于，包括：获取待增强的低照度图像；将所述低照度图像输入光照估计网络，得到与所述低照度图像尺寸相同的光照图；将所述低照度图像逐像素除以所述光照图，得到反射分量；将所述反射分量输入多尺度注意力去噪网络，得到去噪反射分量，其中，所述多尺度注意力去噪网络对所述反射分量分别进行至少两种尺度的特征提取，并根据通道注意力权重对各尺度的特征进行加权融合；对所述光照图进行伽马校正，得到校正光照图，并将所述去噪反射分量与所述校正光照图逐像素相乘，得到增强图像。", "2.根据权利要求1所述的低照度图像增强方法，其特征在于，所述光照估计网络包括依次连接的三个卷积层和一个Sigmoid激活层，所述光照图中每个像素的取值范围为(0,1]。", "3.根据权利要求1所述的低照度图像增强方法，其特征在于，所述反射分量满足：R(x)=I(x)/max(L(x),ε)，其中，R(x)表示所述反射分量在像素位置x处的取值，I(x)表示所述低照度图像在像素位置x处的取值，L(x)表示所述光照图在像素位置x处的取值，ε为防止除零的正常数。", "4.根据权利要求1所述的低照度图像增强方法，其特征在于，所述至少两种尺度为卷积核大小分别为3×3、5×5和7×7的三种尺度；所述通道注意力权重通过对拼接后的多尺度特征依次进行全局平均池化、全连接运算和Sigmoid运算得到。", "5.根据权利要求1所述的低照度图像增强方法，其特征在于，所述校正光照图满足：L'(x)=L(x)^γ，其中，L'(x)表示所述校正光照图在像素位置x处的取值，γ为伽马值，γ=0.45。", "6.根据权利要求1至5中任一项所述的低照度图像增强方法，其特征在于，所述光照估计网络和所述多尺度注意力去噪网络通过以下步骤联合训练：获取成对的低照度训练图像和正常照度参考图像；以所述增强图像与所述正常照度参考图像之间的L1损失和结构相似性损失之和作为总损失，采用Adam优化器更新所述光照估计网络和所述多尺度注意力去噪网络的参数。", "7.一种低照度图像增强装置，其特征在于，包括：图像获取模块（301），用于获取待增强的低照度图像；光照估计模块（302），用于将所述低照度图像输入光照估计网络，得到与所述低照度图像尺寸相同的光照图；分解模块（303），用于将所述低照度图像逐像素除以所述光照图，得到反射分量；去噪模块（304），用于将所述反射分量输入多尺度注意力去噪网络，得到去噪反射分量，其中，所述多尺度注意力去噪网络对所述反射分量分别进行至少两种尺度的特征提取，并根据通道注意力权重对各尺度的特征进行加权融合；重建模块（305），用于对所述光照图进行伽马校正，得到校正光照图，并将所述去噪反射分量与所述校正光照图逐像素相乘，得到增强图像。", "8.一种电子设备，其特征在于，包括：至少一个处理器（401）；以及与所述至少一个处理器（401）通信连接的存储器（402）；其中，所述存储器（402）存储有可被所述至少一个处理器（401）执行的指令，所述指令被所述至少一个处理器（401）执行，以使所述至少一个处理器（401）能够执行权利要求1至6中任一项所述的低照度图像增强方法。", "9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至6中任一项所述的低照度图像增强方法。" ], "description": { "technical_field": "本发明涉及图像处理技术领域，具体涉及一种低照度图像增强方法、装置、电子设备及存储介质。", "background": [ "低照度图像是指在夜间、背光或室内弱光等光照不足条件下采集的图像，其整体亮度低、对比度差，并且由于成像传感器在弱光下的信噪比较低，图像暗区通常伴随明显的噪声。低照度图像增强旨在提高此类图像的亮度和可视性，是监控成像等应用中的基础图像处理环节。Retinex理论将图像建模为光照分量与反射分量的逐像素乘积，其中光照分量反映场景的照明情况，反射分量反映物体的固有属性，基于该理论的增强方法通过估计并调整光照分量来提升图像亮度。", "现有技术中，文献“Deep Retinex Decomposition for Low-Light Enhancement”（BMVC 2018）公开了一种基于深度学习的Retinex分解方法：利用分解网络将输入图像分解为光照分量和反射分量，利用增强网络调整光照分量，并对反射分量采用BM3D算法进行去噪，最后将二者相乘得到增强结果。", "然而，上述方法存在以下问题：其一，低照度图像中噪声的强度随局部亮度变化，暗区噪声远强于亮区，而固定参数的去噪算子对整幅反射分量采用同一去噪强度，导致暗区残留噪声或亮区细节被过度平滑；其二，提升亮度的同时，反射分量中的噪声会随光照调整被同步放大，造成增强结果中出现明显的彩色噪点，降低图像的可视性。" ], "invention_content": [ "本发明的目的在于提供一种低照度图像增强方法、装置、电子设备及存储介质，以解决现有技术中对反射分量采用固定去噪强度导致暗区噪声残留或细节过度平滑、增强过程中噪声被同步放大的问题。", "为实现上述目的，本发明提供如下技术方案：一种低照度图像增强方法，包括：获取待增强的低照度图像；将所述低照度图像输入光照估计网络，得到与所述低照度图像尺寸相同的光照图；将所述低照度图像逐像素除以所述光照图，得到反射分量；将所述反射分量输入多尺度注意力去噪网络，得到去噪反射分量，其中，所述多尺度注意力去噪网络对所述反射分量分别进行至少两种尺度的特征提取，并根据通道注意力权重对各尺度的特征进行加权融合；对所述光照图进行伽马校正，得到校正光照图，并将所述去噪反射分量与所述校正光照图逐像素相乘，得到增强图像。", "进一步地，所述光照估计网络包括依次连接的三个卷积层和一个Sigmoid激活层，所述光照图中每个像素的取值范围为(0,1]。", "进一步地，所述反射分量满足R(x)=I(x)/max(L(x),ε)，其中，ε为防止除零的正常数。", "进一步地，所述至少两种尺度为卷积核大小分别为3×3、5×5和7×7的三种尺度；所述通道注意力权重通过对拼接后的多尺度特征依次进行全局平均池化、全连接运算和Sigmoid运算得到。", "进一步地，所述校正光照图满足L'(x)=L(x)^γ，其中，γ=0.45。", "进一步地，所述光照估计网络和所述多尺度注意力去噪网络以增强图像与正常照度参考图像之间的L1损失和结构相似性损失之和作为总损失进行联合训练。", "本发明还提供一种低照度图像增强装置、一种电子设备以及一种计算机可读存储介质，分别用于实现或执行上述低照度图像增强方法。", "与现有技术相比，本发明的有益效果在于：第一，多尺度注意力去噪网络通过不同尺度的卷积提取反射分量中不同空间范围的噪声与纹理特征，并由通道注意力权重自适应地确定各尺度特征的贡献，使去噪强度能够随局部噪声水平变化，从而在抑制暗区噪声的同时保留亮区细节；第二，由于去噪在反射分量上、且在与校正光照图相乘之前完成，噪声不会随亮度提升被同步放大；第三，光照估计网络与去噪网络以重建损失联合训练，二者在增强目标上相互适配。在示例论文的LOL测试集上，本方法的峰值信噪比为23.1dB，高于对比方法的16.8dB。" ], "drawing_description": [ "为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单介绍。", "图1为本发明实施例提供的低照度图像增强方法的流程示意图；", "图2为本发明实施例提供的光照估计网络与多尺度注意力去噪网络的数据处理示意图；", "图3为本发明实施例提供的低照度图像增强装置的结构示意图；", "图4为本发明实施例提供的电子设备的结构示意图。" ], "embodiments": [ "下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。", "实施例一", "如图1所示，本实施例提供一种低照度图像增强方法，包括以下步骤S101至S105。", "步骤S101，获取待增强的低照度图像。本实施例中，低照度图像为由图像采集设备在弱光条件下采集的RGB图像，记为I，其每个像素在各颜色通道上的取值归一化至[0,1]。", "步骤S102，将低照度图像输入光照估计网络，得到与低照度图像尺寸相同的光照图。结合图2，光照估计网络包括依次连接的三个3×3卷积层和一个Sigmoid激活层，前两个卷积层之后采用ReLU激活函数，【待补充：光照估计网络各卷积层的通道数。】Sigmoid激活层使光照图L中每个像素的取值位于(0,1]之间。光照图用于表征场景中各位置的照明强度，为后续分解提供依据。", "步骤S103，将低照度图像逐像素除以光照图，得到反射分量。具体地，反射分量按下式计算：", { "formula": "R(x) = I(x) / max(L(x), ε)", "label": "（1）" }, "其中，R(x)、I(x)和L(x)分别表示反射分量、低照度图像和光照图在像素位置x处的取值，ε为防止除零的正常数，本实施例中ε=0.0001。由于低照度图像的暗区对应较小的光照值，逐像素相除会使暗区噪声在反射分量中被显著放大，因此需要在后续步骤中对反射分量进行去噪。", "步骤S104，将反射分量输入多尺度注意力去噪网络，得到去噪反射分量。结合图2，多尺度注意力去噪网络首先分别采用卷积核大小为3×3、5×5和7×7的三个并行卷积分支对反射分量进行特征提取，得到三个尺度的特征；然后将三个尺度的特征沿通道维度拼接，并依次进行全局平均池化、全连接运算和Sigmoid运算，得到通道注意力权重；再根据通道注意力权重对各尺度的特征进行加权融合，并经一个1×1卷积层输出去噪反射分量。较小尺度的卷积分支对局部细节敏感，较大尺度的卷积分支能够感知更大范围内的噪声统计特性，通道注意力权重使网络能够根据反射分量的内容自适应地调整各尺度特征的贡献，从而使暗区获得更强的去噪作用、亮区保留更多纹理细节。", "步骤S105，对光照图进行伽马校正，得到校正光照图，并将去噪反射分量与校正光照图逐像素相乘，得到增强图像。具体地，校正光照图按下式计算：", { "formula": "L'(x) = L(x)^γ", "label": "（2）" }, "其中，γ为伽马值，本实施例中γ=0.45。由于光照图的取值位于(0,1]之间，伽马值小于1的伽马校正能够提升暗区的光照值，从而提升增强图像的整体亮度；由于去噪在相乘之前已完成，提升亮度时不会放大噪声。", "本实施例中，光照估计网络和多尺度注意力去噪网络采用成对的低照度训练图像和正常照度参考图像进行联合训练，以增强图像与正常照度参考图像之间的L1损失和结构相似性损失之和作为总损失，采用Adam优化器，学习率为0.0001，批大小为16，共训练100个周期。", "为验证本实施例的效果，在LOL数据集的测试集上进行了测试，结果如表1所示。", { "table": [ [ "方法", "峰值信噪比（dB）", "结构相似性" ], [ "对比方法", "16.8", "0.56" ], [ "本实施例", "23.1", "0.83" ] ], "caption": "表1 不同方法在LOL测试集上的增强结果" }, "实施例二", "如图3所示，本实施例提供一种低照度图像增强装置300，包括图像获取模块301、光照估计模块302、分解模块303、去噪模块304和重建模块305。图像获取模块301用于获取待增强的低照度图像；光照估计模块302用于将低照度图像输入光照估计网络，得到与低照度图像尺寸相同的光照图；分解模块303用于将低照度图像逐像素除以光照图，得到反射分量；去噪模块304用于将反射分量输入多尺度注意力去噪网络，得到去噪反射分量；重建模块305用于对光照图进行伽马校正，得到校正光照图，并将去噪反射分量与校正光照图逐像素相乘，得到增强图像。各模块的具体实现方式与实施例一中的对应步骤相同，此处不再赘述。", "实施例三", "如图4所示，本实施例提供一种电子设备，包括至少一个处理器401以及与处理器401通信连接的存储器402。存储器402存储有可被处理器401执行的指令，指令被处理器401执行，以使处理器401能够执行实施例一所述的低照度图像增强方法。本实施例中，处理器401为图形处理器。", "本实施例还提供一种计算机可读存储介质，存储有计算机指令，该计算机指令用于使计算机执行实施例一所述的低照度图像增强方法。", "以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。" ] }, "drawings": [ { "figure_no": 1, "title": "本发明实施例提供的低照度图像增强方法的流程示意图", "type": "flowchart", "source": "论文§3方法概述", "nodes": [ { "id": "S101", "label": "S101 获取待增强的低照度图像" }, { "id": "S102", "label": "S102 将低照度图像输入光照估计网络，得到光照图" }, { "id": "S103", "label": "S103 将低照度图像逐像素除以光照图，得到反射分量" }, { "id": "S104", "label": "S104 将反射分量输入多尺度注意力去噪网络，得到去噪反射分量" }, { "id": "S105", "label": "S105 将去噪反射分量与校正光照图逐像素相乘，得到增强图像" } ], "edges": [ [ "S101", "S102" ], [ "S102", "S103" ], [ "S103", "S104" ], [ "S104", "S105" ] ] }, { "figure_no": 2, "title": "本发明实施例提供的光照估计网络与多尺度注意力去噪网络的数据处理示意图", "type": "block", "source": "论文图2（网络结构图）", "nodes": [ { "id": "in", "label": "低照度图像" }, { "id": "ill", "label": "光照估计网络" }, { "id": "L", "label": "光照图" }, { "id": "div", "label": "逐像素相除" }, { "id": "R", "label": "反射分量" }, { "id": "den", "label": "多尺度注意力去噪网络" }, { "id": "gam", "label": "伽马校正" }, { "id": "mul", "label": "逐像素相乘" }, { "id": "out", "label": "增强图像" } ], "edges": [ [ "in", "ill" ], [ "ill", "L" ], [ "in", "div" ], [ "L", "div" ], [ "div", "R" ], [ "R", "den" ], [ "L", "gam" ], [ "den", "mul" ], [ "gam", "mul" ], [ "mul", "out" ] ] }, { "figure_no": 3, "title": "本发明实施例提供的低照度图像增强装置的结构示意图", "type": "block", "container": { "ref": "300" }, "nodes": [ { "id": "m1", "label": "图像获取模块", "ref": "301" }, { "id": "m2", "label": "光照估计模块", "ref": "302" }, { "id": "m3", "label": "分解模块", "ref": "303" }, { "id": "m4", "label": "去噪模块", "ref": "304" }, { "id": "m5", "label": "重建模块", "ref": "305" } ], "edges": [ [ "m1", "m2" ], [ "m2", "m3" ], [ "m3", "m4" ], [ "m4", "m5" ] ] }, { "figure_no": 4, "title": "本发明实施例提供的电子设备的结构示意图", "type": "block", "nodes": [ { "id": "cpu", "label": "处理器", "ref": "401" }, { "id": "mem", "label": "存储器", "ref": "402" } ], "edges": [ { "from": "cpu", "to": "mem", "both": true } ] } ], "support_map": { "1": [ "论文§3.1 光照估计", "论文§3.2 多尺度注意力去噪", "论文式(1)", "论文式(4)", "论文图2" ], "2": [ "论文§3.1：three conv layers + Sigmoid" ], "3": [ "论文式(1)" ], "4": [ "论文§3.2：kernel sizes 3/5/7；SE-style channel attention" ], "5": [ "论文式(4)：gamma = 0.45" ], "6": [ "论文§3.3 损失函数与训练设置" ], "7": [ "与权利要求1对应的程序模块架构" ], "8": [ "论文§4.1 实验平台（GPU）；通用计算机载体" ], "9": [ "通用计算机载体" ] }, "gaps": [ "【待补充：光照估计网络各卷积层的通道数。】（具体实施方式步骤S102）" ], "notes": { "source": "示例论文（虚构）。正式使用时写明论文标题、作者、出处、版本（如 arXiv 版本号）。", "disclosure_status": "示例：论文尚未公开（投稿评审中，未上传arXiv）。建议在任何公开（含arXiv、会议出版、开源代码）之前提交申请。", "risks": [ "最接近的现有技术为背景技术中引用的Retinex分解方法；创造性取决于“多尺度注意力自适应去噪且在光照校正之前完成”这一区别特征，建议代理师补充检索同类多尺度注意力去噪方法。" ], "invention_points": [ "区别特征：对反射分量采用多尺度卷积+通道注意力加权融合进行去噪，并在伽马校正光照相乘之前完成去噪。", "技术问题：固定强度去噪导致暗区噪声残留或细节过平滑；增强时噪声被放大。", "技术效果：去噪强度随局部噪声自适应；提升亮度不放大噪声；LOL测试集峰值信噪比由16.8dB提升至23.1dB。" ], "claim_plan": [ "最接近的现有技术：背景技术中的Retinex分解方法（固定算子去噪）。", "权利要求1必要特征：光照估计→逐像素相除得到反射分量→多尺度注意力去噪（至少两种尺度+通道注意力加权融合）→伽马校正光照与去噪反射分量相乘。去噪发生在相乘之前，这是区别特征与效果的来源。", "实施例选择（不进权利要求1）：卷积层数量与Sigmoid（权利要求2）、3/5/7三种卷积核（权利要求4）、γ=0.45（权利要求5）、联合训练损失与优化器（权利要求6）。", "接口细节（仅在实施方式中）：归一化范围、ε取值、批大小与训练周期。" ], "handover": [ { "category": "技术细节", "item": "光照估计网络各卷积层的通道数（正文步骤S102处的【待补充】）", "why": "充分公开" } ], "sufficiency": [ { "claim": 1, "feature": "光照估计网络输出与输入同尺寸的光照图", "status": "disclosed", "where": "说明书步骤S102段；论文§3.1" }, { "claim": 1, "feature": "逐像素相除得到反射分量", "status": "disclosed", "where": "说明书式（1）；论文式(1)" }, { "claim": 1, "feature": "多尺度注意力去噪网络（尺度、通道注意力、加权融合）", "status": "disclosed", "where": "说明书步骤S104段；论文§3.2" }, { "claim": 2, "feature": "光照估计网络的三个卷积层", "status": "gap", "where": "说明书步骤S102段", "missing": "各卷积层的通道数" }, { "claim": 6, "feature": "联合训练", "status": "disclosed", "where": "说明书训练段；论文§3.3" } ], "worked_example": "" } }