HPRC: High-Fidelity Neural Rendering Pipeline on Mobile

角色： 独立开发者 (Solo) & 技术策划 技术栈： UE 5.5 Source (C++), PyTorch, HLSL, Python

关键词： 引擎底层改造 | 工业化管线 | 渲染性能优化 | AIGC 工作流

📖 项目背景

针对移动端开放世界场景中，“高画质”与“高性能”的博弈痛点。传统 Lightmap 显存占用过大，限制了关卡策划对复杂光影场景的设计空间。 本项目旨在通过 AIGC 辅助工具与 INR 技术，构建一套“策划友好型”的神经渲染管线。在移动端实现毫秒级实时推理，旨在探索为设计团队争取更多的性能预算的解决方案。

核心目标： 在保证 PSNR > 60dB (超高保真) 的前提下，实现极致的资产压缩与运行时性能。

🧠Pipeline Architecture(端到端管线设计)：

graph TD
    %% 定义样式
    classDef offline fill:#2d3748,stroke:#4fd1c5,stroke-width:2px,color:white;
    classDef runtime fill:#1a202c,stroke:#ed8936,stroke-width:2px,color:white;
    classDef bridge fill:#4a5568,stroke:#a0aec0,stroke-dasharray: 5 5,color:white;

    subgraph "Offline Training (Python)"
        Py_Data([Raw Lightmaps]):::offline
        Py_Train[ExampleTrain.py]:::offline
        Py_Chk(checkpoint.pt):::offline
        Py_Export[ExportToUE.py]:::offline
        
        Py_Data --> Py_Train
        Py_Train --> Py_Chk
        Py_Chk --> Py_Export
    end

    subgraph "Asset Bridge (Data)"
        Bridge_Bin(featuremap.bin / _mlp_params.bin):::bridge
    end

    subgraph "Runtime Inference (UE5 C++ & Shader)"
        Runtime_UE[UHPRCLoader]:::runtime
        Tex_Feat[Feature Texture]:::runtime
        Tex_Weight[Float32 Weight Texture]:::runtime
        Shader_Core[BasePassPixelShader.usf]:::runtime
        Screen(Final Pixel):::runtime

        Runtime_UE --> Tex_Feat
        Runtime_UE --> Tex_Weight
        Tex_Feat & Tex_Weight --> Shader_Core
        Shader_Core -.->|Inference| Screen
    end

    %% 连接各部分
    Py_Export ==>|Binary Protocol Zero-Copy| Bridge_Bin
    Bridge_Bin ==>|HPRC Loader| Runtime_UE

--------------------------------------------------------------------------------

### **🛠️ 核心技术攻坚**

- **1. 工业级资产管线 (Pipeline Stability)**
    - **二进制协议制定：** 设计 GRID (0x47524944) 协议，解决 Python/C++ 跨语言解析风险。
    
    ![image.png](attachment:25faf11f-6260-4e58-831a-60244bbd7c7a:image.png)
    
    - **DCC 工具链开发：** 实现“零拷贝”全自动化流转，**让美术/策划只需“一键导出”，无需关心底层配置**。✨
    
    ![image.png](attachment:4f3c647a-7a7b-49b6-a965-a1b024cbbcb2:image.png)
    
    - **“软着陆”容错机制：** 实现资产自适应插值。**确保在多人协作的开发环境下，即使资产配置错误也能保持编辑器运行**，**避免团队因资产问题卡住工作流程。**
- **2. 引擎底层改造 (Engine Modification)**
- **解决 ABI 兼容性危机：** 修复了编辑器 ODR 违例与 Stack Cookie 踩踏问题，确保底层稳定性。

![image.png](attachment:866c9a73-7d0f-4353-bc0f-17b371ac0b4f:image.png)

- **渲染线程数据封送：** 重构底层构造函数，解决 API Drift 问题。
- **3. Shader 开发与优化 (Optimization)**
    - **FP16 半精度 & O(1) 显存架构：** 全管线性能优化。

### **🏆 项目成果与设计价值**  ✨

- **📉 性能预算红利：** 单张 Lightmap 压缩至 0.7MB (93% Compression)，**节省的显存预算允许关卡策划在同屏堆叠更多互动组件或特效**。✨
- **👁️ 视觉上限突破：** 60dB+ 的 PSNR 还原度，**支撑了美术实现更具电影感的叙事光影，无需在移动端做画质妥协**。✨