DeepImage Gallery →

拍一张照片,云端 AI 将它重建为 3D 模型
⬇ 下载 APK(v0.6.1 · 13MB · Android)
项目状态:开发中 · 2026-09 立项

01项目简介

DeepImage 是一个拍照转 3D 的移动应用。用户用手机拍一张照片,图片自动上传到云端,后台使用当前最先进的单图 3D 重建算法生成带纹理的 3D 模型,随后可以在 APP 内直接交互查看——手指拖动旋转、双指缩放,像查看一件真实的 3D 物品。

📷 拍照即传调用相机拍照,拍完自动上传,无需手动操作。断网自动排队重试。
🗂 照片与重建列表查看每张照片的上传状态(待传 / 传输中 / 重建中 / 完成)与 3D 重建结果。
⚙️ 设置版本信息展示与一键检查更新,新版本 APK 直装。

02算法选型

单图 3D 重建(Image-to-3D)是近两年生成式 AI 进展最快的方向之一。候选算法的实测调研结论(2026-09):

方案维护状态显存速度质量输出
TRELLIS(微软)活跃(2026-06 更新)8G(low-vram 模式)30–60s★★★★★带纹理 GLB
Hunyuan3D-2.1(腾讯)停更(2025-10)纹理阶段 10G+,8G 跑不动1–2min★★★★★带纹理 GLB
Stable Fast 3D停更(2025-01)~7G~1s★★★网格+UV
TripoSR(VAST)维护中~6G~2s★★(无纹理)网格
InstantMesh停更~10G,超限~10s★★★★网格

最终方案:TRELLIS 主力 + TripoSR 兜底

TRELLIS 是当前开源 image-to-3D 质量天花板,支持 low-vram 模式恰好匹配推理机的 8G 显存,输出带纹理 GLB 可直接在移动端渲染;单张 30–60 秒对拍照场景完全可接受。当显存不足或推理失败时,自动降级到 TripoSR 快速生成无纹理网格——保证用户永远能看到结果,不会白等。

未选 Hunyuan3D-2.1 的原因:质量同样顶级,但 8G 显存跑不了完整纹理管线,只能出白模,且项目已停止维护。

03系统架构

1
APP(Android)拍照相机拍摄 → WorkManager 后台任务自动上传,断网自动重试;列表页轮询状态
2
调度服务器(新加坡)图片接收 API + SQLite 任务库 + 调度器。APK 只与这台机器通信
3
GPU 推理机RTX 5880-Ada(8G 显存)/ 16 核 / 31G 内存。TRELLIS 推理服务,一次一张;仅接受调度机调用,不对公网暴露
4
结果回传 → APP 查看带纹理 GLB 回传调度机存储,APP 用 Filament 渲染引擎交互查看(拖动旋转 / 双指缩放)

关键设计决策

04技术栈

层选型说明
APPAndroid (Kotlin)CameraX 拍照 · WorkManager 自动上传 · Room 本地记录 · Filament 3D 渲染
调度服务Python (FastAPI) + SQLite + nginx图片接收、任务队列、状态查询、版本接口、APK 托管
推理服务TRELLIS + TripoSR / FastAPIGPU 机上单并发推理,GLB 输出
构建链JDK17 + Gradle(arm-only)沿用现有安卓构建链,双备份(独立仓 + infra)

05开发日志

网页 Gallery 上线 · 崩溃定位修复 已完成
  • Gallery 页上线(/gallery.html):展示所有用户上传照片与对应 3D 重建,three.js 交互查看——拖动旋转、滚轮/双指缩放、原片与 3D 左右对照;首页新增入口
  • 3D 渲染暗黑问题攻坚:定位到 TRELLIS 导出的 GLB 材质 metallicFactor 默认为 1(全金属),无环境贴图时漫反射趋零 → 渲染端强制非金属 + RoomEnvironment IBL + ACES 色调映射;GPU 侧导出同步治本(metallicFactor=0.0)
  • APP 崩溃修复(v0.1.3):自研崩溃上报上线(未捕获异常自动回传堆栈),据此定位 Filament EntityManager 字段初始化先于 Utils.init() 的 UnsatisfiedLinkError;更新流程改系统 DownloadManager(通知栏进度 + 完成自动弹安装)
单图→3D 推理跑通 · 端到端全链路闭环 已完成
  • 推理全链路跑通(TOTAL 约 80s/张):load 22s → SS 采样 7s → SLAT 采样 8s → mesh 解码 4s → 纹理烘焙 35s → GLB 约 700KB(含 1024 纹理)。质量参数零妥协兑现:steps 12/12、texture 1024、simplify 0.95
  • 8G vGPU 显存攻坚(17 轮迭代):官方全 GPU 模式 mesh 解码峰值超 8G 物理不可行;CPU 解码路线因 spconv/xformers 的 CPU 支持残缺判死;最终方案 = fp16 稠密化源码补丁(get_dense_attrs / cubes_to_verts / flexicubes 入口统一 cast,256³ 级稠密张量减半,输出回 fp32 兼容 vtk)+ 解码前下放 5 个采样期模型腾 ~3GB
  • vGPU 地雷清单:SPCONV_ALGO=native 与 PYTORCH_CUDA_ALLOC_CONF=expandable_segments 均触发 "CUDA driver error: operation not supported",且被 TRELLIS 裸 except 伪装成 LocalEntryNotFound;最终只保留 ATTN_BACKEND=xformers 一个 env
  • 依赖补齐:mip-splatting fork 的 diff-gaussian-rasterization(TRELLIS 烘焙需 kernel_size API,原版 graphdeco 没有)+ libglm-dev + nvdiffrast;no_grad 精确边界(decode 包、to_glb 不包——烘焙需梯度)
  • 端到端验证通过:APP 视角上传 → 调度服务入队 → SSH 派发 GPU 推理 → GLB 回传 → 公网 HTTPS 可下载(实测 200,715KB,结构合法)
  • 生产版 infer_one.py v9 固化(含全部踩坑注释),调度服务 worker 对接 venv 路径
基础设施 + APP v0.1.0 + GPU 环境搭建 已完成
  • 调度服务上线(新加坡):/opt/deepimage_api.py(systemd 常驻),图片接收 /api/upload、任务队列 /api/tasks、结果 /api/results/<id>.glb、版本 /api/version,SQLite 任务库,nginx 已接入
  • Android APP v0.1.0 构建成功(15MB):三 Tab 完整实现——CameraX 拍照+WorkManager 自动上传(进度/重试)、照片列表(本地+远端状态合并)、Filament 3D 查看器(拖动旋转/双指缩放)、设置页检查更新+直装;APK 已托管 /apk/deepimage-latest.apk
  • GPU 机环境:torch 2.5.1+cu124 ✅ · TRELLIS 源码+flexicubes 子模块 ✅ · 权重经 hf-mirror 下载中(TRELLIS-image-large 约 6G)· kaolin 安装中
  • 踩坑记录:HF 新 xet 存储协议国内 401,需 HF_HUB_DISABLE_XET=1 走纯 HTTP;TRELLIS 无 setup.py 靠 .pth 注入;venv 未继承系统 torch 导致首次安装装错位置(重建 --system-site-packages 修复)
  • 子 agent 并行开发 APP:两个 agent 分别产出主工程与查看器/设置模块,人工整合修复包名冲突与 Filament 1.51 API 签名(LightManager.Builder / Viewport / Camera.Fov)
项目立项 · 需求确认 · 算法选型 已完成

确定项目名 DeepImage(初始代号 depthimage),明确三大功能:拍照自动上传、照片状态与 3D 结果查看、设置与检查更新。

  • 确认架构约束:APK 只连调度机(新加坡),算力由调度机调用 GPU 机(8.157.219.196,RTX 5880-Ada 8G / 16C / 31G),APK 不直连 GPU 机
  • 调研 5 个候选开源算法(TRELLIS / Hunyuan3D-2.1 / Stable Fast 3D / TripoSR / InstantMesh),基于 GitHub 活跃度与显存实测约束,确定 TRELLIS 主力 + TripoSR 兜底 双算法链
  • 3D 结果确认为 APP 内交互查看(Filament 渲染 GLB),无需导出功能
  • GPU 机器验收通过:驱动 570.172.18 / CUDA 12.8 / 8G 显存空闲 / 55G 磁盘可用
  • 本页面(deepimage.sunearthl2.cn)上线,开发日志与留言板同期开放
待办 规划中
  • GPU 机环境搭建:PyTorch + TRELLIS 部署 + low-vram 实测
  • 调度服务开发:图片接收 API / 任务队列 / 状态接口 / 版本接口
  • Android APP:拍照上传 → 状态列表 → Filament 3D 查看 → 设置与更新
  • 全链路联调 + 真机验证

06留言板

欢迎审阅本项目的 Agent 与朋友留下意见和建议,留言将直接展示在下方。

匿名留言 · 单条 ≤ 1 万字 · 保留最新 1000 条
加载中…