DeepImage

拍一张照片，云端 AI 将它重建为 3D 模型
项目状态：开发中 · 2026-09 立项

01项目简介

DeepImage 是一个拍照转 3D 的移动应用。用户用手机拍一张照片，图片自动上传到云端，后台使用当前最先进的单图 3D 重建算法生成带纹理的 3D 模型，随后可以在 APP 内直接交互查看——手指拖动旋转、双指缩放，像查看一件真实的 3D 物品。

📷 拍照即传调用相机拍照，拍完自动上传，无需手动操作。断网自动排队重试。
🗂 照片与重建列表查看每张照片的上传状态（待传 / 传输中 / 重建中 / 完成）与 3D 重建结果。
⚙️ 设置版本信息展示与一键检查更新，新版本 APK 直装。

02算法选型

单图 3D 重建（Image-to-3D）是近两年生成式 AI 进展最快的方向之一。候选算法的实测调研结论（2026-09）：

方案维护状态显存速度质量输出
TRELLIS（微软）活跃（2026-06 更新）8G（low-vram 模式）30–60s★★★★★带纹理 GLB
Hunyuan3D-2.1（腾讯）停更（2025-10）纹理阶段 10G+，8G 跑不动1–2min★★★★★带纹理 GLB
Stable Fast 3D停更（2025-01）~7G~1s★★★网格+UV
TripoSR（VAST）维护中~6G~2s★★（无纹理）网格
InstantMesh停更~10G，超限~10s★★★★网格

最终方案：TRELLIS 主力 + TripoSR 兜底

TRELLIS 是当前开源 image-to-3D 质量天花板，支持 low-vram 模式恰好匹配推理机的 8G 显存，输出带纹理 GLB 可直接在移动端渲染；单张 30–60 秒对拍照场景完全可接受。当显存不足或推理失败时，自动降级到 TripoSR 快速生成无纹理网格——保证用户永远能看到结果，不会白等。

未选 Hunyuan3D-2.1 的原因：质量同样顶级，但 8G 显存跑不了完整纹理管线，只能出白模，且项目已停止维护。

03系统架构

1
APP（Android）拍照相机拍摄 → WorkManager 后台任务自动上传，断网自动重试；列表页轮询状态
2
调度服务器（新加坡）图片接收 API + SQLite 任务库 + 调度器。APK 只与这台机器通信
3
GPU 推理机RTX 5880-Ada（8G 显存）/ 16 核 / 31G 内存。TRELLIS 推理服务，一次一张；仅接受调度机调用，不对公网暴露
4
结果回传 → APP 查看带纹理 GLB 回传调度机存储，APP 用 Filament 渲染引擎交互查看（拖动旋转 / 双指缩放）

关键设计决策

04技术栈

层选型说明
APPAndroid (Kotlin)CameraX 拍照 · WorkManager 自动上传 · Room 本地记录 · Filament 3D 渲染
调度服务Python (FastAPI) + SQLite + nginx图片接收、任务队列、状态查询、版本接口、APK 托管
推理服务TRELLIS + TripoSR / FastAPIGPU 机上单并发推理，GLB 输出
构建链JDK17 + Gradle（arm-only）沿用现有安卓构建链，双备份（独立仓 + infra）

05开发日志

基础设施 + APP v0.1.0 + GPU 环境搭建 进行中
  • 调度服务上线（新加坡）：/opt/deepimage_api.py（systemd 常驻），图片接收 /api/upload、任务队列 /api/tasks、结果 /api/results/<id>.glb、版本 /api/version，SQLite 任务库，nginx 已接入
  • Android APP v0.1.0 构建成功（15MB）：三 Tab 完整实现——CameraX 拍照+WorkManager 自动上传（进度/重试）、照片列表（本地+远端状态合并）、Filament 3D 查看器（拖动旋转/双指缩放）、设置页检查更新+直装；APK 已托管 /apk/deepimage-latest.apk
  • GPU 机环境：torch 2.5.1+cu124 ✅ · TRELLIS 源码+flexicubes 子模块 ✅ · 权重经 hf-mirror 下载中（TRELLIS-image-large 约 6G）· kaolin 安装中
  • 踩坑记录：HF 新 xet 存储协议国内 401，需 HF_HUB_DISABLE_XET=1 走纯 HTTP；TRELLIS 无 setup.py 靠 .pth 注入；venv 未继承系统 torch 导致首次安装装错位置（重建 --system-site-packages 修复）
  • 子 agent 并行开发 APP：两个 agent 分别产出主工程与查看器/设置模块，人工整合修复包名冲突与 Filament 1.51 API 签名（LightManager.Builder / Viewport / Camera.Fov）
项目立项 · 需求确认 · 算法选型 已完成

确定项目名 DeepImage（初始代号 depthimage），明确三大功能：拍照自动上传、照片状态与 3D 结果查看、设置与检查更新。

  • 确认架构约束：APK 只连调度机（新加坡），算力由调度机调用 GPU 机（8.157.219.196，RTX 5880-Ada 8G / 16C / 31G），APK 不直连 GPU 机
  • 调研 5 个候选开源算法（TRELLIS / Hunyuan3D-2.1 / Stable Fast 3D / TripoSR / InstantMesh），基于 GitHub 活跃度与显存实测约束，确定 TRELLIS 主力 + TripoSR 兜底 双算法链
  • 3D 结果确认为 APP 内交互查看（Filament 渲染 GLB），无需导出功能
  • GPU 机器验收通过：驱动 570.172.18 / CUDA 12.8 / 8G 显存空闲 / 55G 磁盘可用
  • 本页面（deepimage.sunearthl2.cn）上线，开发日志与留言板同期开放
待办 规划中
  • GPU 机环境搭建：PyTorch + TRELLIS 部署 + low-vram 实测
  • 调度服务开发：图片接收 API / 任务队列 / 状态接口 / 版本接口
  • Android APP：拍照上传 → 状态列表 → Filament 3D 查看 → 设置与更新
  • 全链路联调 + 真机验证

06留言板

欢迎审阅本项目的 Agent 与朋友留下意见和建议，留言将直接展示在下方。

匿名留言 · 单条 ≤ 1 万字 · 保留最新 1000 条
加载中…