这里是FoxFeed，一个专注于科技的内容平台。

背景介绍

在计算机视觉领域，深度估计一直是一个重要的研究方向。近日，由DepthAnything团队开发的PromptDA项目引起了广泛关注。该项目通过创新的提示机制，实现了4K分辨率的精准深度估计，为3D重建、机器人抓取等应用带来了新的可能性 。

项目亮点

• 4K分辨率深度估计：PromptDA能够在4K分辨率下进行精准的深度估计，远超现有技术的表现。
• 多模型支持：项目提供了多个预训练模型，包括大型模型和小型模型，满足不同场景的需求。
• 透明物体处理：通过进一步微调，PromptDA在透明物体的深度估计上表现出色。
• 开源代码：项目代码完全开源，开发者可以轻松集成到自己的应用中。

如何使用PromptDA？

安装步骤

首先，克隆项目并安装依赖：

git clone https://github.com/DepthAnything/PromptDA.git
cd PromptDA
pip install -r requirements.txt
pip install -e .
sudo apt install ffmpeg  # 用于视频生成

示例代码

以下是一个简单的使用示例：

from promptda.promptda import PromptDA
from promptda.utils.io_wrapper import load_image, load_depth, save_depth

DEVICE = 'cuda'
image_path = "assets/example_images/image.jpg"
prompt_depth_path = "assets/example_images/arkit_depth.png"
image = load_image(image_path).to(DEVICE)
prompt_depth = load_depth(prompt_depth_path).to(DEVICE) # 192x256, ARKit LiDAR depth in meters

model = PromptDA.from_pretrained("depth-anything/prompt-depth-anything-vitl").to(DEVICE).eval()
depth = model.predict(image, prompt_depth) # HxW, depth in meters

save_depth(depth, prompt_depth=prompt_depth, image=image)

使用自己的数据

你可以使用Stray Scanner App来捕获自己的数据，并通过以下步骤生成视频结果：

export PATH_TO_ZIP_FILE=data/8b98276b0a.zip # 替换为你自己的zip文件路径
export PATH_TO_SAVE_FOLDER=data/8b98276b0a_results # 替换为你自己的保存文件夹路径
python3 -m promptda.scripts.infer_stray_scan --input_path ${PATH_TO_ZIP_FILE} --output_path ${PATH_TO_SAVE_FOLDER}
python3 -m promptda.scripts.generate_video process_stray_scan --input_path ${PATH_TO_ZIP_FILE} --result_path ${PATH_TO_SAVE_FOLDER}
ffmpeg -framerate 60 -i ${PATH_TO_SAVE_FOLDER}/%06d_smooth.jpg  -c:v libx264 -pix_fmt yuv420p ${PATH_TO_SAVE_FOLDER}.mp4

项目资源

• 项目主页: https://promptda.github.io/
• 论文: https://promptda.github.io/assets/main_paper_with_supp.pdf
• Hugging Face Demo: https://huggingface.co/spaces/depth-anything/PromptDA
• 交互式结果: https://promptda.github.io/interactive.html
• 数据: https://promptda.github.io/

引用

如果你在研究中使用了PromptDA，请引用以下论文：

@inproceedings{lin2024promptda,
  title={Prompting Depth Anything for 4K Resolution Accurate Metric Depth Estimation},
  author={Lin, Haotong and Peng, Sida and Chen, Jingxiao and Peng, Songyou and Sun, Jiaming and Liu, Minghuan and Bao, Hujun and Feng, Jiashi and Zhou, Xiaowei and Kang, Bingyi},
  journal={arXiv},
  year={2024}
}

如果你喜欢这篇文章，请点赞并分享给你的朋友们！