轻舟

【WWDC23 10191】在 iOS 上使用 Object Capture

本文基于 WWDC23 Session 10191 - Meet Object Capture for iOS 梳理

相关 Session ： WWDC 21 Session 10076 - Create 3D models with Object Capture WWDC 21 Session 10078 - AR Quick Look, meet Object Capture WWDC 23 Session 10083 - Meet Reality Composer Pro

概述

新特性

1. 使用激光雷达来扫描更多对象（More Objects With LiDAR）

2. 对象采集引导（Guided Capture）

3. iOS API

import RealityKit
import SwiftUI 

// 初始化 Session
var session = ObjectCaptureSession()
// 初始化 Configuration
var configuration = ObjectCaptureSession.Configuration()
// 配置一个检查点目录，可以用于后续步骤中加快重建过程
configuration.checkpointDirectory = getDocumentsDir().appendingPathComponent("Snapshots/")
// 配置图片路径，开启采集流程
session.start(imagesDirectory: getDocumentsDir().appendingPathComponent("Images/"),
              configuration: configuration)
// session 状态变为 ready

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
        if case .ready = session.state {
            CreateButton(label: "Continue") { 
                session.startDetecting() 
            }
        }
    }
}

var body: some View {
    ZStack {
        ObjectCaptureView(session: session)
        if case .ready = session.state {
            CreateButton(label: "Continue") { 
                session.startDetecting()
            }
        } else if case .detecting = session.state {
            CreateButton(label: "Start Capture") { 
                session.startCapturing()
            }
        }
    }
}

• beginNewScanPassAfterFlip() 方法对应需要翻转的情况，在这种情况下，需要将物体翻转再录制底部或者顶部，这个方法 session 会切换回 Ready 状态，重新开始录制流程。

• beginNewScanPass() 方法对应不需要翻转的情况，这种情况我们需要在不同的高度对物体进行采集，此时 session 仍然处于 Capturing 状态，因为边界框没有更改。

var body: some View {
    if session.userCompletedScanPass {
        VStack {
            ObjectCapturePointCloudView(session: session)
            CreateButton(label: "Finish") {
                session.finish() 
            }
        }
    } else {    
        ZStack {
            ObjectCaptureView(session: session)
        }
    }
}

var body: some View {
    ReconstructionProgressView()
        .task {
						// 初始化配置
            var configuration = PhotogrammetrySession.Configuration()
						// 和采集设置成同一个检查点目录，加快重建过程（可选）
            configuration.checkpointDirectory = getDocumentsDir()
                .appendingPathComponent("Snapshots/")
						// 初始化 PhotogrammetrySession，并且设置素材图片的路径
            let session = try PhotogrammetrySession(
                input: getDocumentsDir().appendingPathComponent("Images/"),
                configuration: configuration)
						// 开始处理，设置模型输出路径，名称和格式
            try session.process(requests: [ 
                .modelFile(url: getDocumentsDir().appendingPathComponent("model.usdz")) 
            ])
						// 监听 session 的状态和错误，以及输出的结果。
            for try await output in session.outputs {
                switch output {
                    case .processingComplete:
                        handleComplete()
                        // Handle other Output messages here.
                }}}}

// Capturing for Mac

var configuration = ObjectCaptureSession.Configuration()
configuration.isOverCaptureEnabled = true

session.start(imagesDirectory: getDocumentsDir().appendingPathComponent("Images/"),
              configuration: configuration)

4. 重建增强（Reconstruction enhancements）

• 姿势输出：现在我们可以为每张图片申请一个高质量的姿势。每个姿势基于 Apple 计算机视觉算法对该图像对应的摄像机的估计位置和方向生成。要获得姿势，在 process() 函数调用中添加一个姿势请求，姿势将在模型生成前返回，我们可以在 pose 到达输出信息流时处理。

try session.process(requests: [ 
    .poses 
    .modelFile(url: modelURL),
])
for try await output in session.outputs {
    switch output {
    case .poses(let poses):
        handlePoses(poses)
    case .processingComplete:
        handleComplete()
    }
}

• 自定义细节级别：macOS 增加了一个新的自定义细节级别，我们能够完全控制重建的模型。以前，可以选择减少、中等、完全和原始细节级别。有了自定义细节级别，我们可以控制网格的抽取量、纹理图的分辨率、格式，以及哪些纹理图应该被包括在内。

最佳实践

设备限制

// 是否支持 ObjectCaptureSession
ObjectCaptureSession.isSupported
// 是否支持 PhotogrammetrySession
PhotogrammetrySession.isSupported

目标采集

• 具备足够的纹理

• 表面避免反光

• 避免选择透明物体

• 避免非常薄的物体

• 选择良好的照明环境，建议在漫反射光环境下

• 拍摄时，缓慢平稳的围绕物体运动，避免图像模糊

• 保持合适的距离，保持物体在相机范围内

• 合理判断物体是否需要翻转，一般来说，如果是容易形变的物体，建议不要翻转，以及对称或者有重复纹理的物体，翻转可能会对系统产生误导，这种也不建议翻转采集。

• 如果物体可以翻转，建议从顶部，侧面，底部三个面进行扫描，得到整体的图像。

• 如果物体不可以翻转，建议从不同的高度来捕捉它，来获得不同视角的图像。

• 对于没有纹理的物体，建议放在有纹理的背景下，这样就会很突出，更容易采集。

• 如果模型需要在 Mac 上生成，使用 isOverCaptureEnabled 属性来采集更多的图像。

模型重建

• 如果使用 iOS 设备采集，在 Mac 上重建，可以使用 isOverCaptureEnabled 属性，可以采集更多图像。

• 在 iOS 上重建仅支持 reduced 级别模型，如果需要用于游戏等更多专业级场景，建议在 Mac 上进行建模。

• 如果想要在 Mac 上直接使用重建功能，不需要写代码，可以直接使用 Reality Composer Pro 应用。

• 如果想要自定义网格的抽取量、纹理图的分辨率、格式等，可以设置 PhotogrammetrySession.Configuration.CustomDetailSpecification。

总结