咨询热线:0898-0663522100

苹果LiDAR应用解析:房间级AR、3D扫描、优化拍照

添加时间:2024-06-27 08:05:17

  伴随着昨天iPhone 12 Pro的发布,激光雷达这个词再一次频发的出现在社交平台和公众号文章中,而上次则是半年前的iPad Pro 2020发布时。

  即便是苹果硬件之最,大众目前对激光雷达并没有太深印象,它也不是消费者选择iPhone的关键,大家往往更看重拍照(这次Max底更大),屏幕大小等等因素。

  在iPad Pro 2020发布后,青亭网报道指出:激光雷达将是苹果通过iOS设备,开启房间级AR体验新篇章。

  然而AR眼镜并非短时间走进大众消费市场,苹果选择现在数量庞大的iOS设备中加入,进行探索和内容的积累,这里给开发者释放的信号就是:未来的AR眼镜就是围绕LiDAR展开。

  简单来说,激光雷达功能就是:测距。而测距功能可集成到AR应用中,还可以用于优化拍照、甚至3D扫描等。

  AR应用:凭借激光雷达快速测距特性,可让设备快速进入AR应用环境,减少等待时间;同时由于激光雷达更精准的测距表现,可以让AR应用虚实结合更逼真,提供更良好的遮挡表现等等;

  优化拍照:基于高精度的测距,可以提供更接近单反相机的、大光圈虚化效果,尤其是人像模式;

  随着iPhone 12 Pro发布,Snap今天正式宣布旗下内容创作平台Snap Lenses 3.2版本正式兼容LiDAR模组,创作者可充分利用LiDAR创作出更身临其境的AR体验。

  Snap表示:基于LiDAR、ARKit 3.5的能力,Snapchat可理解网格化的场景,理解环境中的对象几何性状,甚至理解场景的含义。基于这些理解能力,提升AR体验效果,例如光线投射功能,遮挡等。

  另外一个重点是,由于LiDAR这种纳秒级的场景定位能力结合A系列处理强大的性能,未来的AR可以同时放置多达1000个虚拟物体,这为未来大型LBS体验提供了必要基础。

  与此同时,Snap前不久还宣布在伦敦进行了一场大型多人LBS AR活动:City Painter,进入特定地点后即可在AR场景街道上进行涂鸦、装饰等,支持多人交互,玩法有趣。

  据了解,这场LBS AR活动是Snap基于全景的街景图像来建模,它基于AI算法将大量2D图像或全景图像重建成3D点云,以此来实现对立体空间的识别和建模。

  同时,iPad Pro 2020发布时,宜家《IKEA Place》展示了支持同时放置多个AR虚拟物体、《Hot Lava》展示了优秀的AR遮挡带来的沉浸式效果、《Shapr3D》展示了3D扫描对于CAD建模和设计上的巨大帮助等。

  在LiDAR帮助下,只需通过简单扫描即可快速创建和进入LBS AR大型场景之中,无疑极大的提升了AR体验。虽然iPad Pro 2020中的LiDAR有效探测距离为5米,但仍有助于大幅提升大空间AR、多人AR体验效果。

  LiDAR就是苹果来实现这些,炫酷的、极具未来感的AR功能,对于今后AR普及,以及多人AR体验有着至关重要的作用。

  优化拍照实际上是广大消费者最为看重的一个功能,iPhone 12 Pro中LiDAR发挥的作用是:提升人像和黑暗环境拍照。

  这点比较容易理解,由于可以理解环境深度,就可提升低光环境的自动对焦速度(宣称最大提升6倍),开始支持夜间人像模式,可以更清晰的获得人物轮廓等。

  今天我们要讲的就是3D扫描,实际上带有“刘海儿”的iPhone设备早已加入前置3D传感模组“原深感相机”,当时也有一些应用通过其前置模组实现3D扫描拍摄功能,但是效果并不算理想。

  而在安卓方面,更是早于iPhone多年就开始配备ToF传感器,只不过给了安卓“硬件”,但没有生态,比如早期的OPPO R17 Pro就联合高德推出AR步行导航、AR体验感游戏、荣耀V20支持3D建模、3D美体拍照、3D体感游戏等、三星S20+也支持3D建模、AR测距等,实际使用几乎没有什么可玩性。

  虽然苹果AR应用普及率和活跃率依然很高,但不得不承认,当前的AR生态依然很小。

  此前也有很多类似的看房应用采用全景方案,这里说的扫描结果“没有准确的深度”,不能准确记录下场景内每个地点的深度信息。当然,这并不影响它们可以带来很好的画面呈现效果,比如应用在全景看房、博物馆、历史纪念馆等场景扫描方面就有很高的价值。例如《REscan》、《Matterport Capture》、《3D Scanner》等应用。

  实际上,苹果也为iPad Pro 2020提供了激光雷达扫描的基础框架,而《Polycam》特点在于:扫描速度更快。

  Polycam创始人Chris Heinrich发推表示:《Polycam》将网格数据转换为纹理的速度比其它同类应用快5倍。

  Heinrich谈到:《Polycam》比较适合扫描房间、大型物体,未来还会支持更大场景扫描、以及更小的例如人脸面部细节的扫描。目前仍在开发一些新的功能,未来几周将会上线。

  感兴趣的朋友可以点击进入Sketchfab页面查看,从中可以发现细节部分的处理并不完善,例如规则的地砖现实并不错位,花丛部分缺失,汽车纹理错位等。

  当然,LiDAR可以更好的理解和呈现出这些3D场景扫描,虽然目前还不完美,但无疑展示了未来的技术融合方向。raybet最佳电子竞技平台


本文由:雷竞技打印公司提供