苹果希望使真实物体和苹果AR物体之间的连接无缝化，这样当用户点击一个特定的虚拟控件时，系统每次都能正确地进行操作。许多苹果AR专利和专利申请都与呈现给用户的东西以及它们可以做什么有关。因此，在一些例子中，苹果希望使现实世界中任何物体任何表面都能进行触摸控制。

　　不过，所有这些都需要准确性。当用户看到一个虚拟物体并认为他们已经拿起了它，苹果AR必须知道这一点。它必须确切地知道这一点，这样它才能在新的位置上为虚拟物体制作动画。“基于肢体追踪信息和眼球追踪信息的用户控制空间选择器定位”是一项新披露的苹果专利申请，它提出使用两种不同的方法来精确定位用户的触摸位置。

　　苹果在专利当中表示，目前AR应用没有提供一种机制，来准确地确定虚拟物体和用户控制器之间虚拟接触的空间位置，目前的应用程序也没有提供一种机制来准确地确定虚拟接触发生的时间。一些系统利用肢体跟踪来估计用户的肢体相对于虚拟物体的位置，然而，由四肢跟踪提供的估计是不准确的，因此关于用户是否在选择虚拟物体的评估也同样是不准确的。

　　目前四肢追踪可以通过手套内的加速度传感器来完成，但即使如此，它仍然是近似的。苹果希望采用一种四肢追踪器，但也要用眼球追踪来补充。苹果在其 "苹果眼镜"的专利中广泛使用了眼球追踪，而这项专利申请并没有详细说明它的工作原理。相反，它显示了眼球和凝视跟踪如何协助对用户的手或手指的位置进行精确的空间计算。

　　根据这个建议，几乎所有的表面都可以被用来显示任何控件。显示一个虚拟控件是一回事，确定用户是否触摸了它又是另一回事。

　　苹果认为你伸手拿起一个虚拟的杯子，或者你想按下一个虚拟的按钮，你很肯定是在看它。这不一定是事实，但在绝大多数情况下，当你的手指走向某个东西时，你的眼睛就在看这个东西。根据这一思路，几乎所有的表面都可以被制成显示任何控制装置。但是显示虚拟控制是一回事，确定用户是否触摸了它是另一回事。因此，苹果公司建议使用肢体追踪，但在确定一个物体和一个用户彼此之间的关系时，使用两个系统。它利用了四肢追踪功能和眼球追踪功能的加权组合。

　　苹果AR不是简单地加入眼球追踪信息来使系统更准确，而是确实要对信息的组合进行加权，因此不太可能出现四肢追踪比与眼球追踪结合时更准确的情况，比如当眼球追踪数据显示用户正在看周边的时候，电子设备会放弃四肢追踪信息，这可能表明用户在那个时间点很可能不想选择一个虚拟物品。