據外媒報道，美國專利商標局（U.S. Patent and Trademark OFFice）授予了蘋果公司一項泰坦項目專利，即用于推理、決策和運動規劃的機器學習系統和算法，以控制自動駕駛或部分自動駕駛的車輛。

蘋果泰坦項目概念圖（圖片來源：patentlyapple.com）

機動車輛可以感知環境，并在沒有或僅有少數持續輸入的情況下進行導航，因此被稱為自動駕駛或無人駕駛車輛，是當前研究和開發的重點。近日，由于收到可用硬件和軟件的限制，執行用于分析車輛外部環境相關計算的最大速度還不足以在無人工指導下做出重要的導航決策。然而，即使使用快速處理器、大內存和先進算法，在不可預測的行為背景下，自動駕駛車輛在客觀上也很難做出及時和合理的決策。不僅如此，車輛環境相關的靜態和動態組件數據也不夠完整，且干擾信息很多。

通過采用基于神經網絡的強化學習模型，各種方法和裝置實例可評估自動駕駛車輛不同大小的行動空間。根據一些實例，一種方法可包括確定自動駕駛或部分自動駕駛車輛在出行各個時間點當前狀態的表示。

關于當前狀態，該方法還可包括可行的識別操作。例如，在一個實例中，使用車輛傳感器捕獲的數據可在車輛的行為規劃器決策組件處進行本地處理，并與地圖信息相結合，以確定當前狀態和可行動作。

在美國某些州，當車輛在較為空曠，且幾公里或幾英里內無轉彎的直線高速公路上行駛時，要評估的動作數量可能相對較少；但在其他州，當車輛接近擁擠的十字路口時，動作的數量可能會較多。

在各種實例中，每個動作可以包括多個不同組成屬性或特性，例如起點/源車道段（評估動作時車輛所在的車道段）、目標車道段（如果執行該動作，車輛將位于的車道段），目標車道段中的目標速度，相對于一個或多個其他車輛或物體的定位等。

車輛的決策組件可能負責評估給定狀態下的不同可行動作，選擇其中一個動作進行實施，將所選動作的抽象表示轉換為詳細的運動計劃，并向車輛的低級運動控制子系統（例如加速子系統、轉向子系統等）發出指令，以實現對應于所選動作的軌跡。

在一些少數實例中，多個實例或強化學習模型或可應用于車輛中，以獲得動作的相應價值度量，且該價值度量可用于選擇要實施的動作。而在另一些少數實例中，基于深度神經網絡的機器學習模型（例如使用圖形或圖像輸入訓練的卷積神經網絡模型）可用于強化學習模型。

蘋果的專利圖1為系統環境示例圖，其中可以使用強化學習模型評估不同大小的動作空間，以助力指導車輛運動。在各種實例中，乘員可能會忽略車輛的決策組件做出決定，甚至暫時禁用車輛的決策組件；此外，在至少一個實例中，車輛的決策部件可以請求或要求乘員在特定條件下做出決策。

蘋果專利圖1（圖片來源：patentlyapple.com）

蘋果專利圖2為自動駕駛車輛決策場景的示例圖，并展示了此類決策場景的相關問題特征。該系統必須了解駕駛員當前路線以及并道的方式和時間；何時駛出坡道或變道；了解多種車速，以確保并道安全；檢測路況；了解路標和路燈（停車、小心、前行）等等。該系統需要實時處理很多信息。

蘋果專利圖2（圖片來源：patentlyapple.com）

蘋果專利圖9為狀態和動作屬性或屬性的示例，其中的對應因素可被識別僅編碼中，用于輸入強化學習模型。

蘋果專利圖9（圖片來源：patentlyapple.com）

對于給定的可行動作，要在編碼中表示的屬性或屬性集（#973）可以包括，例如，源或當前車道段（#901）、目標車道段（#902）、目標速度或速度（#903）、相對于目標車道段中的一輛或多輛其他車輛的相對定位選項（#904），以及上述實例軌跡中的可選疊加地圖修改（#905）。