蘋果專利分享：在低光條件下的AR/VR手部交互追蹤操作方案

在低光條件下操作電子設(shè)備

低光條件會對XR設(shè)備造成影響，例如手勢識別和追蹤。所以在名為“Electronic device with a display for low light conditions”的專利申請中，蘋果就介紹了一種針對低光條件的應(yīng)對方法。

圖5顯示了在低光條件下操作電子設(shè)備的示例過程。在510，與亮度標(biāo)準(zhǔn)相關(guān)聯(lián)的媒體項可選地顯示在朝內(nèi)顯示器。例如，可以在朝內(nèi)顯示器顯示電影，并且電影與代表暗閾值亮度的亮度標(biāo)準(zhǔn)相關(guān)聯(lián)。

在520，朝外照明模塊接收指示顯示設(shè)備的環(huán)境照明條件的信息。指示環(huán)境照明條件530的信息包括指示環(huán)境照明條件亮度的亮度信息535和指示環(huán)境照明條件顏色的顏色信息540。例如，亮度信息535可包括亮度等級，顏色信息540可包括色溫。

在550，朝外照明模塊確定環(huán)境照明條件是否滿足與在510中顯示的媒體項目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)。朝外照明模塊可將亮度信息535與亮度判據(jù)進(jìn)行比較，以確定是否滿足亮度判據(jù)。

確定560中的像素集可以任選地包括塊565和/或570。在565，朝外照明模塊可以基于來自注視點追蹤用戶界面的指示器來確定感興趣的區(qū)域。

在570，朝外照明模塊可以基于基于手勢的用戶界面的輸入?yún)^(qū)域確定感興趣區(qū)域。例如，基于手勢的用戶界面可以提供輸入?yún)^(qū)域的指示器。

在580，朝外照明模塊可以以亮度585和顏色540驅(qū)動在560中確定的一組像素，以改善環(huán)境感興趣區(qū)域的照明。驅(qū)動580中的像素集可以任選地包括590，其中，朝外照明模塊可以以亮度585驅(qū)動在560中確定的像素集，使得滿足與在510中顯示的媒體項目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)。

由于環(huán)境照明信息530包含顏色信息540，所以朝外照明模塊165可以以匹配的顏色540驅(qū)動顯示器中的像素集，從而使得用戶體驗到環(huán)境更舒服的照明。另外，朝外照明模塊可以確定最小亮度585，以使得環(huán)境照明的亮度535和顯示設(shè)備的亮度585的組合滿足亮度標(biāo)準(zhǔn)，而不會導(dǎo)致環(huán)境中的顏色感知為“褪色”。

圖6顯示了執(zhí)行圖5示例過程500的電子設(shè)備。顯示設(shè)備210包括朝外顯示設(shè)備210A和朝內(nèi)顯示設(shè)備210B，以及光學(xué)傳感器220。

所述朝內(nèi)顯示設(shè)備210B和所述朝外顯示設(shè)備210A的定位使得來自所述朝內(nèi)顯示設(shè)備210B的投影和來自所述朝外顯示設(shè)備210A的投影不相交。即朝內(nèi)顯示設(shè)備210B和朝外顯示設(shè)備210A在環(huán)境中面向不同的方向。

在示例性操作環(huán)境600中，朝內(nèi)顯示設(shè)備210B朝向用戶250，朝外顯示設(shè)備210A遠(yuǎn)離用戶250朝向環(huán)境。朝內(nèi)顯示設(shè)備210B可以顯示與特定亮度標(biāo)準(zhǔn)相關(guān)聯(lián)的媒體項目，例如用于黑暗電影院環(huán)境的電影媒體項目和相關(guān)亮度標(biāo)準(zhǔn)。

盡管與電影媒體項目相關(guān)聯(lián)的亮度標(biāo)準(zhǔn)可以對應(yīng)于黑暗的電影院，但基于手勢的用戶界面可以具有代表閾值亮度的相關(guān)亮度標(biāo)準(zhǔn)，低于所述閾值亮度則無法識別手勢。

朝外照明模塊可沿朝外顯示設(shè)備210A的底部驅(qū)動一組像素，以照亮基于手勢的用戶界面的輸入?yún)^(qū)域660和用戶250的手260。作為另一個示例，注視追蹤界面可以確定用戶250的注視650指向表桌子10之上的感興趣對象620。

然后，朝外照明模塊165可以驅(qū)動朝外顯示設(shè)備210A的一組像素來照亮感興趣對象620。作為進(jìn)一步的示例，顯示設(shè)備210可以包括在頭顯中。

朝內(nèi)顯示設(shè)備210B可用于向用戶250顯示內(nèi)容，朝外顯示設(shè)備210A可用于向用戶250附近的人顯示信息。

頭顯同時可以包括眼動追蹤系統(tǒng)，以追蹤用戶250的注視650和位于朝外顯示設(shè)備210A相同表面的外部攝像頭或其他傳感器220，以確定朝外顯示設(shè)備210A的環(huán)境照明條件。

朝外照明模塊165可根據(jù)來自頭顯內(nèi)眼動追蹤系統(tǒng)的信息確定注視650指向桌子610的感興趣對象620，并驅(qū)動朝外顯示設(shè)備210A的一組像素照亮感興趣對象620。

圖7示出了在低光條件下操作電子設(shè)備中的進(jìn)一步示例過程。流程圖從710開始，其中朝外照明模塊接收指示朝外顯示設(shè)備的環(huán)境照明條件的信息。

在710，指示環(huán)境照明條件的接收信息可任選地包括715和/720。在715，包含朝外攝像頭的光學(xué)傳感器220捕獲環(huán)境圖像，并且朝外照明模塊165可以基于從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件。

或者，環(huán)境照明模塊170可以根據(jù)從光學(xué)傳感器220捕獲的圖像確定環(huán)境照明條件，并向朝外照明模塊165提供指示環(huán)境照明條件的信息。

在720，朝外照明模塊165接收指示環(huán)境的多個區(qū)域的環(huán)境照明條件的信息。例如，朝外照明模塊165可以接收指示環(huán)境中四個象限中的每個象限的環(huán)境照明條件的信息。

在730，朝外照明模塊確定環(huán)境照明條件是否滿足亮度標(biāo)準(zhǔn)。在包括720的實施例中，步驟730包括確定每個區(qū)域是否滿足亮度標(biāo)準(zhǔn)。例如，房間一角的一盞燈照亮了環(huán)境中四個象限中的三個。四個象限中的三個象限的環(huán)境照明條件滿足亮度標(biāo)準(zhǔn)，但第四象限不滿足。根據(jù)一個或多個區(qū)域不滿足亮度標(biāo)準(zhǔn)的確定，朝外照明模塊165可以確定與環(huán)境中感興趣區(qū)域相對應(yīng)的朝外顯示設(shè)備210中的一組像素。

確定在740的像素集可以任選地包括745和/750-755。在745，朝外照明模塊165基于不滿足亮度標(biāo)準(zhǔn)的環(huán)境的一個或多個特定區(qū)域確定感興趣的區(qū)域。例如，當(dāng)感興趣的區(qū)域不包括在特定區(qū)域中時，朝外照明模塊165可以確定感興趣的區(qū)域需要更少的額外照明并且在像素集中包括更少的像素。

在750，朝外照明模塊165確定顯示設(shè)備210的位置變化，并根據(jù)755中的位置變化確定像素集。例如，包含在傳感器145中的加速度計可以確定用戶250持有顯示設(shè)備210已從坐姿移動到站立位置。

然后，朝外照明模塊165可以確定感興趣的區(qū)域是地面和預(yù)期用戶250將沿著的路徑。朝外照明模塊165確定與感興趣的區(qū)域相對應(yīng)的像素集，并照亮用戶250腳前的地面。

在760，朝外照明模塊165驅(qū)動一組像素在一個特定的亮度，以提高在感興趣的區(qū)域照明。770，在顯示設(shè)備210進(jìn)一步包括向內(nèi)顯示設(shè)備的實施例中，媒體項可以基于像素集和確定的位置變化任選地顯示在朝內(nèi)顯示設(shè)備。

圖9顯示了確定環(huán)境照明條件的示例過程900。在910，朝外照明模塊165以顏色序列中的特定顏色驅(qū)動朝外顯示設(shè)備210。

在920，朝外照明模塊165使諸如光學(xué)傳感器220的朝外攝像頭捕獲與在910驅(qū)動的顏色序列中所述顏色相對應(yīng)的環(huán)境圖像。在930時，朝外照明模塊165確定顏色序列中是否有剩余的顏色。如果顏色序列中有剩余顏色，則朝外照明模塊165返回到910，并以顏色序列中的另一種顏色驅(qū)動朝外顯示設(shè)備210。

當(dāng)捕獲到與顏色序列中的每一種顏色相對應(yīng)的圖像時，朝外照明模塊165可以根據(jù)940中的圖像集選擇確定感興趣的環(huán)境顏色。例如，朝外照明模塊165可確定所述環(huán)境中環(huán)境照明的色溫、所述環(huán)境中對象的顏色范圍等。

在950，朝外照明模塊165確定環(huán)境照明條件是否滿足亮度標(biāo)準(zhǔn)。根據(jù)環(huán)境照明條件不滿足亮度標(biāo)準(zhǔn)的確定，朝外照明模塊165可以確定對應(yīng)于感興趣區(qū)域的一組像素。然后，朝外照明模塊165以特定亮度驅(qū)動所述像素集，以改善在感興趣區(qū)域中的照明。

相關(guān)專利：Apple Patent | Electronic device with a display for low light conditions

https://www.nweon.com/

名為“Electronic device with a display for low light conditions”的蘋果專利申請最初在2023年3月提交，并在日前由美國專利商標(biāo)局公布。

來源：映維網(wǎng)