“Meluaskan skop VR” – Interview bersama Zhang Jian, Ketua PICO XR! [GDC 2023]

Headset VR generasi seterusnya telah tiba, tetapi ia masih adalah konsep yang asing untuk ramai orang. PICO ialah salah satu syarikat yang kini memfokuskan pada teknologi VR dan bersama misi yang besar, mereka komited untuk membina platform XR bersepadu supaya dapat memberi inspirasi kepada komuniti serta memperkasakan para pemaju, pencipta dan pemilik perniagaan.

Di sini, kami berpeluang untuk menemu ramah Zhang Jian, Ketua Kejuruteraan Enjin & Runtime PICO XR. Dengan pengalaman 10 tahun dalam industri permainan konsol dan 7 tahun pengalaman dalam industri VR (terlibat mengusahakan Oculus Rift, GearVR, Oculus Quest).

Apakah masa depan VR mengikut pendapatnya? Ayuh kita selami temu ramah ini!

Memandangkan ada banyak komponen seperti XR, AR, VR dan teknologi khusus lain, bagaimanakah PICO mengutamakan bahagian mana yang perlu diberi lebih tumpuan?

Zhang Jian: Saya rasa PICO ialah syarikat yang berfokuskan VR buat masa ini. Walau bagaimanapun, anda dapat melihat bahawa industri mempunyai trend ke arah Mixed Reality. Kami tidak boleh memberi tumpuan khusus pada satu komponen. Bagaimanapun, setakat ini dari segi VR, anda dapat melihat keseluruhan industri sedang menuju ke arah pasaran itu.

Headset terbaharu kami ialah PICO 4 yang mempunyai beberapa tahap keupayaan MR dengan video see-through. Jika belum, cuba PICO 4 dan lihat ciri color see-through.

Anda pernah bekerja untuk syarikat game AAA yang membuat Call of Duty, Ghost Recon dan lain-lain. Apakah perbezaan antara bekerja dengan syarikat game AAA yang berbanding PICO?

Zhang Jian: Saya rasa ia agak berbeza. Untuk game AAA, kadang-kadang seperti filem, ia mengambil masa yang lama untuk dihabiskan. Seperti kebanyakan game AAA, ia mengambil masa lebih daripada tiga tahun. Sebagai contoh, Call of Duty mempunyai tiga studio dan setiap game mengambil masa tiga tahun di mana setiap game menukar antara pasukan pembangunan. Anda mempunyai matlamat yang jelas untuk menyelesaikannya pada masa tertentu. Walau bagaimanapun, syarikat teknologi seperti PICO jauh lebih pantas, teknologi [pun] berubah dengan pantas.

Sebelum ini, kami mengusahakan satu produk tetapi sekarang sebagai platform, kami berkhidmat kepada banyak pemaju. Itulah perbezaan dalam peranan. Kami mempunyai pemaju yang membuat game untuk platform kami dan bukannya kami yang membuat game itu secara langsung.

Sekarang, anda bekerja sebagai platform dan bekerja dengan banyak pembangun berbeza. Apakah jenis sokongan yang anda berikan kepada pemaju?

Zhang Jian: GDC, kita akan bercakap tentang bahagian pemaju. Bagi kami, kami mempunyai sokongan game engine, software development kit (SDK) dan developer tool.

Sebagai contoh, PlayStation atau Nintendo mempunyai test kit dan debug kit sendiri yang boleh dihantar kepada pemaju. Apakah jenis alat yang anda hantar kepada pemaju?

Zhang Jian: Itu bahagian yang sangat menarik. Saya bekerja untuk industri konsol sebelum ini dan sebenarnya membeli developer kit yang sangat mahal untuk menjadi pemaju. Pada masa yang sama, tidak setiap syarikat boleh membelinya walaupun mereka mahu.

Dengan PICO pula, setiap pengguna mempunyai potensi untuk mencipta development kit sendiri dengan mudah. Kami mempunyai beberapa arahan tentang perisian kami di laman web yang menunjukkan cara-cara untuk melakukannya. Hanya memerlukan beberapa langkah dan anda boleh mengaktifkan developer mode di dalam headset. Ini bermakna setiap pengguna berpotensi menjadi pemaju.

Untuk VR, cabaran utama selalunya ialah sesetengah orang akan mengalami motion sickness dan pening pada bila-bila masa. Daripada perspektif kejuruteraan, bagaimana anda membetulkan isu ini?

Zhang Jian: Terdapat dua jenis motion sickness. Satu bahagian datang daripada metrik asas. Pada masa ini dalam VR, anda perlu menjamin pengalaman berjalan dengan lancar dan boleh mencapai frame rate sekitar 72 FPS atau 90FPS. Itulah bahagian yang sangat sukar; anda perlu berada pada frame rate itu dan jika ia semakin turun, anda akan mula jatuh sakit.

Jadi kami akan membangunkan alat, dan mengoptimumkan teknologi untuk meningkatkan prestasi. Kami juga bekerjasama dengan pemaju untuk memberi mereka alat bagi membetulkan isu seperti ini. Dalam teknologi Core atau Stack kami, terdapat satu lagi metrik yang kami panggil latency, yang boleh menjejaskan keselesaan VR dengan banyak, dan amat penting penting untuk terus mengoptimumkan latency.

Anda kata ‘low FPS’ boleh membuat motion sickness. Saya bermain game dengan FPS rendah, tetapi masih baik. Tetapi dengan game tertentu dengan FPS tinggi, saya boleh berasa pening. Saya tidak rasa ia hanya masalah frame rate, mungkin terdapat masalah lain yang menyebabkan motion sickness?

Zhang Jian: Masalah lain mungkin bahagian optik seperti ‘distortion’. Itu salah satu metrik di bahagian perkakasan. Berfikir daripada perspektif pembangunan – apa yang boleh kita kawal adalah seperti FPS dan latency. Untuk bahagian itu, kami membangunkan alat bagi membantu orang ramai melakukannya.

Saya rasa anda menyebut satu poin yang baik. Apabila bermain game FPS di skrin rata, frame rate sekitar 20 dan anda tidak sakit.

Saya rasa persekitaran dalam realiti adalah sangat stabil dalam visi anda. Sebagai contoh, apabila menggerakkan kepala, meja di hadapan anda berada di tempat yang sama dengan stabil; tetapi dalam VR, jika FPS rendah, anda akan melihat persekitaran sebenarnya tidak tetap sepenuhnya dari segi kedudukan spatial

Itu bahagian yang membuat sakit. Apabila latency tinggi, persekitaran pun kurang stabil.

Tetapi bila saya bergerak, ia tidak bergerak?

Zhang Jian: Ya. Ia bukan apa yang orang biasa boleh nampak. Itu daripada sudut teknikal. Terdapat satu lagi perkara yang mempengaruhi motion sickness iaitu sudut reka bentuk. Satu contoh: anda menggunakan controller, untuk menggerakkan kamera dengan lancar.

Itu sangat tidak selesa kerana otak memberitahu “Saya tidak bergerak” tetapi entah bagaimana anda benar-benar bergerak daripada sudut pandangan. Ketidaksepadanan ini menyebabkan orang mahu muntah.

Apabila menghasilkan reka bentuk game untuk konsol anda tidak perlu mengambil risau tentang ruang permainan di dunia sebenar tetapi game VR memerlukan perhatian pada hal ini. Adakah anda mengambil kira hal itu untuk membantu pemaju seperti menyediakan jenis ruang yang diperlukan? (Game tertentu memerlukan banyak ruang untuk berlari dan macam-macam)

Zhang Jian: Saya rasa ini lebih kepada keputusan pemaju dan jenis game yang mereka mahu buat. Jika mereka membuat game yang memerlukan ruang yang besar tetapi tidak semua orang mempunyai ruang seperti itu, sesetengah pengguna tidak akan membeli game itu atau tidak dapat memainkannya dengan baik. Mereka perlu memutuskan siapa sasaran utama untuk game mereka.

Katakan pemaju game ini mempunyai dua atau tiga game sedia ada dalam Android atau iOS dan kemudian mahu memindahkan game tersebut ke PICO. Adakah mereka perlu membina game serba baharu atau boleh memindahkan terus game ini?

Zhang Jian: PICO berasaskan Android OS. Jadi aplikasi menggunakan APK, sama seperti game Android lain. Jika anda mempunyai projek game di dalam Unity atau Unreal Engine, ia sebenarnya cukup mudah untuk mendayakan integrasi PICO. Anda hanya perlu mengisi kotak pilihan, mengimport aset, dan kemudian ia akan berfungsi.

Ia tidak makan banyak masa untuk membuatnya berfungsi pada PICO, tetapi memerlukan banyak usaha untuk membuat pengalaman yang baik dalam VR kerana apabila anda mencipta game di mobile, anda mungkin tidak mempertimbangkan tentang pengalaman VR – seperti yang kita sebutkan tentang motion sickness tadi. Sebagai contoh, anda mungkin tidak mahu mengawal kamera VR dan melakukan animasi kamera, – itu tidak baik untuk keselesaan VR.

Adakah pengalaman lalu anda memberi manfaat semasa bekerja di PICO?

Zhang Jian: Saya rasa industri setakat ini agak terbuka. Kami mempunyai standard terbuka yang dipanggil OpenXR, dan banyak pengeluar VR dan pembangun menyumbang di sana. Jadi kami bercakap dengan mereka dan apabila seorang pembangun mempunyai idea yang baik, mereka akan berkongsi di catatan blog atau nota teknologi supaya semua orang boleh belajar. Jadi begitulah cara industri membantu antara satu sama lain.

Anda ada apa-apa lagi yang anda rasa menarik untuk beritahu kepada kami?

Zhang Jian: Saya ada harapan bahawa seluruh industri maju dan menjadi lebih besar dan mempunyai lebih ramai orang yang ingin masuk ke ruang ini untuk bermain game dan membangunkan game di sini. Secara am, kita bukan sahaja mengharapkan diri kita berjaya, kita juga berharap semua orang berjaya.

Pelajar universiti hanya belajar daripada Unity dan Unreal Engine. Adakah itu mencukupi untuk mereka menyertai jabatan anda?

Zhang Jian: Oh, ia bergantung pada jawatan kosong. Kami mempunyai jawatan berbeza untuk peranan yang berbeza. Oleh itu, sesetengah jawatan memerlukan tahap pengetahuan grafik komputer spesifik dan itu agak sukar bagi sesetengah orang.

Untuk pembangunan aplikasi, contohnya bagaimana anda mendayakan aplikasi Unity yang berjalan pada VR, ramai orang boleh melakukannya. Walau bagaimanapun, kami mengambil graduan baru dari universiti.

Untuk produk semasa, semua menggunakan kawalan mata dan tangan. Adakah anda mempunyai lebih banyak dimensi untuk meningkatkan pengalaman yang mengasyikkan. Adakah anda mempunyai lebih banyak rancangan masa depan mengenai perkara ini?

Zhang Jian: Ya, pasti ada banyak rancangan tetapi saya tidak dapat bercakap dengan lebih terperinci. Tetapi satu perkara yang pasti adalah kami mempunyai fungsi hand tracking dan sekarang ia berada di peringkat awal. Kami akan terus berusaha untuk memperbaikinya.

---

Kami ingin mengucapkan ribuan terima kasih kepada Zhang Jian selaku Ketua Kejuruteraan Enjin & Runtime PICO XR kerana sudi meluangkan masa untuk menjawab soalan berkenaan masa depan VR. Untuk segala maklumat lanjut tentang produk VR oleh PICO, anda boleh layari laman web rasmi mereka di SINI.

Jangan lupa untuk ikuti kami di TikTok!

@gamersantaimy