Air Race X: Hình ảnh AFC mang âm thanh thực tế mở rộng đến Shibuya

Vào tháng 10 năm 2023, Vòng đua kỹ thuật số Air Race X Shibuya chứng kiến ​​những chiếc máy bay ảo đua nhau trên đường phố Shibuya, Nhật Bản. Đối với cuộc đua hàng không đầu tiên trên thế giới được tổ chức thông qua thực tế mở rộng (XR), âm thanh trung thực là một phần thiết yếu của cảnh tượng. Công nghệ âm thanh sống động Yamaha AFC Image đảm bảo sự kiện sẽ là một trải nghiệm ly kỳ và cực kỳ chân thực.

Đua máy bay thể thao đơn ở tốc độ lên tới 370km/h (230mph) qua một thành phố rõ ràng là không thực tế, vì vậy Air Race X đã được phát triển thành 'Công thức 1 của bầu trời' để tạo ra bầu không khí và cảnh tượng của những chiếc máy bay ảo đua nhau xuyên qua các đường phố. Tám trong số những phi công của cuộc đua hàng không hàng đầu thế giới đã bay một lộ trình giống hệt nhau ở những địa điểm xa xôi trên khắp thế giới, với dữ liệu chuyến bay chính xác được thu thập và phân tích bởi trụ sở cuộc thi. Dữ liệu này sau đó được sử dụng để tạo ra một loạt 'cuộc đua' ảo thông qua Shibuya, với khán giả xem hình ảnh động của máy bay thông qua kính thực tế tăng cường (AR) và điện thoại thông minh.

Các thách thức

(Ông Tsutsumi của PATHFINDER Co., Ltd. cho biết: “Với Air Race X, chúng tôi muốn tạo ra một phong cách thể thao dành cho khán giả mới chưa từng có”. “Chúng tôi muốn tái tạo sức mạnh và vị trí của âm thanh động cơ máy bay, theo cách độc đáo của môn thể thao mô tô, trong môi trường khán giả AR.”

Được quảng cáo là 'môn thể thao đua xe năm chiều vượt thời gian và không gian', khán giả đã tập trung tại Shibuya QWS của thành phố, một không gian kết nối và sáng tạo ở tầng 15 trong tòa nhà chọc trời Shibuya Scramble Square. Từ đây họ có thể xem máy bay ảo (sử dụng dữ liệu chuyến bay thực) bay quanh đường bay ảo.

Âm thanh là một yếu tố thiết yếu trong việc tạo ra ấn tượng chân thực về những chiếc máy bay đang thực sự bay, tuy nhiên, hệ thống PA âm thanh nổi thông thường sẽ không thể tạo ra cảm giác chuyển động âm thanh đủ chân thực.

Ngoài ra, chỉ tái tạo nguồn âm thanh là không đủ để tạo cảm giác chân thực. Âm thanh truyền đến tai chúng ta không chỉ là sóng trực tiếp mà còn là sóng phản xạ từ các tòa nhà và vật thể khác. Đây là một thách thức khác mà nhóm Yamaha phải đối mặt, vì âm thanh phản xạ được tạo ra từ các tòa nhà trong thành phố ở Shibuya không được tạo ra trong không gian mở nơi ghi âm.

Giải pháp

Dưới sự lãnh đạo của người giám sát Hiromu Ohgi, Nhóm Âm thanh Không gian của Bộ phận Giải pháp Chuyên nghiệp Yamaha đã triển khai hệ thống Hình ảnh Active Field Control (AFC) độc quyền của Yamaha để bản địa hóa âm thanh cho khán giả, tối đa hóa ấn tượng về chiếc máy bay ảo tạo ra âm thanh thực.

"Hình ảnh AFC có thể bao phủ một khu vực rộng tới một kilômét vuông (0,4 dặm vuông) và nó cũng có thể mô phỏng sự suy giảm khoảng cách. Điều này có nghĩa là chúng tôi có thể tái tạo chuyển động của hình ảnh âm thanh và thay đổi âm lượng ở khoảng cách lên tới đến một km, do đó tái tạo âm thanh chuyến bay rất chân thực,” Hiromu nói.

Hệ thống AFC có thể sử dụng giao thức Open Sound Control (OSC), đối với ứng dụng này, có nghĩa là dữ liệu hữu ích không liên quan trực tiếp đến âm thanh - chẳng hạn như thông tin vị trí chuyến bay - có thể được sử dụng để truyền tải thông tin đến hệ thống Hình ảnh AFC để vẽ vị trí của máy bay ảo trong không phận Shibuya.

Âm thanh được tái tạo bằng 13 loa công suất hai chiều được trang bị Yamaha DZR10-D Dante và một loa siêu trầm công suất được trang bị DXS15XLF-D Dante. Được đặt trên sàn ở khoảng cách khoảng hai mét, hệ thống AFC Image tái tạo chuyển động âm thanh của máy bay được tái tạo mượt mà và chân thực đến mức, ngay cả khi có khoảng cách giữa các loa, âm thanh vẫn hoàn toàn tự nhiên.

Hiromu cho biết thêm: “Để tạo ra một không gian âm thanh chân thực hơn, chúng tôi đã sử dụng 3D Reverb của AFC Image. “Đây là hiệu ứng độc đáo cung cấp âm vang với cấu trúc âm thanh phản xạ, dựa trên vị trí của nguồn. Để tạo ra chính xác tiếng ồn của máy bay bay quanh Shibuya, chúng tôi đã tạo một cài đặt trước trong đó năng lượng của những phản xạ ban đầu cao, để mô phỏng nó nảy ra khỏi các tòa nhà, trong khi những âm vang muộn gần như không tồn tại, như thể âm thanh đang biến mất trong khoảng cách. Khán giả nói rằng họ có thể cảm nhận được vị trí của máy bay chỉ bằng âm thanh!”

Ông Tsutsumi cho biết thêm: “Mọi người rất quan tâm khi chúng tôi giải thích rằng hệ thống đã tính toán tiếng vang của các tòa nhà xung quanh để làm cho nó trở nên chân thực nhất có thể”. “Âm thanh và độ rung mạnh đến mức gần như thể khán giả đang ở bên ngoài dù đang ở trong nhà. Trải nghiệm cảm nhận âm thanh qua toàn bộ cơ thể của bạn, thay vì chỉ nghe thấy nó và cảm giác đó thay đổi khi máy bay ảo bay qua là rất tốt.”

Hệ thống tái tạo âm thanh đều được kết nối mạng Dante, sử dụng Steinberg Nuendo DAW để định tuyến âm thanh, được lưu trữ trên PC có thẻ AIC-128D Dante Accelerator, tới bảng điều khiển trộn kỹ thuật số Yamaha CL1 và bộ xử lý AFC, sau đó đến từng loa.

Một PC điều khiển chạy môi trường Cycling ’74 Max8 đã được sử dụng để gửi thông tin vị trí nguồn âm thanh đến hệ thống Hình ảnh AFC thông qua OSC. Đồng bộ hóa giữa dữ liệu vị trí nguồn âm thanh và nguồn âm thanh phát lại được thiết lập bằng MIDI; các tín hiệu điều khiển MIDI được gửi từ Max8 đến Nuendo, cho phép phần mềm Max8 điều khiển việc phát lại Nuendo.

Hình ảnh AR được tái tạo trên nền tảng STYLY VR/AR của Psychic VR Lab Inc. Đồng bộ hóa với AR được thiết lập trên cơ sở thời gian, với Max8 được điều chỉnh để tự động phát nguồn âm thanh theo thời gian.

Ông Tsutsumi cho biết: “Kế hoạch của chúng tôi là phát triển Air Race X thành một sự kiện toàn cầu, đẳng cấp thế giới và chúng tôi tin rằng mối liên kết giữa XR và công nghệ âm thanh là điều cần thiết để nó phát triển”. “Thông qua việc quảng bá những chiếc máy bay thực tế bay cùng Air Race X, chúng tôi đã có thể làm việc với những người trong lĩnh vực XR và sản xuất âm thanh mà chúng tôi chưa từng tiếp xúc trước đây. Nó thực sự rất kích thích đối với chúng tôi và chúng tôi muốn mở rộng việc sử dụng loại hệ thống này cho các sự kiện khác.”

“Hệ thống AFC”