- Matrix3D là mô hình nghiên cứu của Apple cùng các nhà khoa học đại học, dựng cảnh 3D từ vài bức ảnh, thậm chí một ảnh.
- Một mô hình gộp ba bước vốn tách rời: ước lượng vị trí máy ảnh, ước lượng độ sâu và tạo góc nhìn mới.
- Phần bị khuất do AI suy đoán, nên kết quả hợp để hiển thị hơn là đo đạc chính xác.
- Đây chưa phải tính năng trên iPhone, nhưng cho thấy hướng đi của Apple với điện toán không gian.
Matrix3D là một mô hình AI do Apple cùng các nhà nghiên cứu đại học phát triển, có khả năng dựng lại cảnh 3D chỉ từ một vài bức ảnh, thậm chí một ảnh duy nhất. Điểm đặc biệt là nó gộp nhiều bước vốn tách rời trong quy trình tạo 3D truyền thống, gồm ước lượng vị trí máy ảnh, ước lượng độ sâu và tạo góc nhìn mới, vào cùng một mô hình. Đây là công trình nghiên cứu được công bố mã nguồn, chưa phải tính năng có sẵn trên iPhone, nhưng cho thấy rõ hướng đi của Apple trong thực tế tăng cường và điện toán không gian.
Tạo 3D từ ảnh: bài toán cũ, cách giải mới
Dựng mô hình 3D từ ảnh chụp, gọi là photogrammetry (đo ảnh), không phải ý tưởng mới. Ngành bản đồ, khảo cổ, game, điện ảnh đã dùng nó từ lâu. Quy trình truyền thống cần chụp hàng chục đến hàng trăm ảnh quanh vật thể, sau đó phần mềm tìm điểm chung giữa các ảnh, tính vị trí máy ảnh, dựng đám mây điểm rồi tạo lưới bề mặt.
Cách này cho kết quả tốt nhưng có ba điểm yếu: cần nhiều ảnh chất lượng, mất nhiều thời gian tính toán, và dễ thất bại với bề mặt bóng, trong suốt hoặc thiếu chi tiết. Người dùng phổ thông khó làm được nếu không có kinh nghiệm.

Matrix3D làm điều đó như thế nào?
Trong bài báo công bố mô hình, Matrix3D được mô tả là một "mô hình đo ảnh lớn" tất cả trong một. Thay vì dùng nhiều công cụ riêng biệt, nó coi ảnh, thông số máy ảnh và bản đồ độ sâu đều là các dạng dữ liệu có thể chuyển đổi qua lại. Mô hình dựa trên kiến trúc transformer khuếch tán đa phương thức, kiến trúc tương tự các mô hình tạo ảnh hiện đại.
Huấn luyện bằng cách "che bớt thông tin"
Kỹ thuật then chốt là học có che (masked learning): trong lúc huấn luyện, mô hình được cho một phần dữ liệu, ví dụ vài ảnh và vị trí máy ảnh, và phải đoán phần bị che như độ sâu hay ảnh ở góc khác. Nhờ vậy, mô hình học được mối liên hệ giữa các loại dữ liệu và có thể dùng được cả với bộ dữ liệu không đầy đủ, vốn rất phổ biến trong thực tế.
Từ dự đoán đến cảnh 3D
Khi đã có vị trí máy ảnh, độ sâu và các góc nhìn bổ sung do mô hình tạo ra, hệ thống có thể dựng cảnh 3D bằng kỹ thuật như 3D Gaussian Splatting, phương pháp biểu diễn cảnh bằng vô số "đốm" màu trong không gian, cho phép hiển thị chân thực và nhanh.
So sánh với cách làm truyền thống
| Tiêu chí | Photogrammetry truyền thống | Hướng tiếp cận kiểu Matrix3D |
|---|---|---|
| Số ảnh cần | Nhiều, chụp có kỹ thuật | Ít, có thể từ một vài ảnh |
| Quy trình | Nhiều bước, nhiều công cụ | Một mô hình xử lý nhiều nhiệm vụ |
| Phần bị khuất | Không dựng được nếu không chụp | Mô hình "đoán" dựa trên kiến thức học được |
| Độ chính xác đo đạc | Cao khi đủ dữ liệu | Phù hợp hiển thị hơn là đo đạc chính xác |
Điểm cần lưu ý: khi mô hình "tưởng tượng" ra phần bị khuất, kết quả trông hợp lý nhưng không chắc đúng với thực tế. Với ứng dụng cần độ chính xác như đo đạc xây dựng hay pháp y, phương pháp truyền thống vẫn quan trọng.
Vì sao Apple quan tâm đến 3D?
Apple đã đặt cược lớn vào điện toán không gian với Vision Pro. Một thiết bị thực tế hỗn hợp cần lượng lớn nội dung 3D: vật thể, không gian, kỷ niệm có chiều sâu. Nếu mỗi người dùng iPhone có thể tạo nội dung 3D chỉ từ vài bức ảnh, hệ sinh thái nội dung sẽ phong phú hơn nhiều. Hướng đi này được bàn thêm trong bài về Vision Pro thế hệ mới.
Apple cũng đã có những bước chuẩn bị: cảm biến LiDAR trên iPhone Pro, khả năng quay video không gian, công cụ Object Capture cho nhà phát triển, và tính năng biến ảnh 2D thành ảnh có chiều sâu trên Vision Pro. Matrix3D là mảnh ghép nghiên cứu có thể giúp những tính năng này cần ít dữ liệu đầu vào hơn. Về lâu dài, kính thông minh nhẹ hơn, như tham vọng Apple Glass, cũng cần khả năng hiểu không gian 3D nhanh và tiết kiệm.
Ứng dụng tiềm năng ngoài Apple
- Thương mại điện tử: người bán chụp vài ảnh sản phẩm để tạo mô hình 3D cho khách xoay xem hoặc đặt thử trong phòng bằng AR.
- Bất động sản, nội thất: tạo không gian 3D từ ảnh căn hộ để tham quan ảo.
- Game và phim: rút ngắn thời gian tạo tài nguyên 3D cho cảnh nền.
- Di sản văn hóa: số hóa hiện vật, công trình từ ảnh tư liệu.
- Robot và xe tự hành: hiểu cấu trúc không gian từ camera thông thường.
Giới hạn hiện tại
Như mọi mô hình nghiên cứu, Matrix3D còn nhiều giới hạn. Chất lượng phụ thuộc vào dữ liệu huấn luyện; cảnh phức tạp, vật thể lạ có thể cho kết quả sai. Mô hình khuếch tán cần tài nguyên tính toán đáng kể, nên chạy trực tiếp trên điện thoại là thách thức. Ngoài ra, khả năng tạo 3D từ ảnh của người khác cũng đặt ra câu hỏi về quyền riêng tư: ai được dựng mô hình 3D căn nhà, khuôn mặt của bạn từ ảnh trên mạng?
Người dùng có thể thử gì ngay hôm nay?
Dù Matrix3D chủ yếu dành cho giới nghiên cứu, bạn vẫn có thể trải nghiệm tạo 3D từ ảnh bằng nhiều công cụ hiện có:
- Dùng các ứng dụng quét 3D trên iPhone có LiDAR hoặc ứng dụng photogrammetry trên điện thoại.
- Thử các ứng dụng hỗ trợ Gaussian Splatting để quét phòng, đồ vật.
- Khi chụp, đi vòng quanh vật thể, giữ ánh sáng đều, tránh bề mặt quá bóng.
- Xuất mô hình để xem trên web, in 3D hoặc dùng trong ứng dụng AR.
Một bước trong chiến lược dài hạn
Matrix3D phản ánh cách Apple thường làm: nghiên cứu nền tảng trong im lặng, rồi tích hợp vào sản phẩm khi công nghệ đủ chín. Kết hợp với chip tự thiết kế có NPU mạnh, như hành trình được kể trong bài chip "nhà làm" của Apple, khả năng tạo 3D nhanh từ ảnh có thể trở thành tính năng quen thuộc trong vài thế hệ thiết bị tới. Khi đó, chụp một bức ảnh không chỉ lưu lại khoảnh khắc mà còn lưu lại cả không gian.
Câu hỏi thường gặp
Matrix3D có sẵn trên iPhone không?
Không. Matrix3D là dự án nghiên cứu, mã nguồn được công bố cho cộng đồng học thuật. Apple chưa công bố tích hợp trực tiếp mô hình này vào sản phẩm tiêu dùng.
Gaussian Splatting là gì?
Đây là kỹ thuật biểu diễn cảnh 3D bằng rất nhiều điểm dạng đốm có màu, độ trong suốt và kích thước khác nhau. Nó cho phép hiển thị cảnh chân thực với tốc độ cao, phù hợp cho thực tế ảo và tăng cường.
Tạo 3D từ một bức ảnh có chính xác không?
Mô hình có thể tạo kết quả trông hợp lý nhưng phần không xuất hiện trong ảnh là do AI suy đoán. Kết quả phù hợp để hiển thị, giải trí hơn là đo đạc kỹ thuật cần độ chính xác cao.
Cần thiết bị gì để quét 3D bằng điện thoại?
Nhiều ứng dụng photogrammetry chạy trên điện thoại thông thường. iPhone Pro có cảm biến LiDAR cho kết quả nhanh và ổn định hơn với không gian trong nhà.

