Huawei đã có bốn bài báo được chấp nhận tại IJCAI 2026, thể hiện xu hướng kỹ thuật của AI chuyển từ “mật độ quy mô” sang “mật độ thiết kế”.

Tác giả bài viết, nguồn: LeFeng.com

AI đang hướng tới các tình huống thực tế, năng lực kỹ thuật hệ thống là điểm nghẽn, cũng là điểm đột phá.

IJCAI-ECAI 2026 sẽ được tổ chức tại Bremen, Đức từ ngày 15 đến 21 tháng 8 năm 2026. Là hội nghị hàng đầu toàn diện trong lĩnh vực AI, IJCAI luôn là kỳ thi quan trọng để kiểm tra những thành tựu nghiên cứu tiên tiến nhất của các công ty lớn trong năm qua: ai đã có tiến bộ thực sự trong lĩnh vực nào, và những hướng công nghệ nào đang hình thành sự đồng thuận — các bài báo là câu trả lời trực tiếp nhất.

Trong dịp hội nghị diễn ra, AI Science Review cũng đang quét hệ thống các bài báo được tuyển chọn tại hội nghị đỉnh cao lần này để nắm bắt xu hướng công nghệ và định hướng ngành.

Một xu hướng rõ ràng là: chi phí tính toán AI vẫn ở mức cao, trong khi lợi ích biên từ việc mở rộng quy mô tham số đã không còn theo kịp chi phí biên. Thực tế kinh tế này đang tái định hình logic đổi mới công nghệ — từ “có thể làm lớn hơn không” sang “có thể sử dụng tiết kiệm hơn không”.

Bốn bài báo của Huawei được IJCAI 2026 chấp nhận cung cấp hướng dẫn kỹ thuật cho sự chuyển đổi này: sử dụng thiết kế kiến trúc và chiến lược huấn luyện tinh vi hơn để bù đắp giới hạn thiếu dữ liệu, đổi lấy sản lượng trí tuệ cao hơn trên mỗi đơn vị tính toán.

Sự chuyển dịch hướng công nghệ này cũng phản ánh những thay đổi sâu sắc trong việc ứng dụng AI: khi công nghệ vượt ra khỏi phòng thí nghiệm, cạnh tranh đã không còn là sự đột phá đơn lẻ về một khả năng nào đó, mà là sự phối hợp hệ thống giữa độ chính xác, khả năng khái quát, dữ liệu và sức mạnh tính toán—mỗi khâu đều có thể trở thành điểm nghẽn, cũng có thể trở thành điểm đột phá.

Bốn bài báo này chính xác thể hiện năng lực kỹ thuật hệ thống và lựa chọn công nghệ của Huawei theo bốn hướng này.

01 Breaking the Scale Barrier: Architecture + Training, Redefining the Capability Limits of Hierarchical ViT

Trong cuộc cạnh tranh quy mô của các mô hình cơ sở thị giác, luôn tồn tại một “trần nhà” vô hình. Việc mở rộng quy mô ViT thông thường đã tiến triển mạnh mẽ, liên tục phá vỡ giới hạn từ 6B lên 22B. Tuy nhiên, ViT phân cấp vẫn bị kẹt dưới 2B tham số. Không phải không muốn mở rộng, mà là không thể mở rộng. Các mô hình phân cấp yêu cầu dữ liệu và chiến lược huấn luyện cao hơn nhiều so với ViT thông thường; việc áp dụng đơn giản các giải pháp mở rộng của ViT thông thường là không khả thi. Điều này dẫn đến một mâu thuẫn cấu trúc — ViT phân cấp vốn thiên về biểu diễn đa quy mô và các nhiệm vụ dự đoán dày đặc (phát hiện đối tượng, phân đoạn, hiểu video), nhưng nếu không thể mở rộng quy mô, giới hạn năng lực của nó sẽ bị khóa chặt.

Đội ngũ Huawei trong bài viết này “Distilling and Scaling Hierarchical Vision Transformer to 30B Parameters” đã đẩy giới hạn quy mô từ 2B lên trực tiếp 30B.

Làm thế nào để thực hiện được điều đó? Câu trả lời là phải thiết kế lại cả kiến trúc mô hình lẫn chiến lược huấn luyện, cả hai đều không thể thiếu.

Thiết kế cốt lõi về mặt kiến trúc là kiến trúc Efficient Hierarchical ViT, đảm bảo khả năng trích xuất đặc trưng đa quy mô đồng thời cân bằng hiệu quả tính toán.

Dựa trên kiến trúc này, nhóm đã huấn luyện các mô hình dày đặc với tham số từ 200M đến 5B, đồng thời giới thiệu biến thể pha trộn chuyên gia thưa thớt (SMoE), đẩy tổng số tham số lên đến 30B — quy mô tham số lớn nhất đã được công khai trong lĩnh vực ViT phân cấp hiện nay.

Về đào tạo, đội ngũ đã thiết kế một quy trình hai giai đoạn:

Giai đoạn đầu tiên, thực hiện huấn luyện tự giám sát MAE trên ImageNet-21K để mô hình học được các quy luật cơ bản của biểu diễn thị giác;

Giai đoạn hai, tiến hành khuếch tán tri thức từ nhiều mô hình nền tảng phổ biến tiên tiến nhất trên bộ dữ liệu 27 triệu hình ảnh để đạt được bước nhảy vọt về khả năng.

Kết quả thí nghiệm đã đưa ra bằng chứng mạnh mẽ nhất. Trong đánh giá tuyến tính ImageNet-1K, mô hình MoE với tổng tham số 30B (EHV-5B-MoE) chỉ kích hoạt 6,7 tỷ tham số khi suy luận, đạt độ chính xác 89,0%, vượt qua các mô hình theo hướng ViT thông thường với tổng tham số lớn hơn là EVA-CLIP-18B. Quan trọng hơn, sự cải thiện hiệu suất của nó không giới hạn ở phân loại hình ảnh—mà còn thể hiện xuất sắc trong các nhiệm vụ phân tích video và dự đoán dày đặc. Điều này cho thấy EHV đã học được không chỉ các đặc trưng phân loại, mà còn là các biểu diễn thị giác chất lượng cao và có khả năng khái quát hóa thực sự.

Đội ngũ Huawei đã sử dụng công việc này để chứng minh rằng ViT phân cấp không chỉ có thể mở rộng quy mô lớn, mà còn đạt được độ chính xác cao hơn với ít tham số kích hoạt hơn ở phía suy luận. Thiết kế kiến trúc xác định giới hạn khả năng của mô hình, trong khi chiến lược huấn luyện quyết định mức độ có thể giải phóng giới hạn đó.

02 Đầu vào bộ lọc trước: Sự cách mạng trong mô hình trình chọn khung học được

Nền tảng mô hình đã được nâng cao, nhưng tiêu thụ năng lực tính toán không chỉ nằm ở chính mô hình, mà dữ liệu đưa vào mô hình cũng đang tiêu tốn một lượng lớn tài nguyên tính toán. Khi xử lý video, mô hình ngôn ngữ lớn (Video-LLMs) tiêu tốn chi phí tính toán chủ yếu ở việc mã hóa khung hình. Để kiểm soát chi phí, các mô hình hiện tại gần như đều sử dụng lấy mẫu đều đặn — trích khung hình với khoảng cách đều nhau.

Tuy nhiên, các sự kiện quan trọng trong video không bao giờ được phân bố đều. Một hành động quan trọng có thể chỉ kéo dài một hoặc hai giây, và nếu vô tình nằm giữa hai điểm lấy mẫu, nó sẽ bị bỏ lỡ hoàn toàn. Ngược lại, những cảnh tĩnh kéo dài lại bị mã hóa lặp đi lặp lại, làm lãng phí nguồn tài nguyên tính toán quý giá.

Một cách tiếp cận khác là phương pháp dựa trên truy vấn—tìm kiếm các khung hình liên quan dựa trên câu hỏi cụ thể. Phương pháp này thực sự hiệu quả trong các tình huống hỏi đáp video, nhưng mô tả chi tiết video là một “nhiệm vụ không có truy vấn”, nên phương pháp này không áp dụng được ở đây.

Mẫu đều quá thô, trong khi phương pháp dựa trên truy vấn lại không thể sử dụng. Phải làm sao? Nhóm dữ liệu AI của Huawei đã đề xuất bộ chọn khung có thể học được LFS (Learnable Frame Selector) để giải quyết vấn đề này.

Địa chỉ bài báo: https://arxiv.org/pdf/2601.14594v1

Ý tưởng cốt lõi của họ rất trực tiếp: thay vì dựa vào các quy tắc thủ công để chọn khung hình, hãy để mô hình tự học cách “quan sát điều gì”.

Đây là một mô hình huấn luyện theo hướng “bắt đầu từ kết thúc”, LFS không còn học cách “chọn những khung hình nào có điểm số cao hơn ở một mức trung gian”, mà học cách “chọn những khung hình nào giúp mô hình lớn viết ra mô tả tốt hơn”. Cụ thể thực hiện như thế nào? Ba thiết kế then chốt:

Đầu tiên, huấn luyện một mạng đánh giá để gán điểm “mức độ quan trọng của sự kiện” cho từng khung hình.

Thứ hai, chọn khung hình theo từng đoạn thay vì sắp xếp toàn bộ. Khi chọn khung hình, không sử dụng đơn giản “K khung hình có điểm số cao nhất”, mà chia toàn bộ video thành nhiều khoảng thời gian, sau đó chọn ra những khung hình quan trọng nhất trong từng khoảng thời gian. Cách này vừa nắm bắt được các sự kiện then chốt, vừa đảm bảo phân bố khung hình đều dọc theo trục thời gian.

Bước thứ ba, cũng là bước quan trọng nhất — phương pháp huấn luyện. Sau khi LFS chọn các khung hình, chúng được đưa vào Video-LLM đã đóng băng để tạo mô tả, sau đó so sánh các mô tả được tạo ra với các mô tả tiêu chuẩn do con người ghi chú, tính toán tổn thất và thực hiện lan truyền ngược để cập nhật tham số của bộ chọn khung hình. Trong suốt quá trình này, mô hình ngôn ngữ lớn không thay đổi gì cả, LFS hoạt động như một module phụ trợ có thể cắm vào sử dụng ngay.

Ngoài ra, nhóm nghiên cứu còn phát hiện ra một vấn đề: có sự khác biệt đáng kể giữa các bộ dữ liệu mô tả video chi tiết hiện có và nhận thức thực sự của con người. Do đó, họ đã tự xây dựng một bộ dữ liệu chuẩn mới là ICH-CC, với tất cả video được lấy từ các bối cảnh thương mại thực tế của nghề nấu ăn di sản văn hóa phi vật thể Trung Quốc (như nhà bếp nhà hàng, giảng dạy nấu ăn, v.v.), và tất cả các mô tả và câu hỏi đều được viết thủ công cẩn thận, phản ánh sát hơn các tình huống ứng dụng thực tế.

Kết quả thí nghiệm thế nào?

LFS mang lại sự cải thiện phổ biến và ổn định trên các mô hình và bộ chuẩn khác nhau. Tất cả các phiên bản được tăng cường bằng LFS đều vượt trội hơn các mô hình cơ sở trên mọi bộ chuẩn thử nghiệm, cho thấy LFS không chỉ đạt hiệu suất tốt trên một bộ chuẩn duy nhất mà còn có tính phổ dụng nhất định.

Điều này cũng phản hồi luận điểm cốt lõi của bài báo: thay vì để mô hình “tính toán cưỡng chế” trên các khung được lấy mẫu đồng đều, tốt hơn hết là thực hiện một lựa chọn thông minh ở đầu vào—chọn đúng các khung, hiệu suất của các nhiệm vụ downstream sẽ được cải thiện tương ứng.

03 Nhiệm vụ điều chỉnh: Biểu diễn can thiệp mô-đun thay thế tinh chỉnh toàn bộ mô hình

Khả năng tổng quát hóa xuyên nhiệm vụ của các mô hình ngôn ngữ lớn luôn là một vấn đề “nói thì quan trọng, làm thì khó”. Các giải pháp phổ biến hiện nay là định tuyến động theo từng token—mỗi token khi được xử lý đều phải lựa chọn giữa nhiều bộ điều chỉnh LoRA để quyết định đi theo con đường nào. Cơ chế này thực sự hiệu quả, nhưng chi phí cũng không nhỏ: lượng tính toán và dung lượng bộ nhớ GPU đều ở mức cao, khiến mô hình chạy chậm và tốn nhiều bộ nhớ GPU.

Một cách tiếp cận khác—Việc tinh chỉnh biểu diễn (ReFT)—không thay đổi tham số mô hình, mà chỉ chỉnh sửa biểu diễn của các token tiền tố và hậu tố để thực hiện điều chỉnh cho một nhiệm vụ đơn lẻ, hiệu quả cao hơn đáng kể so với LoRA. Tuy nhiên, nó có hai nhược điểm: thứ nhất, ngữ nghĩa của chính các token đã mang tính mơ hồ, việc chỉ sửa đổi đầu và cuối không đủ chính xác; thứ hai, nó thiếu cơ chế “tự dẫn dắt”, khiến mô hình không biết nên chỉnh sửa lớp nào và biểu diễn nào khi đối mặt với nhiệm vụ mới mà nó chưa từng thấy.

Đội ngũ Huawei Cloud hợp tác với nhiều trường đại học, đề xuất khung RaMod (Representation-Aware Modularity) nhận thức biểu diễn, thành công mở rộng tư tưởng ReFT sang bối cảnh khái quát hóa giữa các nhiệm vụ.

Có thể chia cách tiếp cận chính thành hai phần:

Phần đầu tiên là biểu diễn hai mô-đun và tinh chỉnh tham số. ReFT chỉ có thể điều chỉnh đầu và cuối, trong khi RaMod tinh vi hơn nhiều — nó chọn ra một tập con đã được lọc bởi chiến lược từ các biểu diễn ẩn ở các lớp trung gian để thực hiện can thiệp mô-đun. Việc chọn sửa đổi đâu và sửa đổi như thế nào đều được thực hiện có chọn lọc và có chiến lược. Điều này giúp định hướng mô hình một cách chính xác hơn để giải quyết các nhiệm vụ chưa từng thấy.

Phần thứ hai là bộ lập lịch bất đồng bộ. Vấn đề lớn nhất trong tổng quát hóa giữa các tác vụ là thiếu bộ nhớ GPU, RaMod đã thiết kế một cơ chế lập lịch chủ động: cấp phát bộ nhớ GPU khi cần can thiệp, và giải phóng chủ động khi sử dụng xong. Nhờ đó, chi phí lưu trữ được giảm xuống mức thấp nhất.

Hiệu quả rõ rệt. Các thí nghiệm cho thấy RaMod không chỉ có khả năng tổng quát hóa vượt các nhiệm vụ tốt hơn, mà chi phí cũng giảm đáng kể: so với các LLM gốc, phương pháp này giảm 83% thời gian tiền điền bổ sung, giảm 100% độ trễ khi tạo và giảm 79% dung lượng bộ nhớ GPU.

Nói cách khác, RaMod đã chuyển đổi việc điều chỉnh nhiệm vụ từ “sửa mô hình” thành “điều chỉnh biểu diễn” — không thay đổi phần chính của mô hình, mà chỉ thực hiện chỉnh sửa điểm tại trạng thái ẩn của các lớp then chốt. Nếu tư tưởng này thành công, kinh tế học trong việc triển khai mô hình lớn có thể bị thay đổi: một mô hình nền tảng kết hợp với một số mô hình can thiệp nhẹ có thể phục vụ các kịch bản nhiệm vụ hoàn toàn khác nhau với chi phí thấp, thay vì phải huấn luyện hoặc tải phiên bản đầy đủ riêng cho từng kịch bản.

Tuy nhiên, trước khi “viết lại”, phương pháp tinh chỉnh biểu diễn này vẫn cần trả lời một số vấn đề then chốt, chẳng hạn như trong các tình huống khó như suy luận phức tạp, liệu có thể duy trì độ chính xác trong khi vẫn tiết kiệm đáng kể chi phí tính toán hay không.

04 Dữ liệu phá thế: Các chuyên gia ngôn ngữ đảm nhiệm vai trò riêng, đào tạo từng bước vững chắc

Ba bài báo đầu tiên đều giải quyết vấn đề “làm thế nào để sử dụng mô hình hiệu quả hơn”. Nhưng nhiều nhiệm vụ còn đối mặt với một thách thức thực tế cơ bản hơn: nếu dữ liệu huấn luyện không đủ thì sao?

Nhiệm vụ dịch giọng nói chuyển mã (Code-Switching, CS) yêu cầu dịch giọng nói chứa nhiều ngôn ngữ sang ngôn ngữ mục tiêu. Nhiệm vụ này không chỉ có mô hình ngữ nghĩa phức tạp, mà sự khan hiếm dữ liệu CS còn là một vấn đề lớn.

Các nghiên cứu trước đây chủ yếu đi theo hai con đường: hoặc là để mô hình tự “thấm nhuần” biểu diễn ngữ nghĩa, nhưng hiệu quả không thể kiểm soát; hoặc là tốn chi phí lớn để ghi nhãn thủ công, chi phí quá cao và khó mở rộng quy mô.

Đội ngũ Trung tâm Dịch thuật Huawei, hợp tác với Đại học Hạ Môn và Đại học Ma Cao, trong bài báo này đã đề xuất một hướng tiếp cận mới: thay vì để mô hình tự mình khám phá các biểu diễn ngữ nghĩa của các ngôn ngữ khác nhau, hãy chủ động căn chỉnh chúng—xây dựng một “đội chuyên gia” riêng biệt cho mỗi ngôn ngữ, để các đội này phụ trách mô hình hóa ngữ nghĩa cho ngôn ngữ của riêng mình, sau đó căn chỉnh thống nhất.

Địa chỉ bài luận: https://arxiv.org/pdf/2511.10670

Có hai thiết kế then chốt trong cách thực hiện cụ thể:

Đầu tiên là bộ chiếu âm thanh MoE (Mixture of Experts). Các bộ chiếu truyền thống xử lý tất cả các ngôn ngữ một cách như nhau, do đó hiệu quả không lý tưởng. Phiên bản MoE phân bổ một nhóm “chuyên gia” riêng biệt cho từng ngôn ngữ, mỗi nhóm chuyên gia chỉ chịu trách nhiệm mô hình hóa các đặc điểm âm thanh tinh tế của một ngôn ngữ duy nhất. Cơ chế định tuyến sẽ tự động chuyển các đặc điểm âm thanh đến nhóm chuyên gia phù hợp với ngôn ngữ đó.

Để đảm bảo định tuyến không bị lệch, bài báo còn giới thiệu hai tổn thất phụ: tổn thất đặc trưng ngôn ngữ đảm bảo mỗi chuyên gia thực sự học được đặc trưng của ngôn ngữ tương ứng, và tổn thất cân bằng tải trong nhóm ngăn chặn tất cả các token đều dồn vào một chuyên gia duy nhất.

Bước thứ hai là mô hình huấn luyện đa giai đoạn. Nếu dữ liệu không đủ, hãy dùng chiến lược để bù đắp. Toàn bộ quá trình huấn luyện chia làm bốn bước: trước tiên, sử dụng dữ liệu nhận dạng giọng nói tự động (ASR) để tiền huấn luyện bộ chiếu cho từng ngôn ngữ, xây dựng nền tảng căn chỉnh âm thanh-văn bản; sau đó, ghép các bộ chiếu của các ngôn ngữ thành cấu trúc MoE, tối ưu hóa đồng thời bằng tổn thất đặc trưng ngôn ngữ và tổn thất cân bằng tải; tiếp theo, dần dần chuyển từ dữ liệu ASR sang dữ liệu dịch giọng nói đơn ngữ (ST), sử dụng tổn thất chuyển tiếp để đảm bảo sự chuyển đổi mượt mà; cuối cùng, điều chỉnh từ dữ liệu ST sang dữ liệu dịch giọng nói đa ngôn ngữ.

Sự tinh vi của thiết kế từng bước này nằm ở chỗ—không để mô hình trực tiếp đối mặt với dữ liệu CS khan hiếm, mà trước tiên sử dụng dữ liệu ASR và ST dồi dào để củng cố năng lực nền tảng, sau đó dần dần chuyển sang nhiệm vụ mục tiêu.

Đã so sánh thực nghiệm nhiều mô hình cơ sở mạnh như Whisper, SeamlessM4T, LLaST. Trên bốn bộ thử nghiệm của Fisher và NTUML2021, phương pháp này đều vượt trội hơn SeamlessM4T – mô hình có hiệu suất tốt nhất trong số các mô hình khác, với BLEU cao nhất đạt 39.52 và COMET cao nhất đạt 81.33.

Thông điệp từ công việc này rất rõ ràng: trong các tình huống đa ngôn ngữ với dữ liệu khan hiếm, thiết kế kiến trúc tinh vi và chiến lược huấn luyện từng bước có thể hiệu quả hơn là chỉ đơn thuần tăng lượng dữ liệu.

Cần lưu ý rằng giải pháp “đỉnh cao” này hiệu quả trong các tình huống có số lượng ngôn ngữ hạn chế và chất lượng dữ liệu có thể kiểm soát, nhưng liệu nó có khả năng mở rộng trong hệ thống dịch đa ngôn ngữ phổ quát cần hỗ trợ hàng chục ngôn ngữ hay không, vẫn cần được chứng minh thêm.

05 Kết luận: Dùng mật độ thiết kế để chuyển đổi chi phí tính toán

30B ViT phân cấp đã tái cấu trúc kiến trúc mô hình, giúp 6,7 tỷ tham số kích hoạt vượt qua đối thủ 18 tỷ tham số trên ImageNet;

LFS đã thực hiện một phép trừ ở đầu vào, ngăn chặn lượng lớn chi phí mã hóa khung vô nghĩa trước khi tính toán;

RaMod nén tinh chỉnh toàn bộ thành chỉnh sửa định điểm ở lớp biểu diễn, giảm cả bộ nhớ và độ trễ khi thích nghi giữa các nhiệm vụ;

Bằng cách sử dụng phân công MoE và đào tạo từng bước, dịch chuyển mã ngôn ngữ đã chứng minh một nguyên lý trên lĩnh vực có dữ liệu khan hiếm nhất: trí tuệ kiến trúc đôi khi có thể bù đắp sự thiếu hụt dữ liệu.

Bốn bài báo nghiên cứu, bốn hướng tiếp cận, đều hướng đến một lõi chung: Huawei đang thay thế “mật độ quy mô” bằng “mật độ thiết kế”. Bốn bài báo này đến từ các lĩnh vực nghiên cứu cơ bản, dữ liệu AI, dịch vụ đám mây và trung tâm dịch thuật, cho thấy ưu tiên hiệu suất không còn là sở thích của một nhóm riêng lẻ, mà đã được tích hợp vào mọi lựa chọn kỹ thuật trong các giai đoạn khác nhau.

Nếu so sánh cuộc đua AI trong hai năm qua với việc “đấu mỏ”, thì năm 2026 đang lộ ra một điểm ngoặt: thời đại của việc “đấu kỹ thuật luyện kim” đã bắt đầu. Các hướng đi như kích hoạt thưa, lọc thông minh, điều chỉnh mô-đun, và huấn luyện tiến bộ — những phương pháp này không phụ thuộc vào nhiều chip và sức tính toán hơn, mà dựa vào sự hiểu biết sâu sắc hơn về chính vấn đề.

Dù là doanh nghiệp lớn hay công ty khởi nghiệp, đều đã vượt qua cuộc đua thông số kỹ thuật;下半场 của AI, chính là sự hiểu biết sâu sắc về các vấn đề thực tế và năng lực kỹ thuật hệ thống để giải quyết chúng một cách có hệ thống — mới là điểm quyết định thắng bại.