DEV Community

Y Hành Nhan
Y Hành Nhan

Posted on

Top AI Papers on Hugging Face - 2026-07-14

#ai #machinelearning #huggingface

10 Paper AI Hot nhất trên Hugging Face hôm nay: Video thời gian thực, agent dài hạn, robot có trí nhớ và hơn thế nữa

Hôm nay, bảng xếp hạng paper trên Hugging Face cho thấy một bức tranh rất rõ: AI đang dịch chuyển mạnh theo 4 hướng lớn — video generation, agent dài hạn, robot foundation model, và đánh giá lại năng lực “hiểu” của mô hình. Dưới đây là bản tổng hợp 10 paper được upvote cao nhất, tập trung vào 4 câu hỏi cho mỗi bài:

  • Bài toán
  • Ý tưởng
  • Điểm mới
  • Ứng dụng thực tế

1) Vidu S1: A Real-Time Interactive Video Generation Model

Bài toán

Phần lớn mô hình sinh video hiện nay vẫn gặp giới hạn lớn về độ trễ, độ dài video, và chi phí phần cứng. Tạo video mượt, tương tác được theo thời gian thực trên GPU phổ thông vẫn là bài toán khó.

Ý tưởng

Vidu S1 hướng tới một hệ thống sinh video real-time interactive, cho phép điều khiển nhân vật số bằng giọng nói, tạo video tốc độ khung hình cao và có thể kéo dài gần như vô hạn.

Điểm mới

Điểm đáng chú ý nằm ở định hướng hệ thống nhiều hơn là chỉ kiến trúc mô hình: paper nhấn mạnh khả năng chạy trên consumer GPUs, dùng các kỹ thuật như TurboDiffusion và TurboServe để giảm độ trễ. Đây là bước chuyển từ “demo nghiên cứu” sang “sản phẩm có thể dùng”.

Ứng dụng thực tế

  • VTuber/nhân vật ảo điều khiển bằng giọng nói
  • Livestream AI avatar
  • Trợ lý số có biểu cảm và cử động thời gian thực
  • Sản xuất nội dung video tương tác chi phí thấp

Nhận định: Nếu kết quả thực nghiệm đủ mạnh, đây có thể là một trong những paper quan trọng nhất ở mảng real-time generative media.

2) ABot-N1: Toward a General Visual Language Navigation Foundation Model

Bài toán

Visual Language Navigation (VLN) yêu cầu agent hiểu hướng dẫn ngôn ngữ và di chuyển đúng trong môi trường quan sát bằng thị giác. Đây là bài toán nền tảng cho robot và embodied AI, nhưng thường bị phân mảnh theo benchmark hoặc môi trường cụ thể.

Ý tưởng

ABot-N1 dường như đặt mục tiêu xây dựng một foundation model cho navigation, nghĩa là không chỉ giải một tác vụ hẹp mà học được năng lực tổng quát để di chuyển theo chỉ dẫn ngôn ngữ trong nhiều bối cảnh.

Điểm mới

Điểm mới lớn nhất là tham vọng “foundation model hóa” bài toán điều hướng — tương tự cách LLM tổng quát hóa ngôn ngữ. Nếu paper thực sự kết hợp được dữ liệu đa môi trường, đa kiểu chỉ dẫn, và cơ chế suy luận hành động mạnh, đây sẽ là bước tiến lớn cho embodied AI.

Ứng dụng thực tế

  • Robot giao hàng trong tòa nhà
  • Robot hỗ trợ gia đình
  • Điều hướng tự động trong bản đồ số 3D
  • Trợ lý AR/VR hướng dẫn đường trong không gian thật

Nhận định: ABot-N1 đáng theo dõi vì navigation là một “nút thắt” để đi từ mô hình hiểu hình-ngôn ngữ sang agent hành động trong thế giới.

3) ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

  • Paper: 2607.10350

Bài toán

Robot hiện đại không chỉ cần perception và planning, mà còn cần trí nhớ dài hạn: nhớ người dùng, vật thể, vị trí, thói quen, nhiệm vụ cũ và kinh nghiệm trước đó. Đa số hệ thống robot vẫn thiếu một “hệ điều hành agent” đúng nghĩa.

Ý tưởng

ABot-AgentOS đề xuất một nền tảng agent cho robot với lifelong multi-modal memory — trí nhớ suốt đời, lưu và truy xuất thông tin từ nhiều modality như hình ảnh, ngôn ngữ, tín hiệu môi trường, hành động lịch sử.

Điểm mới

Điểm mới nằm ở việc xem robot như một hệ thống tác nhân liên tục, không phải mô hình xử lý từng phiên độc lập. Memory ở đây là cấu phần trung tâm để robot tích lũy hiểu biết lâu dài, cá nhân hóa hành vi và xử lý nhiệm vụ nhiều bước.

Ứng dụng thực tế

  • Robot gia đình nhớ vị trí đồ vật
  • Robot chăm sóc người cao tuổi nhớ thói quen và lịch trình
  • Robot kho vận ghi nhớ môi trường làm việc biến đổi
  • Agent vật lý có khả năng học liên tục sau triển khai

Nhận định: Khi AI bước vào robot thật, memory sẽ là yếu tố không thể thiếu. Paper này đánh trúng nhu cầu đó.

4) Video-Oasis: Rethinking Evaluation of Video Understanding

Bài toán

Nhiều benchmark “video understanding” có thể đang đo sai năng lực. Nếu mô hình trả lời đúng mà không cần nhìn video, benchmark đó không thực sự đánh giá hiểu video.

Ý tưởng

Video-Oasis xây dựng một bộ chẩn đoán để kiểm tra xem câu hỏi benchmark có thực sự cần tín hiệu thị giác hay chỉ cần suy luận ngôn ngữ/kiến thức nền.

Điểm mới

Kết quả nổi bật nhất: khoảng một nửa benchmark hiện tại có thể giải mà không cần input hình ảnh. Đây là phát hiện rất quan trọng vì nó cho thấy nhiều Video-LLM có thể đang “trông có vẻ hiểu video”, nhưng thực chất chỉ khai thác bias ngôn ngữ và kiến thức priors.

Ứng dụng thực tế

  • Thiết kế benchmark tốt hơn cho video understanding
  • Đánh giá công bằng hơn giữa các mô hình
  • Giảm ảo tưởng tiến bộ trong video AI
  • Hỗ trợ nghiên cứu mô hình thực sự “video-native”

Nhận định: Đây là paper kiểu “wake-up call” cho cộng đồng. Trước khi làm mô hình tốt hơn, ta cần chắc rằng mình đo đúng.

5) Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

Bài toán

Các coding agent và terminal agent thường được đánh giá trên tác vụ ngắn. Nhưng ngoài đời, nhiều công việc thật cần hàng chục đến hàng trăm bước, có lỗi giữa chừng, cần sửa sai và tiếp tục.

Ý tưởng

Long-Horizon-Terminal-Bench tạo ra benchmark cho terminal tasks dài hạn, với cơ chế dense reward-based grading để chấm điểm không chỉ kết quả cuối mà cả tiến độ từng phần.

Điểm mới

Điểm mạnh là đánh vào đúng “nỗi đau” của agent hiện tại: làm tốt vài bước đầu nhưng sụp đổ khi nhiệm vụ kéo dài. Chấm điểm dày (dense rewards) giúp nhìn rõ agent thất bại ở planning, memory, hay error recovery.

Ứng dụng thực tế

  • Đánh giá coding agent trong môi trường thật
  • Tối ưu agent DevOps, data engineering, system admin
  • Huấn luyện agent biết phục hồi sau lỗi
  • Nghiên cứu planning dài hạn và self-correction

Nhận định: Nếu muốn xây agent hữu ích trong sản xuất, benchmark kiểu này gần thực tế hơn nhiều so với các bài test ngắn.

6) Weak-to-Strong Generalization via Direct On-Policy Distillation

Bài toán

RL cho mô hình lớn rất đắt. Câu hỏi là: liệu có thể dùng một mô hình nhỏ hơn làm “người đi trước”, học bằng RL trước, rồi truyền lợi ích đó sang mô hình lớn mà không cần chạy RL lại từ đầu?

Ý tưởng

Paper đề xuất Direct On-Policy Distillation (OPD). Thay vì chỉ distill output thông thường, phương pháp tận dụng policy shift do RL tạo ra như một dạng tín hiệu thưởng ngầm, rồi chuyển hóa cải thiện đó sang mô hình lớn hơn.

Điểm mới

Khía cạnh mới là tư duy weak-to-strong transfer trong giai đoạn hậu huấn luyện bằng RL. Nói đơn giản: cho model nhỏ “học khó trước”, rồi chuyển quỹ đạo hành vi tốt sang model lớn rẻ hơn nhiều so với RL toàn phần trên model lớn.

Ứng dụng thực tế

  • Giảm chi phí RLHF/RLAIF/RLVR
  • Tăng tốc huấn luyện mô hình reasoning lớn
  • Chuyển năng lực từ model thử nghiệm sang model sản phẩm
  • Tối ưu pipeline alignment ở quy mô công nghiệp

Nhận định: Đây là hướng rất thực dụng. Trong bối cảnh chi phí RL ngày càng cao, mọi kỹ thuật “distill thay vì retrain” đều cực kỳ giá trị.

7) Video Generation Models are General-Purpose Vision Learners

Bài toán

Thông thường, ta nghĩ mô hình sinh video là để generate. Nhưng liệu quá trình học sinh video có vô tình buộc mô hình học được biểu diễn thị giác mạnh đến mức dùng cho các tác vụ vision tổng quát?

Ý tưởng

Paper đặt giả thuyết rằng video generation models không chỉ là generator, mà còn là general-purpose vision learners. Vì để dự đoán video hợp lý theo thời gian, mô hình phải hiểu vật thể, chuyển động, quan hệ nhân quả, và động học cảnh.

Điểm mới

Điểm mới nằm ở việc đảo chiều góc nhìn: thay vì dùng vision model để hỗ trợ generation, paper xem chính generation là con đường học representation tốt cho vision.

Ứng dụng thực tế

  • Tiền huấn luyện mô hình thị giác bằng mục tiêu sinh video
  • Cải thiện tracking, action recognition, scene understanding
  • Học world model cho robotics và autonomous systems
  • Kết hợp generative learning với perception downstream

Nhận định: Đây là xu hướng đáng chú ý vì generative modeling ngày càng cho thấy giá trị vượt ra ngoài “tạo nội dung”.

8) Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

Bài toán

Trong zero-shot compositional action recognition, mô hình phải nhận diện tổ hợp động từ-vật thể chưa từng thấy, ví dụ “open drawer”. Vấn đề là mô hình thường học shortcut theo object: thấy “drawer” thì đoán theo các mẫu phổ biến, thay vì thực sự hiểu hành động.

Ý tưởng

RCORE giảm object-driven shortcuts bằng hai kỹ thuật:

  • Co-occurrence prior regularization
  • Temporal order regularization

Mục tiêu là buộc mô hình học quan hệ hành động-vật thể mang tính thành phần thay vì dựa vào thống kê nông.

Điểm mới

Paper chỉ ra rõ sự bất đối xứng giữa học verb và object, đồng thời thiết kế regularization để sửa lỗi này. Đây là đóng góp quan trọng cho compositional generalization.

Ứng dụng thực tế

  • Video understanding cho robot thao tác
  • Nhận diện hành động trong giám sát, thể thao, HCI
  • Hệ thống hiểu lệnh mới chưa thấy trước
  • Cải thiện zero-shot recognition trong môi trường mở

Nhận định: Một paper rất hay về mặt chẩn đoán lỗi học shortcut — vấn đề phổ biến nhưng thường bị đánh giá thấp.

9) Scalable Visual Pretraining for Language Intelligence

  • Paper: 2607.09657

Bài toán

Các mô hình ngôn ngữ đa phương thức hiện nay vẫn chưa khai thác hết giá trị của pretraining thị giác ở quy mô lớn để phục vụ language intelligence — tức năng lực suy luận, grounding và hiểu ngữ cảnh qua hình ảnh.

Ý tưởng

Ngay từ tiêu đề, paper gợi ý một luận điểm mạnh: muốn tăng trí tuệ ngôn ngữ thực sự, cần visual pretraining có thể scale. Nghĩa là hình ảnh không chỉ là modality phụ, mà là nguồn kiến thức và grounding giúp ngôn ngữ thông minh hơn.

Điểm mới

Điểm mới có thể nằm ở chiến lược pretraining hợp nhất giữa visual learning và language-centric reasoning ở quy mô lớn, nhấn mạnh rằng “thông minh ngôn ngữ” không thể tách rời cảm nhận thế giới.

Ứng dụng thực tế

  • Mô hình đa phương thức mạnh hơn cho trợ lý AI
  • Grounded reasoning tốt hơn trong môi trường thực
  • Cải thiện VQA, chart understanding, document AI
  • Hỗ trợ agent cần quan sát trước khi hành động

Nhận định: Đây là hướng rất “foundation-model”. Về dài hạn, visual grounding nhiều khả năng sẽ là thành phần chuẩn của mọi AI mạnh.

10) 4D Human-Scene Reconstruction from Low-Overlap Captures

Bài toán

Tái dựng 4D human-scene — tức con người + cảnh theo thời gian — thường yêu cầu nhiều camera với góc nhìn chồng lắp tốt. Nhưng trong thực tế, dữ liệu thu được thường có low overlap, khó tái dựng ổn định.

Ý tưởng

Paper tập trung giải bài toán tái dựng động từ dữ liệu capture ít chồng lắp hơn bình thường. Mục tiêu là phục hồi đồng thời hình học, chuyển động, và tương tác người-cảnh theo thời gian.

Điểm mới

Điểm mới là xử lý một setting rất thực tế nhưng khó: multi-view không lý tưởng. Đây là khác biệt lớn so với nhiều hệ thống chỉ hoạt động tốt trong studio được kiểm soát chặt.

Ứng dụng thực tế

  • Làm phim, game, XR/VR
  • Motion capture rẻ hơn cho studio nhỏ
  • Digital human và telepresence
  • Phân tích chuyển động người trong không gian thật

Nhận định: Nếu robust trong điều kiện capture nghèo, công nghệ này sẽ rất hữu ích cho ngành sáng tạo nội dung 3D.

Kết luận: 4 xu hướng nổi bật từ top paper hôm nay

Nhìn toàn bộ danh sách, có thể rút ra 4 xu hướng lớn:

1. Video đang trở thành trung tâm

Từ Vidu S1, Video-Oasis, đến Video Generation Models are General-Purpose Vision Learners, video không còn chỉ là bài toán tạo nội dung mà đang trở thành nền tảng để học perception, reasoning và đánh giá mô hình.

2. Agent cần dài hạn hơn, thực tế hơn

Long-Horizon-Terminal-Bench và các paper về robot như ABot-N1, ABot-AgentOS cho thấy cộng đồng đang rời xa benchmark ngắn, tiến tới những hệ thống có memory, planning, và khả năng hành động liên tục.

3. Đánh giá mô hình đang được xem xét lại từ gốc

Video-Oasis và RCORE nhấn mạnh một thông điệp rất quan trọng: nhiều benchmark hiện nay vẫn chứa shortcut. Nếu không sửa cách đo, chúng ta dễ ngộ nhận về tiến bộ thực sự.

4. Generative models đang trở thành mô hình nhận thức

Từ sinh video thời gian thực đến học representation cho vision, ranh giới giữa generator và understanding model đang mờ dần. Điều này có thể định hình thế hệ foundation model tiếp theo.

Nếu phải chọn 3 paper đáng chú ý nhất hôm nay theo tác động tiềm năng rộng, mình sẽ chọn:

  1. Vidu S1 — vì mở ra khả năng video tương tác thời gian thực trên phần cứng phổ thông
  2. Video-Oasis — vì đặt lại câu hỏi “ta có đang đánh giá đúng không?”
  3. Weak-to-Strong Generalization via Direct On-Policy Distillation — vì giải bài toán chi phí RL rất thực tế

Nếu bạn muốn, ở bước tiếp theo mình có thể viết tiếp một bản “deep dive” 2000-3000 từ cho 3 paper nổi bật nhất, hoặc chuyển bài này thành format newsletter / LinkedIn post / script YouTube.

Top comments (0)