DEV Community

Y Hành Nhan
Y Hành Nhan

Posted on

Top AI Papers on Hugging Face - 2026-07-11

#ai #machinelearning #huggingface

10 paper AI nổi bật nhất trên Hugging Face hôm nay: video real-time, robot có trí nhớ, benchmark “vạch trần” model và nhiều ý tưởng đáng chú ý

Hôm nay, danh sách paper được cộng đồng Hugging Face upvote cao nhất cho thấy một bức tranh khá rõ về xu hướng AI hiện tại: video generation thời gian thực, agent/robot có trí nhớ, benchmark đánh giá lại năng lực thực sự của mô hình, và AI cho khoa học đang tăng tốc rất mạnh.

Trong bài viết này, mình sẽ đi qua 10 paper nổi bật nhất, tập trung vào 4 câu hỏi cho mỗi bài:

  • Bài toán họ đang giải là gì?
  • Ý tưởng chính là gì?
  • Điểm mới nằm ở đâu?
  • Ứng dụng thực tế có thể là gì?

1) Vidu S1: A Real-Time Interactive Video Generation Model

Bài toán

Phần lớn mô hình sinh video hiện nay cho chất lượng khá tốt, nhưng thường chậm, khó tương tác theo thời gian thực, và rất khó duy trì video dài mà không bị lệch nội dung hoặc giảm chất lượng theo thời gian. Điều này đặc biệt quan trọng nếu muốn dùng AI cho avatar nói chuyện, streaming, hay nhân vật số tương tác trực tiếp.

Ý tưởng

Vidu S1 hướng tới một mô hình sinh video có thể render theo thời gian thực, hỗ trợ điều khiển bằng giọng nói, tạo hoạt ảnh cho nhân vật số, và thậm chí hỗ trợ đầu ra “gần như vô hạn” về độ dài video. Hệ thống tận dụng các thành phần như TurboDiffusion và TurboServe để giảm độ trễ và tăng FPS trên cả phần cứng phổ thông.

Điểm mới

Điểm đáng chú ý nhất là sự kết hợp giữa:

  • real-time generation
  • interactive control
  • infinite-length output
  • chạy được trên consumer GPUs

Nói cách khác, paper không chỉ tối ưu chất lượng, mà còn tối ưu theo hướng sản phẩm hóa: đủ nhanh để có ích trong các tình huống tương tác thật.

Ứng dụng thực tế

  • VTuber / digital human tương tác trực tiếp
  • AI livestream host
  • NPC trong game phản hồi theo giọng nói
  • video cá nhân hóa theo thời gian thực trong marketing và giáo dục

2) SciReasoner: Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning

Bài toán

Trong khoa học vật liệu, hóa học và sinh học, dữ liệu thường ở dạng cấu trúc: protein, phân tử, tinh thể. Vấn đề là các mô hình hiện tại thường làm tốt từng domain riêng lẻ, nhưng khó thống nhất cách biểu diễn và thường thiếu tính giải thích.

Ý tưởng

SciReasoner xây dựng một multimodal scientific foundation model có khả năng suy luận trên nhiều loại cấu trúc khoa học khác nhau. Ý tưởng cốt lõi là rời rạc hóa các thành phần cấu trúc thành một “từ vựng chung”, từ đó dùng một mô hình thống nhất để học quan hệ giữa cấu trúc và tính chất.

Điểm mới

Điểm mới mạnh nhất là:

  • tạo unified vocabulary cho protein, molecule, crystal
  • tập trung vào reasoning traces chứ không chỉ dự đoán kết quả
  • nhấn mạnh transparency và đánh giá bởi chuyên gia

Thay vì chỉ nói “đây là dự đoán đúng”, hệ thống cố cho thấy vì sao nó suy ra như vậy.

Ứng dụng thực tế

  • dự đoán chức năng protein
  • hỗ trợ retrosynthesis trong hóa học
  • khám phá vật liệu mới
  • hỗ trợ nhà khoa học trong các pipeline nghiên cứu liên ngành

3) LaMem-VLA: Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

Bài toán

Nhiều mô hình Vision-Language-Action cho robot vẫn mang giả định gần-Markov: quyết định hiện tại chủ yếu dựa vào quan sát hiện tại. Nhưng trong thao tác robot thực tế, ký ức về những gì đã xảy ra trước đó rất quan trọng: vật đã được cầm chưa, ngăn kéo đã thử mở chưa, object đang ở đâu ngoài khung hình hiện tại.

Ý tưởng

LaMem-VLA đưa vào dual latent memory gồm:

  • short-term memory vault
  • long-term memory vault

Cả hai cùng hoạt động trong cùng không gian latent với VLA model, giúp truy xuất kinh nghiệm quá khứ một cách gọn nhẹ và phù hợp ngữ cảnh.

Điểm mới

Điểm hay của paper là bộ nhớ không được gắn thêm như một “phụ kiện” ngoài lề, mà được thiết kế memory-native ngay trong latent space của mô hình hành động. Điều này giúp bộ nhớ:

  • compact hơn
  • dễ tích hợp hơn
  • phù hợp với bài toán context window bị giới hạn

Ứng dụng thực tế

  • robot gắp đặt trong nhà máy
  • robot gia dụng làm tác vụ nhiều bước
  • embodied agents cần nhớ lịch sử tương tác dài
  • trợ lý robot trong kho vận và chăm sóc

4) Video-Oasis: Rethinking Evaluation of Video Understanding

Bài toán

Benchmark video hiện nay có thể đang đánh giá sai năng lực của mô hình. Nếu một bài test video có thể làm tốt ngay cả khi không nhìn video, thì benchmark đó thực ra đo kiến thức ngôn ngữ hoặc prior, chứ không đo khả năng hiểu hình ảnh động.

Ý tưởng

Video-Oasis đưa ra một bộ chẩn đoán để kiểm tra benchmark video hiện tại có thực sự cần tới tín hiệu thị giác hay không. Kết quả khá sốc: gần một nửa benchmark hiện có có thể giải mà không cần visual input.

Điểm mới

Paper này không đề xuất model mới, mà đánh trực diện vào cách cộng đồng đang đo lường tiến bộ. Đây là đóng góp rất quan trọng vì benchmark kém có thể khiến cả field tối ưu nhầm mục tiêu.

Ứng dụng thực tế

  • thiết kế benchmark video tốt hơn
  • giúp lab và công ty chọn bộ đánh giá đáng tin cậy hơn
  • tránh “ảo tưởng tiến bộ” khi phát triển Video-LLM

5) LingBot-Video: Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

Bài toán

Embodied intelligence cần hiểu video theo cách gần với thế giới vật lý và tác vụ robot, nhưng pretraining video phổ thông chưa chắc đã tối ưu cho các tín hiệu như physical rationality hay task completion.

Ý tưởng

LingBot-Video dùng kiến trúc DiT-based video pretraining kết hợp với Mixture-of-Experts (MoE), cùng một engine lọc dữ liệu và hệ thống reward đa chiều để hướng mô hình tới các khía cạnh quan trọng cho embodied AI.

Điểm mới

Điểm mới nằm ở việc không chỉ scale mô hình, mà còn scale theo đúng “định hướng”:

  • dữ liệu được profile theo tính robot-oriented
  • augmentation phù hợp embodied setting
  • reward không chỉ nhìn chất lượng chung mà còn nhìn tính hợp lý vật lý và hoàn thành nhiệm vụ

Ứng dụng thực tế

  • pretraining cho robot foundation model
  • agent hiểu video thao tác trong thế giới thực
  • mô phỏng và học từ dữ liệu thao tác quy mô lớn

6) RCORE: Why Can't I Open My Drawer?

Bài toán

Trong zero-shot compositional action recognition, mô hình thường học shortcut kiểu: thấy “drawer” thì đoán luôn hành động “open”, thay vì thực sự hiểu verb-object composition. Đây là dạng object-driven shortcut.

Ý tưởng

RCORE đưa vào hai regularization chính:

  • co-occurrence prior regularization
  • temporal order regularization

Mục tiêu là làm mô hình ít phụ thuộc vào thống kê đồng xuất hiện đơn giản và chú ý hơn tới trật tự hành động thật trong video.

Điểm mới

Paper rất đáng chú ý vì chỉ ra một lỗi học cực phổ biến: mất cân bằng giữa học verb và object. Nó cũng đưa ra metric chẩn đoán để nhìn rõ mô hình đang “ăn gian” như thế nào.

Ứng dụng thực tế

  • video action recognition bền vững hơn
  • robotics perception
  • surveillance analytics
  • nền tảng tốt hơn cho các hệ thống cần hiểu hành động mới chưa từng thấy

7) Infinite Worlds with Versatile Interactions

Bài toán

World model hiện nay thường bị giới hạn về độ dài, số lượng thực thể có thể tương tác, hoặc khả năng điều khiển nhiều agent cùng lúc. Với các môi trường mô phỏng hay game AI, đây là nút thắt lớn.

Ý tưởng

Paper đề xuất một hệ world modeling có:

  • tương tác đa dạng
  • xử lý real-time
  • nhiều agent với các vai trò như pilot agent và director agent
  • các sự kiện điều khiển bằng text

Điểm mới

Điểm mới nằm ở tham vọng xây dựng thế giới mở kéo dài, có thể hỗ trợ shared experience và collaborative virtual environments. Đây là bước tiến từ việc chỉ “generate world” sang “duy trì và điều phối một thế giới có tác nhân”.

Ứng dụng thực tế

  • mô phỏng đào tạo
  • game thế hệ mới có NPC chủ động
  • sandbox cho embodied agents
  • collaborative virtual environments

8) UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

Bài toán

Các benchmark agent hiện nay thường đánh giá khá tĩnh, trong khi agent ngoài đời cần chủ động, biết tự khám phá, phối hợp nhiều kỹ năng và xử lý môi trường thật.

Ý tưởng

UniClawBench xây dựng benchmark cho proactive agents trong môi trường thực, dùng live Docker container evaluation và cơ chế đánh giá closed-loop với nhiều vai trò agent như executor, supervisor, user.

Điểm mới

Điểm mới là benchmark không chỉ hỏi “agent có làm đúng không?” mà hỏi “agent có biết chủ động hành động đúng lúc không?”. Đây là khác biệt lớn giữa assistant thụ động và autonomous agent.

Ứng dụng thực tế

  • đánh giá AI operator
  • so sánh agent cho tác vụ doanh nghiệp
  • nghiên cứu agent đa kỹ năng, đa công cụ, đa nền tảng

9) Ideas Have Genomes

Bài toán

AI for science không chỉ cần đọc paper, mà còn cần hiểu ý tưởng khoa học tiến hóa thế nào theo thời gian. Tuy nhiên, benchmark hiện tại ít đo được năng lực reasoning theo “dòng dõi ý tưởng”.

Ý tưởng

Paper tổ chức công trình khoa học thành các đối tượng giống Idea Genome, và xây benchmark cho cả:

  • lineage reasoning
  • lineage-grounded idea generation

Nói đơn giản: model không chỉ cần biết một ý tưởng là gì, mà còn phải biết nó đến từ đâu, biến đổi thế nào, và có thể sinh ra biến thể mới ra sao.

Điểm mới

Đây là cách nhìn rất thú vị: xem tri thức khoa học như một quá trình tiến hóa. Từ đó benchmark đánh giá được sâu hơn khả năng làm “AI scientist”.

Ứng dụng thực tế

  • công cụ khám phá hướng nghiên cứu mới
  • hỗ trợ literature review ở mức sâu
  • idea mining cho R&D

10) LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

  • Paper: 2607.04412

Bài toán

Trong nhiều bài toán instruction-following, rất khó có reward “đúng/sai” rõ ràng. Nếu chỉ dùng LLM như một judge, tín hiệu huấn luyện có thể nghèo nàn hoặc thiếu ổn định.

Ý tưởng

Paper chuyển vai trò của LLM từ giám khảo sang gia sư. Thay vì chỉ chấm, LLM sẽ điều chỉnh độ khó prompt, thêm các ràng buộc nhỏ (atomic constraints), và tạo tín hiệu học thích nghi với policy hiện tại.

Điểm mới

Điểm mới rất hay về mặt RL: thay vì reward scalar đơn giản, hệ thống tạo ra teaching signal động, tự hiệu chỉnh theo năng lực hiện tại của policy.

Ứng dụng thực tế

  • huấn luyện assistant làm theo chỉ dẫn phức tạp
  • cải thiện alignment khi thiếu ground truth cứng
  • training pipeline cho non-verifiable tasks

Kết luận: những xu hướng lớn đang nổi lên

Từ 10 paper này, có thể thấy 4 xu hướng rõ ràng:

1. AI đang dịch chuyển từ “demo đẹp” sang “hệ thống dùng được”

Vidu S1, Infinite Worlds hay UniClawBench đều nhấn mạnh yếu tố thời gian thực, tương tác, closed-loop, và triển khai thực tế.

2. Trí nhớ và tính liên tục là mảnh ghép quan trọng

LaMem-VLA và các world model mới cho thấy AI muốn hành động tốt trong môi trường mở thì phải có memory, không thể chỉ phản ứng từng frame một.

3. Benchmark đang được soi lại rất mạnh

Video-Oasis và UniClawBench nhắc chúng ta rằng tiến bộ AI không chỉ là tăng điểm benchmark, mà còn là đo đúng thứ cần đo.

4. AI for Science đang tiến đến reasoning chứ không chỉ prediction

SciReasoner và Ideas Have Genomes đều cho thấy tham vọng mới: mô hình không chỉ dự đoán kết quả khoa học, mà còn cần giải thích, lập luận, và thậm chí đề xuất ý tưởng mới.

Nếu phải chọn các paper đáng theo dõi nhất về tác động dài hạn, mình sẽ ưu tiên:

  • Vidu S1 — vì tính sản phẩm hóa rất rõ
  • SciReasoner — vì AI for science có tiềm năng cực lớn
  • LaMem-VLA — vì memory là chìa khóa cho robot thông minh hơn
  • Video-Oasis — vì benchmark tốt quyết định hướng đi của cả field

Nếu bạn muốn, ở bước tiếp theo mình có thể làm thêm một trong 3 phiên bản sau:

  1. Bản tóm tắt cực ngắn 1-2 dòng cho từng paper
  2. Bảng so sánh 10 paper theo chủ đề, độ thực dụng, mức ảnh hưởng
  3. Bản blog viết theo văn phong chuyên nghiệp hơn để đăng LinkedIn/website

Top comments (0)