AI EarlyView
Pro
AI EarlyView
← 最新论文日报
9月18日· 周五

arXiv 论文日报

多模态与机器人学习升温

今日精选聚焦多模态感知与机器人学习的交叉创新:PANORAMA 让 VLM 同时描述并定位全景内容,PointZero 用点轨迹补全从无标签视频学习可迁移动态,另有 VLM 智能体上下文学习与音频力感知操作。LLM 对齐侧,零阶偏好对齐 ComPO 提升效率;NLP 侧拆解分词器关键因素。

📄 6 篇精选
📈 趋势速览多模态与机器人学习明显升温:VLM 从静态识别走向全景接地、上下文适应与力感知操作,预训练目标也从动作标签转向点轨迹补全。同时,LLM 对齐出现零阶优化新范式,分词器研究回归目标与搜索的拆解,显示基础组件与训练效率仍是热点。
1
PANORAMA: Panoptic Grounded Captioning via Mask Proposal Selection
💡 全景接地描述新任务,让 VLM 兼顾前景背景并精准定位。
多模态Sara Pieri、Evangelos Kazakos、Shizhe Chen 等
2
PointZero: 3D Point Track Completion for Learning Transferable 3D Dynamics
💡 无需动作标签,用点轨迹补全从视频学可迁移 3D 动态。
机器人Bardienus P. Duisterhof、Kaifeng Zhang、Adam Hung 等
3
In-Context Robot Learning with VLM Agents
💡 商用 VLM 做机器人上下文学习,少样本适应新任务。
多模态Dongzhou Cheng、Taoran Yi、Ye Fang 等
4
Dreaming the Sound of Contact: Leveraging Video and Audio Generation for Zero-Shot Force-Aware Manipulation and Data Generation
💡 视频加音频推断接触力,零样本力控操作与数据生成。
机器人Guanhua Ji、Tianyu Li、Dayoon Suh 等
5
A Zeroth-Order Paradigm for LLM Preference Alignment
💡 零阶偏好对齐用比较信息替代可微损失,提效 LLM 对齐。
大模型Peter Chen、Xi Chen、Wotao Yin 等
6
Objective vs. Search: Decomposing What Makes a Good Tokeniser
💡 拆解分词器优化目标与搜索,补全 2x2 实验设计。
NLPAhmetcan Yavuz、Clara Meister、Tiago Pimentel

生成于 07:57 · 来源 arXiv · AI 编排

往期日报