MineDojo：基于《我的世界》的AI探索新框架

新知榜官方账号

2023-10-14 16:26:18

MineDojo：打开AI新世界

近日，李飞飞高徒和团队研究人员提出了基于《我的世界》游戏新框架MineDojo，可以让AI自由探索程序生成的3D世界。上周，OpenAI让AI看完海量视频后，学会玩《我的世界》。在这之前，来自英伟达团队的研究人员还构建了一个游戏新框架MineDojo。

MineDojo包含了1000多种不同的开放式任务的模拟套件。在这里，AI智能体可以自由探索程序生成的3D世界。

MineDojo从网上收集了海量数据：73万YouTube视频，带有标记2.2亿个单词的英文脚本，这些视频总时长大概有30万个小时；6735个Wiki页面，其中包括交互式的文本、图像、表格和图表；34万条在「r/Minecraft」上的Reddit帖子，还有660万条评论。

视频素材分两类：逐步演示、配音详解的教程视频，研究团队用教程视频做出了大量程序基准。不按特定任务与步骤进行的普通游戏录播视频，给AI智能体提供了内容更多元、素材更丰富的各种学习与训练信号。

由于Reddit文本数据库中的内容结合了文字、图片、短视频片段，将精细调试的大语言模型在其中使用后，AI智能体就能获得大量特定的内化概念和复杂策略。

MineDojo现有基准任务库中包含3131个任务，其中有1572个可编程任务、1558个创造性任务、1个通关性任务。

研究团队将所有任务都附带了自然语言叙述的提示，很多任务还有用GPT-3生成的逐步指南。为了用强化学习训练AI智能体玩《我的世界》、完成必备的奖惩功能，研究团队自行开发了模型MineCLIP。MineCLIP是在海量Youtube数据库上预训练的对比视频语言模型，利用大型预训练的视频语言模型作为学习奖励函数。

MineCLIP模型也是MineDojo中AI将图像对应自然语言的核心组件，包含了文本编码器和图像编码器，参数1.5亿。研究团队在论文中称MineCLIP模型的神经架构很类似CLIP4Clip，但比其多了两层图-文适应处理层。研究团队在视频数据库中抽取了64万16秒短视频片段抽样，来训练这两层来对应图像和文字，效果可与人工判定的真实值媲美。

MineDojo的研究方向与OpenAI有所不同。OpenAI试图训练一个《我的世界》中的通才智能体，通过模仿大量演示来学习，然后再通过精心化设计的奖励让智能体去进行强化学习。相比之下，英伟达提出了不同的观点。他们通过利用YouTube上的视频里的知识学习各种想得到的任务，包括GPT-3生成的任务。为此，研究者并没有通过手动设计无数奖励，而是设计了一种算法MineCLIP，利用了大型与训练视频模型作为学习奖励函数。

最新研究团队共有十个人。其中论文一作是李飞飞门下得意弟子LinxiFan（范麟熙）。他毕业于上海实验中学，本科就读于纽约哥伦比亚大学，目前在斯坦福大学攻读博士，主修计算机视觉、强化学习以及机器人技术。

本页网址：https://www.xinzhibang.net/article_detail-16764.html

寻求报道，请

关键词

分享至微信：

相关工具

美图推出的AI海报设计工具，一键生成海报宣传图

Designs.ai

AI设计工具

Microsoft Designer

微软推出的在线设计海报和宣传图工具

Luma AI

AI 3D捕捉、建模和渲染

illostrationAI

AI插画生成，low poly、3D、矢量、logo、像素风、皮克斯等风格

智绘设计

腾讯推出的智能设计平台，让内容更精彩

视频翻译工具MyHeyGen介绍

视频翻译工具MyHeyGen介绍近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我之前

分类标签视频翻译MyHeyGen免费

12-03 22:20

如何免费使用视频翻译工具

如何免费使用视频翻译工具近期，一款名为“视频翻译”的工具引起了广泛关注。这不是一个简单的网页应用，而是一个可以免费部署在个人电脑或服务器上的实用程序。它的强大之处在于能够翻译任意时长的视频内容。所谓的视频翻译，实际上是指同声传译。虽然这类工具并非近期才问世，市场上已有多款成熟产品，例如我之前提到的h

分类标签视频翻译同声传译免费工具

12-03 02:29

数字人营销视频：一场降本增效的革命

在深圳做跨境电商生意的曹东,最近突然有一个强烈的想法,他想尝试一下用数字人来帮自己卖货。这个想法不是凭空产生的。2022年,曹东入行跨境电商,因为看到了TikTok在全球的风靡,并且其发展速度非常之快,他选择主打TikTok渠道。TikTok电商的生态与传统的电商大为不同,作为风靡全球的短视频平台,

分类标签数字人营销视频跨境电商AIGC

11-17 02:30

万兴科技利用AIGC及虚拟数字人技术在跨境电商视频营销领域的新突破

近日，第六届中国跨境电商网络营销大会在深圳举办，万兴科技受邀参会，与TikTok、Shopee、速卖通等企业，共同探讨产业新机遇。万兴科技副总裁张铮在大会上发表《视频营销在跨境出海中的探索与应用方向》主题演讲，向在场嘉宾分享了万兴科技利用AIGC及虚拟数字人技术在跨境电商视频营销领域的新突破，以及万

分类标签万兴科技AIGC跨境电商

11-17 02:29

中信证券：AI大模型热潮下，AI应用端商业化落地打下坚实基础

中信证券：AI大模型热潮下，AI应用端商业化落地打下坚实基础中信证券发布研究报告称，自“ChatGPT”横空出世，全球科技企业掀起一场研发AI大模型的热潮，造成短期内算力端供给持续紧俏。该行认为随着AI算力等硬件底座逐步搭建完善，AI大规模应用成为可能，位于“倒金字塔顶”的应用端发展空间广阔。通过梳

分类标签 AI大模型图文创意虚拟数字人

11-14 02:18

如何在线制作logo？

如何在线制作logo？在现代商业社会中，logo是一个公司的核心标识，它是公司形象的重要组成部分。随着互联网的普及，越来越多的人开始在线制作logo。虽然现在有很多在线制作logo的网站，但是更多时候我们习惯于在手机上来操作，现在手机的智能程度要进行logo设计是没有问题的，我们先打开一键logo设

分类标签在线制作logologo设计AI生成

11-07 02:29

AI智能Logo生成软件推荐

AI智能Logo生成软件推荐在设计领域，AI智能技术得到了广泛应用，AI智能Logo生成软件也成为设计师们的新宠。设计一个成功的品牌Logo时，创意和专业性都非常重要，然而，对于许多设计师来说，时间和资源是宝贵的。这就是为什么AI智能Logo生成软件的出现受到了热烈欢迎。下面是几个备受好评的AI智能

分类标签 AI智能Logo生成软件设计师

10-06 16:58

演示：先看看最终效果（ps：也可以用自己的方式去做，对比一下）谢谢（ps:DSreddot）

演示：先看看最终效果（ps：也可以用自己的方式去做，对比一下）谢谢（ps:DSreddot）本文提供了一个演示，展示了最终效果，并提供了自己的方式进行对比，感谢DSreddot。同时，我们还提供了专业产品经理与市场的角度进行的全面重写，包含条理清晰、要点明确的内容，字数不少于2000字。

分类标签演示效果DSreddot

10-06 16:56

产品logo设计最简单的方法

产品logo设计最简单的方法在买东西的时候，很多小伙伴也会注意到产品的logo图标。一些大公司的产品logo也是深入人心的，因此很多小伙伴也有开公司的打算，但是不知道怎么设计自己的产品logo。今天，小编将与你分享一个产品logo设计最简单的方法！这是一个在线logo设计工具，可以用浏览器打开网页版

分类标签产品logo设计在线logo设计工具AI智能设计

10-06 16:54

如何设计logo标志？

很多行业开店都有着它们各自的logo图案，它的功能除了美化门面以外还能帮助宣传。那么如何设计一个好看的logo呢？本文将为大家介绍两种简单的logo标志设计方法。一键logo设计APP这是一个手机上的logo设计软件，它里面含有比较丰富的logo素材以及模板，我们可以使用这些来动手设计一个logo。

分类标签 logo标志设计

10-06 16:52

ChatGPT Midjourney 文心一言文心一格 bing新必应 Stable diffusion 稿定设计墨刀AI mastergo Adobe Firefly runway