新知榜官方账号
2023-12-06 00:15:17
未来速度成立于2022年,旗下产品Xorbits为分布式数据科学计算框架,旨在加速Python生态下大规模数据的处理。Python作为一门容易上手的编程语言,具有较高的开发效率,同时有Pandas、Numpy等丰富的第三方库帮助简化操作,是大数据及AI领域的标准语言之一。然而,在金融量化分析、生物基因测序、地理空间多维度分析等实际应用中,Python却可能面临运行效率较低、单机运行第三方库时内存不足等诸多挑战。
Xorbits运用多核、异构、分布式等技术,加速执行已有代码,提高程序运行效率,能够覆盖科学计算、数据科学和机器学习等维度。同时,Xorbits还可兼容Pandas、Numpy等现有的Python数据科学库,用户无需学习新接口即可完成代码迁移,获得并行加速效果。
Xorbits采用了分而治之的并行计算方式,能让任务细分与调度更加精细,以最优解进行调度。Xorbits还进行了计算图动态列裁剪、图融合、支持迭代式tiling等优化工作。相比国外Dask、Modin等计算框架,Xorbits在执行模式上也有其特色。Xorbit采用了特殊的推迟执行方式,可以推断用户所需并自动将任务提交执行,尽可能减少用户操作,以此平衡计算框架的性能与易用性。
基于上述设计,在面对scalefactor100(约100GB数据集)和scalefactor1000(约1TB数据集)的基准测试中,Xorbits相比同类计算框架,运算速度能快3-7倍,且体现出更高的性能与API兼容性。Xorbits与多个云厂商展开合作,提供云上SaaS服务,用户改动相应代码即可进行云上运算提速。Xorbits会根据用户预算及诉求,衡量性能和性价比,为用户选择合适的方案。
团队方面,未来速度成员主要来自阿里、华为、微软等企业,在大数据及Python领域经验丰富。创始人秦续业毕业于上海交通大学,曾在阿里云长期负责Python数据和AI领域工作,主导并开源Mars开源项目。
投资观点:耀途资本创始合伙人杨光表示,“数据科学和人工智能(DSML)的崛起背后,是Python工程师的崛起。Pythonnative生态会在未来基础设施中扮演越来越重要的角色。Python数据分析、数据科学和机器学习,不应该仅仅停留在单机,我们看好Xorbits成为推动Python从单机走向分布式的关键力量。”
相关工具
相关文章
推荐
中国首款3A游戏上线,《黑神话:悟空》出圈!
2024-08-21 13:46
盘点15款AI配音工具,短视频配音有救了!
2024-08-12 17:11
短视频文案没创意?10大AI写作工具来帮你!
2024-08-05 16:23
Midjourney发布V6.1版本,我已分不清AI和现实了!
2024-08-01 15:03
我发现了一款国产AI绘画神器,免费易上手!
2024-07-25 16:40
7位AI考生做今年高考题,能过一本线吗?
2024-07-19 17:17
世界上第一所AI学校来了,80亿人只需要1位老师?
2024-07-18 17:12
Sora首部AI广告片上线,广告从业者危险了!
2024-06-27 13:44
OpenAI与中国说拜拜,国产AI如何接棒?
2024-06-26 15:18
人与AI会产生爱情吗,专家发话了!
2024-06-17 17:28