新知榜官方账号
2023-12-06 00:15:17
未来速度成立于2022年,旗下产品Xorbits为分布式数据科学计算框架,旨在加速Python生态下大规模数据的处理。Python作为一门容易上手的编程语言,具有较高的开发效率,同时有Pandas、Numpy等丰富的第三方库帮助简化操作,是大数据及AI领域的标准语言之一。然而,在金融量化分析、生物基因测序、地理空间多维度分析等实际应用中,Python却可能面临运行效率较低、单机运行第三方库时内存不足等诸多挑战。
Xorbits运用多核、异构、分布式等技术,加速执行已有代码,提高程序运行效率,能够覆盖科学计算、数据科学和机器学习等维度。同时,Xorbits还可兼容Pandas、Numpy等现有的Python数据科学库,用户无需学习新接口即可完成代码迁移,获得并行加速效果。
Xorbits采用了分而治之的并行计算方式,能让任务细分与调度更加精细,以最优解进行调度。Xorbits还进行了计算图动态列裁剪、图融合、支持迭代式tiling等优化工作。相比国外Dask、Modin等计算框架,Xorbits在执行模式上也有其特色。Xorbit采用了特殊的推迟执行方式,可以推断用户所需并自动将任务提交执行,尽可能减少用户操作,以此平衡计算框架的性能与易用性。
基于上述设计,在面对scalefactor100(约100GB数据集)和scalefactor1000(约1TB数据集)的基准测试中,Xorbits相比同类计算框架,运算速度能快3-7倍,且体现出更高的性能与API兼容性。Xorbits与多个云厂商展开合作,提供云上SaaS服务,用户改动相应代码即可进行云上运算提速。Xorbits会根据用户预算及诉求,衡量性能和性价比,为用户选择合适的方案。
团队方面,未来速度成员主要来自阿里、华为、微软等企业,在大数据及Python领域经验丰富。创始人秦续业毕业于上海交通大学,曾在阿里云长期负责Python数据和AI领域工作,主导并开源Mars开源项目。
投资观点:耀途资本创始合伙人杨光表示,“数据科学和人工智能(DSML)的崛起背后,是Python工程师的崛起。Pythonnative生态会在未来基础设施中扮演越来越重要的角色。Python数据分析、数据科学和机器学习,不应该仅仅停留在单机,我们看好Xorbits成为推动Python从单机走向分布式的关键力量。”
相关工具
相关文章
推荐
用Deepseek写AI绘图提示词,像呼吸一样简单!
2025-02-19 16:12
你以为AI绘画是黑科技?其实早成了“路边摊生意”!
2025-02-19 10:15
Flux爆火,全网最全面最详细的Flux使用教程!
2025-02-18 14:19
用AI如何创作音乐,实战教学来啦!
2025-02-17 17:23
MidJourney让你秒变绘画大神,从零开始画哪吒!
2025-02-17 14:56
AI应用新境界:让人工智能成为你的得力助手
2025-02-14 15:45
AI短片革命:当创作遇上智能,人人都能成为导演
2025-02-14 14:53
AI狂潮下的人类职场:是失业危机还是进化契机?
2025-02-13 16:53
开启影视创作新纪元,效率提升 10 倍的神器来了!
2025-02-13 15:11
深度解析DeepSeek:当AI技术照进创作产业的未来
2025-02-12 17:16