未来速度完成数百万美元天使轮融资,旗下产品Xorbits将加速Python生态下大规模数据的处理

新知榜官方账号

2023-12-06 00:15:17

未来速度完成数百万美元天使轮融资,旗下产品Xorbits加速Python生态下大规模数据的处理

未来速度成立于2022年,旗下产品Xorbits为分布式数据科学计算框架,旨在加速Python生态下大规模数据的处理。Python作为一门容易上手的编程语言,具有较高的开发效率,同时有Pandas、Numpy等丰富的第三方库帮助简化操作,是大数据及AI领域的标准语言之一。然而,在金融量化分析、生物基因测序、地理空间多维度分析等实际应用中,Python却可能面临运行效率较低、单机运行第三方库时内存不足等诸多挑战。

Xorbits运用多核、异构、分布式等技术,加速执行已有代码,提高程序运行效率,能够覆盖科学计算、数据科学和机器学习等维度。同时,Xorbits还可兼容Pandas、Numpy等现有的Python数据科学库,用户无需学习新接口即可完成代码迁移,获得并行加速效果。

Xorbits采用了分而治之的并行计算方式,能让任务细分与调度更加精细,以最优解进行调度。Xorbits还进行了计算图动态列裁剪、图融合、支持迭代式tiling等优化工作。相比国外Dask、Modin等计算框架,Xorbits在执行模式上也有其特色。Xorbit采用了特殊的推迟执行方式,可以推断用户所需并自动将任务提交执行,尽可能减少用户操作,以此平衡计算框架的性能与易用性。

基于上述设计,在面对scalefactor100(约100GB数据集)和scalefactor1000(约1TB数据集)的基准测试中,Xorbits相比同类计算框架,运算速度能快3-7倍,且体现出更高的性能与API兼容性。Xorbits与多个云厂商展开合作,提供云上SaaS服务,用户改动相应代码即可进行云上运算提速。Xorbits会根据用户预算及诉求,衡量性能和性价比,为用户选择合适的方案。

团队方面,未来速度成员主要来自阿里、华为、微软等企业,在大数据及Python领域经验丰富。创始人秦续业毕业于上海交通大学,曾在阿里云长期负责Python数据和AI领域工作,主导并开源Mars开源项目。

投资观点:耀途资本创始合伙人杨光表示,“数据科学和人工智能(DSML)的崛起背后,是​Python工程师的崛起。Pythonnative生态会在未来基础设施中扮演越来越重要的角色。Python数据分析、数据科学和机器学习,不应该仅仅停留在单机,我们看好Xorbits成为推动Python从单机走向分布式的关键力量。”

本页网址:https://www.xinzhibang.net/article_detail-22081.html

寻求报道,请 点击这里 微信扫码咨询

相关工具

相关文章