在开源大数据技术飞速发展的十数年,我们见证了多元化技术的兴起和变迁。如何从海量数据中,通过数据处理和可视化的手段,对开源大数据技术的过去、现在和未来,做出深刻洞察?如何为开发者在开源大数据技术领域的学习、选型和技术研发提供有益参考?带着这样的思考,开放原子开源基金会、X-Lab 开放实验室、阿里巴巴开源委员会共同发起了「2022 开源大数据热力报告」项目。

项目简介

「2022 开源大数据热力报告」收集相关公开数据进行关联分析,通过Star、Issue、open PR 等核心指标绘制基于大数据技术栈的热力地图,研究开源大数据进入新阶段后的技术趋势,以及开源社区的运作模式对技术走向的助推作用。项目研究遵循如下7个阶段:公开数据初筛->项目技术分类->专家审议->入围公示&征集修正->热力值计算和关联分析->数据洞察和课题研究->报告审议。

数据来源

2015年1月至2022年9月的Github和Jira公开数据,包括项目id、Star、Issue、open PR,review comment,merge PR等。

数据初筛

项目初筛 Github 上 Topic Tag满足如下条件且开源的大数据项目:Topic Tag:big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering

技术分类

根据大数据现代技术栈框架,对初筛项目进行技术分类。技术分类包括:数据集成、流处理、数据存储、数据查询和分析、数据开发、数据调度和编排、数据管理/安全/中间件、数据可视化。

#说明:

  • 数据查询和分析分类聚焦大数据分析类型项目,不包括OLTP数据库、OLTP能力为主的HTAP数据库和NoSQL数据库
  • 数据可视化分类中需具备数据源链接和处理能力,不包括可视化框架工具项目
  • 数据管理/安全/中间件分类中,项目较少且功能互相交叠,因此归为一类
  • 本次报告聚焦大数据领域,不包含大数据AI融合型项目

项目公示

现将本次入围项目(共计92个)予以公布,公示期为2022年10月10日至10月16日。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他项目补充征集

如果你也是开源项目的爱好者,如果你熟知的项目不在上述列表,但是满足以下标准,可在公示期内扫描下方二维码参与项目提报。

参与标准:

1、开源大数据项目,有明确的开源协议、完善的文档;半年内发布过新版本
2、Github 上带有如下 Topic Tag 之一:big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering

参与方式:
在这里插入图片描述

扫描上方二维码,参与征集截止日期:2022年10月16日24时

发布预告

「 开源大数据热力报告2022」将于2022年11月云栖大会现场正式发布。

Logo

20年前,《新程序员》创刊时,我们的心愿是全面关注程序员成长,中国将拥有新一代世界级的程序员。20年后的今天,我们有了新的使命:助力中国IT技术人成长,成就一亿技术人!

更多推荐