Databricks Labs

Databricks Labs是由该领域创建的项目
帮助客户更快地将他们的用例投入生产!

起程拓殖集成

您可以使用Databricks Terraform提供商来管理您的Databricks工作空间和相关的云基础设施, powerful tool. Databricks客户正在使用Databricks Terraform提供商来部署和管理集群和作业, 提供数据砖工作区, 配置数据访问.

DBX

该工具简化了作业在多个环境中的启动和部署过程. 它还有助于打包项目,并以版本化的方式将其交付到Databricks环境. 以cli优先的方式设计, 它的构建是为了在CI/CD管道内积极使用,并作为快速原型的本地工具的一部分.

Tempo

这个项目的目的是在Apache Spark上提供一个用于操作时间序列的API. 功能包括使用滞后时间值的特性化, 滚动数据(平均, avg, sum, count, etc), AS OF joins, and downsampling & interpolation. 这已经在tb规模的历史数据上进行了测试.

Other Projects

Overwatch

分析所有工作空间中的所有作业和集群,快速确定可以在哪些地方进行最大的调整,以提高性能和节省成本.

Learn more -

JupyterLab集成

这个包允许从本地运行的JupyterLab连接到远程的Databricks集群.

Making the Sources -
Learn more -

Splunk的集成

附加为Splunk, an app, 它允许Splunk Enterprise和Splunk Cloud用户运行查询和执行操作, 比如运行笔记本和工作, in Databricks.

Making the Sources -
Learn more -

Smolder

Smolder提供了一个Apache Spark™SQL数据源,用于从其中加载EHR数据 HL7v2 message formats. Additionally, Smolder提供了可以在Spark SQL DataFrame上使用的helper函数来解析HL7消息文本, 然后提取片段, fields, and subfields, from a message.

Making the Sources -
Learn more -

Geoscan

基于密度空间聚类的Apache Spark ML估计器 六角层次空间索引.

Making the Sources -
Learn more -

AutoML Toolkit

用于Apache Spark ML特性清理的工具箱, 重要度计算套件, 信息增益的选择, 分布式的击杀, 模型选择与培训, 超参数优化和选择, 模型interprability.

Making the Sources -
Learn more:
Broad AutoML Blog
AutoML Toolkit博客违约贷款预测
Family Runner Pipeline API博客

Feature Factory

提供基于PySpark的优化api的加速器, validation, 并牢记重复数据删除,以简化和统一特征工程工作流程.

Making the Sources -
Learn more -

Dataframe规则引擎

数据质量预期验证库.

Making the Sources -

Migrate

帮助客户在Databricks工作区之间迁移工件的工具. 这允许客户将配置和代码工件导出为备份,或者作为不同工作空间之间迁移的一部分.

Making the Sources -
Learn more: AWS | Azure

Databricks Sync

用于同步源Databricks部署和目标Databricks部署的工具.

Making the Sources -

CICD Templates

cookiecutter 为自动化的Databricks CI/CD管道创建和部署的项目模板.

Making the Sources -
Learn more -

Data Generator

为您的项目快速生成相关数据. Databricks数据生成器可用于生成用于测试的大型模拟/合成数据集, POCs, and other uses

Making the Sources -
Learn more -

DeltaOMS

集中的Delta事务日志收集,用于对Lakehouse进行元数据和操作指标分析.

Making the Sources -
Learn more -

请注意本表格内的所有项目 http://github.com/databrickslabs 帐号仅供您探索使用, 并且不被具有服务水平协议(sla)的Databricks正式支持. 他们是按原样提供的,mg游戏不做任何形式的保证. 请不要提交与使用这些项目所引起的任何问题有关的支持票. 通过使用这个项目发现的任何问题都应该作为GitHub回购问题归档. 他们将在时间允许的情况下进行审查,但没有正式的sla提供支持.