LinkedIn开源WhereHows,元数据管理工具

图片来源:希拉士嘉堡,Flickr的
LinkedIn今天宣布,它的开放式采购一块它的软件叫WhereHows,它允许任何人在一个公司,了解并分享该公司所管理的数据信息。该软件现在可以在GitHub下一个开源的Apache许可证。
LinkedIn具有用于存储和处理数据,包括Teradata的数据仓库技术,开源的Hadoop分布式文件系统,开源蜂房数据仓库软件,以及自己的开源系统,很多黑实时分析软件。这是不平凡的确切地知道一种数据的生命。WhereHows可以提供帮助的,因为它可以让人们跨越一切运行广泛的搜索,人们可以发布关于他们有知识的数据。
而不是查看数据,WhereHows让人们跟踪可用的特定类型的数据。换句话说,它是用于发现和管理元数据的工具。WhereHows是提供给用户接口和用于开发的应用程序编程接口(API)的形式人LinkedIn。它提供了有关单从HDFS超过25,000公开共享数据集。它也考虑到通过多个工具的数据考虑流动; 因此,例如,它表面从开源的作业调度15万流动。但是,而不是LinkedIn保持软件本身,该公司正在开放和复杂的系统共享它为其他公司使用,甚至建立上。
“我们是在GitHub开源WhereHows,以及我们的讨论小组,与更广泛的数据社区分享我们的工作,”LinkedIn的员工数据工程师埃里克·太阳在写博客文章。“我们非常鼓励来自不同公司的贡献者创造新的功能和提交重要的错误修复。虽然元数据管理往往是紧密耦合到公司的其他组成部分,我们将继续努力重构LinkedIn内部集成到WhereHows到开源通用模板或插件。“
这绝不是LinkedIn的第一个开源的贡献。黑面世,去年,在这之前,有阿兹卡班,卡夫卡,Samza和伏地魔。
但数据发现,或数据的目录,是一个整体的其他类型的软件。许多专有工具可用。例如,启动的Tamr去年出来的东西。所以WhereHows释放可能是一个大问题公司复杂的数据基础设施。作为回报,LinkedIn很容易找到人愿意改进技术,甚至加入公司的行列。
LinkedIn希望通过给它像卡夫卡,Samza,Gobblin和Nuage工具的集成,提升软件,它也可以加入有关不同类型的数据之间的连接,写了太阳。
对于WhereHows各地文档是在这里。
编译自:http://venturebeat.com/2016/03/03/linkedin-open-sources-wherehows-a-metadata-management-tool/



