Confluent CEO Jay Kreps
近日宣布将 Confluent
Platform 的部分组件从 Apache 2.0 更改为 Confluent
社区许可证(Confluent
Community License),变更的主要原因和之前的 Redis 和 MongoDB
类似,是为了限制云供应商滥用。

     
最开始接触confluent是通过这篇博客,How to Build a Scalable ETL Pipeline
with Kafka
Connect,对于做大数据的,数据的ETL(抽取,转换,装载)是必不可少的。例如,要把传统的关系型数据库中的数据导入到HDFS里,或者导入到Hive中,进一步对数据进行分析,或者把json或者文本文件中的数据导入到大数据数据仓库中进行分析。这都需要ETL。这篇文章介绍了如何利用confluent的相关组件(Kafka
Connect,构建一个ETL
pipeline.下图来自于这篇博客。有兴趣的可以看一下这篇博客。

Confluent 是一家建立在开源 Apache
Kafka
项目之上的商业公司。据了解,近日该公司在红杉资本投资公司的牵头下,获得1.25亿美元的D轮融资。著名风投公司
Index Ventures 和 Benchmark 也参与其中投资,Confluent
目前估值已达25亿美元。

Confluent 是由前 LinkedIn 员工,同时也是 Apache Kafka
的创建者创办的公司,其产品也是围绕 Apache Kafka 而做的。Confluent
Platform 是一个流数据平台,能够组织管理来自不同数据源的数据。

  Building a Scalable ETL Pipeline in 30 Minutes

澳门新葡萄京官网首页 1

澳门新葡萄京官网首页 , 

 

Confluent
公司的估值从上一轮5亿美元的时候,就开始一路飙升,更重要的是该公司的订阅量,也与估值的上升保持一致。

据悉,新的社区许可证依然允许免费下载、修改和重新分发代码(类似于 Apache
2.0),但它不允许将软件作为 SaaS 产品提供,如 KSQL-as-a-service 。

  confluent介绍:

LinkedIn有个三人小组出来创业了—正是当时开发出Apache
Kafka实时信息列队技术的团队成员,基于这项技术Jay
Kreps带头创立了新公司Confluent。Confluent的产品围绕着Kafka做的。

澳门新葡萄京官网首页 2

Jay Kreps 强调,许可证的变更只会影响特定的 Confluent Platform 组件,对
Apache Kafka 没有任何影响,Kafka 仍会继续使用 Apache 2.0
许可。受到限制的组件分别为:Confluent REST Proxy、Schema Registry、KSQL
和 Connectors 。

什么是Confluent Platform?

Confluent Platform
是一个流数据平台,能够组织管理来自不同数据源的数据,拥有稳定高效的系统。

澳门新葡萄京官网首页 3

Confluent Platform
不仅提供数据传输的系统, 还提供所有的工具:连接数据源的工具,应用,
以及数据接收。

Confluent 公司 CEO Jay Kreps 不愿直接对未来的 IPO
发表评论,但他暗示这是公司希望在某个时候做的事情。Jay Kreps
表示:“凭借我们迄今为止的增长和发展势头,以及最新的融资,我们处于非常有利的地位,希望建立一个强大并且独立的公司,”

澳门新葡萄京官网首页 4

Confluent Platform 都包括什么?

Confluent Platform
很容易的建立实时数据管道和流应用。通过将多个来源和位置的数据集成到公司一个中央数据流平台,Confluent
Platform使您可以专注于如何从数据中获得商业价值而不是担心底层机制,如数据是如何被运输或不同系统间摩擦。具体来说,Confluent
Platform简化了连接数据源到Kafka,用Kafka构建应用程序,以及安全,监控和管理您的Kafka的基础设施。

澳门新葡萄京官网首页 5

 

 Kafka
是最流行的开源即时通讯系统,Confluent Platform 基于Kafka. Kafka
是低延迟,高可扩展,分布式消息系统。它被数百家企业用于许多不同的场景,包括收集用户活动数据,系统日志,应用程序指标,股票行情数据和设备仪器的信号。

Kafka开源项目包括一些关键组件:

Kafka
Brokers(开源)。构成Kafka的消息,数据持久性和存储层。

Kafka Java
Clients(开源)。Java
库,写消息到kafka 或者从kafka 读消息。

Kafka
Streams(开源)。Kafka
Streams是一个库使kafka转换成功能齐全的流处理系统。

Kafka
Connect(开源)。一种可扩展的和可靠的连接Kafka框架与外部系统(如数据库,键值存储,搜索索引和文件系统)的框架。

除了Kafka以外, Confluent Platform
包括更多的工具和服务,使构建和管理数据流平台更加容易。

Confluent Control
Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。

Confluent Kafka
Connectors(开源)。连接SQL数据库/Hadoop/Hive

Confluent Kafka
Clients(开源)。对于其他编程语言,包括C/C++,Python

Confluent Kafka REST
Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。

Confluent Schema
Registry(开源)。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。

总的来说,Confluent
Platform平台的组件给你的团队朝着建立统一而灵活的方式建立一个企业范围的数据流平台。

随后,我们会通过一些quickstart来介绍Confluent
的核心组件。

据了解,Confluent
是一家利用免费开源技术来提供服务、支持和管理工具并实现数千万美元营收的开源独角兽公司。Confluent
是在 Kafka 项目的基础上成立的,而 Kafka 是这家公司创始人在 2011 年担任
LinkedIn 工程师期间与几位伙伴一起研发的数据处理软件。

更多细节可查阅博客原文。

“Confluent
是一家围绕一个大创意而创立的公司,而这个想法开始成为主流现实。”Kreps
在博客文章中提到的这个创意,指在现有数据库的基础上提出的事件流的概念。基于这个创意的
Kafka
便是将所有业务数据放在持续流动的事件流中。每次用户登录设备或按下按钮,事件记录就会在几毫秒内流到相连的每个应用程序或数据库。这意味着拥有大量数据的企业,或者由于竞争原因而需要近乎实时反应的企业,能够通过
Kafka 大规模加快其应用程序的反应速度。

(文/开源中国)    

澳门新葡萄京官网首页 6

“这些事件构成了企业运营业务的订单、销售和客户体验。长期以来,数据库用来存储当前的世界状况,但我们认为这只是一半的故事。故事缺少的部分是不断流动、代表着公司发生事件的事件流。而这,可以作为企业运营的命脉。“Kreps
在博文中形容。

另外,Kreps 指出,作为一个开源项目的 Confluent
依赖于社区,他表示:“这不是我们独自做的事情。Apache Kafka
有着庞大的贡献者社区,我们只是其中的一部分。“虽然基本的开源组件仍然可以免费下载,但这不包括
Confluent 公司为使企业更容易使用 Kafka
而构建的额外工具,比如最近推出的产品云端托管版本和用于共享平台扩展的
Confluent Hub。

Confluent
的估值的飙升并不意味着所有开源技术公司的日子都很好过。一些开源技术公司在
2018 年被高价收购:IBM 在 10 月份以 340 亿美元收购红帽,Salesforce 在 6
月份以 65 亿美元收购 MuleSoft。

新闻参考:https://techcrunch.com/2019/01/23/open-source-leader-confluent-raises-125m-on-2-5b-valuation

(文/开源中国)