Lacrosse 语言最常用于数据剖析工具和总括应用程序。为了在 谷歌(Google卡塔尔 Cloud
Platform(GCP) 上为 RAV4 编制程序语言提供更加的多协理,谷歌 揭橥推出 Cloud
Dataproc 上的 斯Parker 测量检验版。据谷歌(GoogleState of Qatar称,云总计的起来为 奇骏 开拓了新的火候。

投递人 itwriter 发布于 2017-03-15 18:37 评论(1) 有576人阅读 原稿链接 [收藏] « »

劳动编制程序

使用GCP for ENVISION能够幸免限定通晓数据的底蕴设备障碍,比如选取要总括的数据集,因为计算或数量大小节制而无法科学实践。依据GCP,您能够构建大型模型来深入分析此前须求在高质量计算根基构造上张开大气中期投资的轻重缓急数据集,『Dataproc
和 Hadoop 成品COO 克里斯多夫 Crosbie 和机器学习行家 Mikhail Chrestkha
在博客小说写道。

图片 1

Akka
Toolkit:JVM中遍及性、容错事件驱动应用程序的周转时刻; Apache Avro:数据类别化系统; Apache Curator:Apache ZooKeeper的Java库;
Apache
Karaf:在任何OSGi框架之上运转的OSGi运维时刻; Apache Thrift:创设二进制合同的框架; Apache Zookeeper:流程管理集英式服务; Google Chubby:一种松耦合分布式系统锁服务;
Linkedin Norbert:集群微电脑; OpenMPI:音信传递框架; Serf:服务意识和和睦的分散化设计方案; Spotify
Luigi:一种创设批管理作业的头眼昏花管道的Python包,它亦可处理信任性解析、专门的学业流管理、可视化、故障管理、命令行一体化等等难题;
Spring
XD:数据汲取、实时深入分析、批量甩卖和数码导出的分布式、可扩展系统;
Facebook Elephant
Bird:LZO压缩数量的专业库; 推特(Twitter卡塔尔国Finagle:JVM的异步互联网货仓。

Cloud Dataproc 是 GCP 上 Apache 斯Parker 和 Apache Hadoop
集群的托管云服务,而 斯ParkerRubicon 是二个轻量级软件包,能够在前端完毕来源
CR-V的Apache Spark,该企业解释说。

  为期 3 天的谷歌云 2017
大会(又称 Next’17
大会)已经于新德里闭会,超过 1
万名参预者参预了此次大会,包蕴Google的客户、同盟方、开垦人士、IT
首脑、程序猿、媒体、剖析家、云端爱好者(也席卷持疑忌态度的情侣)等。在这里3 天时间里,超越 200 位分享者实行了主旨发言,其余还会有 4 场邀约讲座。

调度

『这种购并使应用项乐语言的开荒人士能够对存款和储蓄在云存储中的任何大小的多寡集进行相仿dplyr 的操作。斯ParkerTiguan 还扶植选取 MLlib
进行布满式机器学习。您能够使用此集成来拍卖大型云存款和储蓄数据集或试行总计密集型专门的工作』Crosbie和Chrestkha
写道。

  Google Cloud Next ‘17

Apache Aurora:在Apache
Mesos之上运转的劳务调整程序; Apache
Falcon:数据管理框架; Apache
Oozie:专门的学问流作业调整程序; Chronos:遍布式容错调节; Linkedin Azkaban:批处管事人业流作业调整; Schedoscope:Hadoop作业敏捷调治的Scala DSL;
Sparrow:调整平台; Airflow:多少个以编程方式编写、调整和监督职业流的平台。

至于开荒职员怎么着在 GCP 上运用 中华V的越来越多措施,请 点击这里 。

  Next’17 大会于 3 月 8 日在圣地亚哥举行,3 月 一日闭幕(下一遍集会时间是 2018 年 6 月 4 日-6 月 6
日,地方仍然为广州),筛选了 200
位读书人从战术性设计、进献视角、技艺、使用经历等多个方面解说自身对此云端的主张。

机械学习

其余,Google还宣布了针对 App Engine 的 Cloud Spanner 和 Python 3.7
的新改正。

  解说嘉宾居多,富含谷歌(Google卡塔尔国 COO Sundar
Pichai、谷歌(Google卡塔尔国云资深副首席实行官Diane Greene、Alphabet 推行主席 EricSchmidt、谷歌(GoogleState of Qatar云首席化学家李飞(Li FeiState of Qatar飞、Linux 基金会施行主管 吉米Zemlin、谷歌(Google卡塔尔大脑及 TensorFlow 领导 Rajat Monga 等等 200
余位大牌,具体名单详见这里。

Apache Mahout:Hadoop的机器学习库; brain:JavaScript中的神经互联网; Cloudera Oryx:实时广大机器学习; Concurrent Pattern:Cascading的机器学习库;
convnetjs:Javascript中的机器上学,在浏览器中练习卷积神经互联网(或普通网络);
Decider:Ruby中灵活、可扩充的机械学习;
ENCOG:协助两种Red Banner算法的机器学习框架,同期帮忙类的标准化和管理多少;
etcML:机器学习文件分类; Etsy Conjecture:Scalding中可增添的机械学习;
GoogleSibyl:谷歌中的大范围机器学习系统; GraphLab
Create:Python的机械学习平台,包罗ML工具包、数据工程和布置工具的广泛集聚;
H2O:Hadoop总计性的机械学习和数学生运动维时刻;
MLbase:用于BDAS旅社的分布式机器学习库;
MLPNeuralNet:针对iOS和Mac OS
X的敏捷多层感知神经网络库; MonkeyLearn:使文本发掘更为轻松,从文本中提取分类数据;
nupic:智能总计的Numenta平台,它是三个启发大脑的机械智力平台,基于皮质学习算法的精准的生物神经网络;
PredictionIO:建于Hadoop、Mahout和Cascading上的机械学习服务器;
SAMOA:遍布式流媒体机器学习框架; scikit-learn:scikit-learn为Python中的机器学习;
斯ParkerMLlib:斯Parker中某个常用的机械学习(ML)功效的得以完结; Vowpal Wabbit:微软塌塌雅虎发起的求学种类; WEKA:机器学习软件套件; BidMach:CPU和加快GPU的机器学习库。

App Engine 未来在 GCP 上引进了第二代 Python
运维时。据该厂商称,开拓职员将来得以行使 Python Package Index
或个体存款和储蓄库中的重视项。Cloud Scheduler 和 Cloud Tasks 也已与 App Engine
分开,由此开辟职员能够在富有 GCP 服务中使用那一个职能。

  谷歌(Google卡塔尔国云通知集结

原则测量试验

(文/开源中国卡塔尔    

  为了便于读者读书最新的谷歌(Google卡塔尔云变化情况,我们访问了目前几天时间里谷歌(Google卡塔尔国表露的有所布告新闻,总结100 项。

Apache Hadoop
Benchmarking:测量试验Hadoop质量的微基准; Berkeley SWIM
Benchmark:现实大数额职业负荷基准测量试验; 英特尔 HiBench:Hadoop基准测量试验套件; PUMA
Benchmarking:MapReduce应用的尺度测量试验套件; Yahoo
Gridmix3:雅虎程序猿团队的Hadoop集群基准测量试验。

  Google云并购

安全性

  1. Kaggle:Kaggle 是整个世界最大的数目地农学家和机械学习发烧友沟通社区之一。Kaggle
    和Google云将会一连辅助机器学习培养训练、服务配置,也会持续提供社区囤积和查询大数据集的技巧。Google云通过此次并购,能够扶助自身笼络越来越多的领域专家、搜罗更加多的有用数码。

  2. AppBridge:Google云收购了根据地坐落于卡塔尔多哈的
    AppBridge,这家商号赞助客商从 on-prem 文件服务器迁移数据到谷歌(Google卡塔尔(قطر‎的 G
    Suite 和 Google Drive。谷歌(GoogleState of Qatar云通过此番收购,能够加深 AppBridge
    工具,也得以将该工具归入自己生态系统。

Apache Knox
Gateway:Hadoop集群安全访谈的单点; Apache Sentry:存款和储蓄在Hadoop的数量安全模块。

  Google云安全

系统构造

  1. Identity-Aware Proxy (IAP) for Google Cloud Platform
    (Beta):Identity-Aware
    代理提供了基于风险的应用程序访问方式,替换 VPN
    形式。它提供了百分百的安全应用程序访谈方式,通过客户、验证组、布置集成的防钓鱼安全密钥等办法界定访谈。

  2. Data Loss Prevention (DLP) for Google Cloud Platform
    (Beta):数据防遗失 API 提供了扫描超过40 种敏感数据类型数据的力量,被看成 Gmail 和 Drive 里 DLP
    的一局地。你能够查找并编写存款和储蓄在 GCP
    里面包车型客车机智数据,协助老的应用程序使用灵活数据传感器,支持使用预约义的探测器甚至自定义工具。

  3. Key Management Service (KMS) for Google Cloud Platform
    (GA):
    密钥管理服务允许你转移、使用、转换和销毁云端使用的相反相成加密密钥。

  4. Security Key Enforcement (SKE) for Google Cloud Platform
    (GA):允许你必要平安密钥作为双重认证因子,增强GCP 应用被访谈时的反钓鱼安全。

  5. Vault for Google Drive
    (GA) :Google Vault 是对此
    G Suite 的 eDiscovery 和归档方案。Vault 提供了轻易管理 G Suite
    数据生命周期和寻找的艺术,允许在站点内部预览和导出 G Suit 数据。

  6. Google-designed security chip,
    Titan:谷歌(GoogleState of Qatar行使
    Titan
    塑造能够信任的硬件,使得客商可以在硬件等第安全地分辨和申明合法访谈。Titan
    富含贰个随便硬件码数字生成器,在隔断内部存款和储蓄器境况下进行加密操作,何况存有专用的平安微机(微芯片上)。

Apache Ambari:Hadoop管理的周转框架;
Apache Bigtop:Hadoop生态系统的计划框架;
Apache Helix:集群管理框架; Apache Mesos:集群微型机; Apache
Slider:一种YA奥迪Q3N应用,用来构造YA哈弗N中现存的遍及式应用程序; Apache Whirr:运维云服务的库集; Apache YA奥迪Q3N:集群微处理机; Brooklyn:用于简化应用程序铺排和保管的库;
Buildoop:基于Groovy语言,和Apache
BigTop相近; Cloudera
HUE:和Hadoop实行人机联作的Web应用程序; 脸谱 Prism:多多少基本复制系统; Google Borg:作业调解和监督检查种类; 谷歌(Google卡塔尔(قطر‎ Omega:作业调度和监察系统; Hortonworks
HOYA:可在YA大切诺基N上配置HBase集群的运用; 半程Marathon:用于深入运维服务的Mesos框架。

  Google云平台-数据深入剖析

应用程序

  1. BigQuery Data Transfer Service (Private
    Beta): BigQuery
    数据传输服务让客户连忙地从具备Google管理的广告数据集里取得数量。只供给点击四次鼠标,你就足以预订从
    Google Adwords、DoubleClick Campaign Manager、DoubleClick for
    Publishers and YouTube 的数据导出服务。

  2. Cloud Dataprep (Private
    Beta):Cloud Dataprep
    是一个崭新的数据服务管理,与 Trifacta 同盟专门的学问,对于 BigQuery
    终端用户提供快捷和有扶持的可视化操作,在无需运用特意的数量技术员能源的景况下,为剖析探求和筹划数据。

  3. New Commercial
    Datasets:公司家经常须要查阅本人职业领域以外的数据(公开的要么商业的)。商业数据集提供的数目富含从 Xignite 来的金融集镇数据,从 HouseCanary 来的房产数据,从 Remine 来的房土地资产音讯预测音信,从 AccuWeather 来的野史气象数据,以至从 Dow
    Jones 来的消息归档消息,全体那几个新闻都曾在BigQuery 里就位。

  4. Python for Google Cloud Dataflow in
    GA:Cloud
    Dataflow
    是三个数据管理服务,扶植管理批量和流式数据。这一次公布以前,对于 Java
    开辟职员那么些特点已经得以接收。本次公布带给了 Python SDK。

  5. Stackdriver Monitoring for Cloud Dataflow
    (Beta):
    让 Cloud Dataflow 与 Stackdriver Monitoring 举办了归拢。

  6. Google Cloud Datalab in
    GA:那是一款交互作用式数据科学职业流工具,使用规范SQL、Python、Shell 命令能够轻松地在 Jupyter
    台式机上实施模型迭代、深入分析数据。

  7. Cloud Dataproc
    updates:对于运转Apache 斯Parker、Flink、Hadoop
    管道的保管服务提供了新的支撑,扶助成立轻量级安排的单节点集群,提供了
    GPU 支持。

Adobe
spindle:使用Scala、斯Parker和Parquet管理的下一代web剖判; Apache
Kiji:基于HBase,实时采摘和分析数据的框架; Apache Nutch:开源互连网爬虫; Apache
OODT:用于NASA科学档案中数据的抓获、管理和分享; Apache Tika:内容解析工具包; Argus:时间系列监测和报告急察方平台; Countly:基于Node.js和MongoDB,开源的手提式有线电话机和互联网解析平台;
Domino:运营、规划、分享和配置模型——未有其他底蕴设备;
Eclipse BIRT:基于Eclipse的告知种类;
伊芙nthub:开源的平地风波解析平台; Hermes:建于卡夫卡上的异步新闻代理; HIPI Library:在Hadoop’s
MapReduce上施行图像管理任务的API; Hunk:Hadoop的Splunk分析; Imhotep:大范围解析平台; MADlib:奥迪TTDBMS的用来数据拆解深入分析的数目管理库; Kylin:来自eBay的开源遍布式深入分析工具; PivotalEvoque:Pivotal HD / HAWQ和PostgreSQL中的大切诺基;
Qubole:为活动缩放Hadoop集群,内置的多少连接器;
Sense:用于数据科学和大数据深入分析的云平台;
SnappyData:用于实时运营解析的遍及式内部存储器数据存款和储蓄,提供建设构造在斯Parker单一集成集群中的数据流解析、OLTP(联机事务管理)和OLAP(联机剖判管理);
Snowplow:集团级互连网和事件解析,由Hadoop、Kinesis、Redshift
和Postgres提供技巧支持; 斯ParkerWrangler:Spark的Tiguan前端; Splunk:用于机器生成的多少的剖析; Sumo
Logic:基于云的解析仪,用于解析机器生成的多寡; Talend:用于YA奥德赛N、Hadoop、HBASE、Hive、HCatalog和Pig的拜见开源境况;
Warp:利用大数量(OS X
app)的实例查询工具。

  Google云平台-数据库服务

寻找引擎与框架

  1. Cloud SQL for Postgre SQL
    (Beta):提供了与针对 MySQL 的云端
    SQL 同样的效劳。

  2. Microsoft SQL Server Enterprise
    (GA):Google测算引擎辅助Windows 服务器灾备集群(WSFC)和 SQL 服务器灾备技艺。

  3. Cloud SQL for MySQL
    improvements:32-core
    情况下升高到 208GB
    内部存款和储蓄器,进步工作流品质,通过身份和做客管理调节能源大旨管理。

  4. Cloud Spanner:将一流可扩张的
    Spanner
    数据库移植到了Google云平台,该数据库具备关系型数据库管理情势、全局强一致性特征、跨大洲扩充及灾备技术。

  5. SSD persistent-disk performance
    improvements:SSD
    persistent disks 进步了吞吐量和 IOPs
    质量,对于数据库和解析职业流有明确的收益。

  6. Federated query on Cloud
    Bigtable:针对供给低延时和高吞吐的大量深入分析大概操作流,扩充BigQuery 的寻觅数据范围覆盖 Cloud Bigtable、NoSQL 数据库服务。

Apache Lucene:寻找引擎库; Apache Solr:用于Apache Lucene的索求平台;
ElasticSearch:基于Apache
Lucene的寻觅和深入分析引擎; Enigma.io:为无需付费增值的强壮性web应用,用于研究、筛选、剖判、搜索和导出来自互连网的广阔数据集;
Facebook(Facebook卡塔尔 Unicorn:社交图形搜索平台;
谷歌 Caffeine:一而再一连索引系统; 谷歌 Percolator:接二连三索引系统; Tera谷歌:大型寻找索引; HBase
Coprocessor:为Percolator的兑现,HBase的一局地; 莉莉 HBase
Indexer:急忙、轻松地查找存款和储蓄在HBase的别样内容; LinkedIn
鲍勃o:完全由Java编写的分面寻找的落成,为Apache Lucene的拉开;
LinkedIn
Cleo:为一个一个游刃有余的软件库,使得部分、冬季、实时预输入的搜寻达成了迅猛腾飞;
LinkedIn Galene:LinkedIn搜索构造; LinkedIn
Zoie:是用Java编写的实时搜索/索引系统; Sphinx Search Server:全文字笔迹核实索引擎

  Google云平台-机器学习服务

MySQL的分层和演变

  1. Cloud Machine Learning Engine
    (GA) :云端机器学习引擎,为团队提供云端临盆条件练习和安插模型手艺。

  2. Cloud Video Intelligence API (Private
    Beta):允许开拓人士飞快地查找和开采录像内容,只需求提供实物音信,例如“狗”、“花”、“人类”近似的名词,只怕“跑步”、“游泳”、“飞行”肖似的动词。

  3. Cloud Vision API
    (GA):对于厂家和协作友人提供了一发各种化的图纸分类方法。

  4. Machine learning Advanced Solution Lab
    (ASL):为客商提供了特意的设备,直接与谷歌(Google卡塔尔(قطر‎的机械学习行家同盟,应用机器学习算法到它们的政工领域。

  5. Cloud Jobs
    API:二个成效强盛的行事探究和发现API。

  6. Machine Learning Startup
    Competition:提供了来自
    a16z、Greylock Partners、GV、克莱因er Perkins Cau田野同志 & Byers and
    Sequoia Capital 等的额外支持。

亚马逊(AmazonState of Qatar 奔驰M级DS:亚马逊(亚马逊(Amazon卡塔尔国卡塔尔云的MySQL数据库; Drizzle:MySQL的6.0的演变; 谷歌 Cloud SQL:谷歌(GoogleState of Qatar云的MySQL数据库; MariaDB:MySQL的巩固版嵌入式代替品; MySQL Cluster:使用NDB集群存款和储蓄引擎的MySQL达成;
Percona
Server:MySQL的加强版嵌入式替代品; ProxySQL:MySQL的高质量代理; TokuDB:用于MySQL和 MariaDB的囤积引擎; WebScaleSQL:运转MySQL时直面相近挑战的几家同盟社,它们的程序员之间的合作。

  Google云平台-资金和支撑

PostgreSQL的分段和嬗变

  1. Compute Engine price
    cuts:继续价格高管地位,已经对谷歌(Google卡塔尔国测算引擎费用优惠8%。

  2. Committed Use
    Discounts:客户能够接过最高
    1/4 的折扣,换取 1 到 3 年的每月支付办法,未有中期耗费。

  3. Free trial extended to 12
    months:延长使用期限从
    60 天到 12 个月。

  4. Engineering
    Support:调换为程序员帮衬程序猿格局,根据你的实在业务,无论你是在构造的哪三个阶段,都足以找到对应程序员扶持。

  5. Cloud.google.com/community
    site:新生产的专项使用于分享 GCP
    使用经历的三个社区。

Yahoo Everest – multi-peta-byte database
/ MPP derived by PostgreSQL. HadoopDB:MapReduce和DBMS的混合体; IBM Netezza:高品质数据酒馆设备; Postgres-XL:基于PostgreSQL,可扩展的开源数据库集群;
RecDB:完全确立在PostgreSQL内部的开源推荐引擎;
Stado:开源MPP数据库系统,只针对数据酒店和数目集市的应用程序;
Yahoo
Everest:PostgreSQL能够推导多字节P比特数据库/MPP。

  谷歌(GoogleState of Qatar云平台-开荒者平台和工具

Memcached的分段和嬗变

  1. Google AppEngine Flex
    (GA):对于 App
    引擎平台提供了更加多的开放性、开辟人士选拔项、应用程序可移植性等。

  2. Cloud Functions
    (Beta):无服务器情形,用于创设事件驱动应用程序和微服务,让您能够运用代码创设和连接云端服务。

  3. Firebase integration with GCP
    (GA):与
    Google Cloud Functions 集成。

  4. Cloud Container
    Builder:是叁个单一工具,允许客户在
    GCP 上营造 Docker
    容器,无论配置情状是怎么着。它是一种高效、可靠任的、一致性的打包软件步入容器工具,是自动化专门的学业流的一部分。

  5. Community Tutorials
    (Beta):任哪个人都足以提交只怕央浼一篇有关Google云平台的技巧文章。

Twitter McDipper:闪存的键/值缓存;
照片墙 Memcached:Memcache的分支;
Twemproxy:Memcached和Redis的敏捷、轻型代理;
推特 Fatcache:闪存的键/值缓存; Instagram Twemcache:Memcache的支行。

  谷歌(Google卡塔尔(قطر‎云平台-根基设施

嵌入式数据库

  1. New data center region:
    California:新的 GCP
    数据主导,负担美利坚联邦合众国西海岸和相近的地理区域。相似于任何的谷歌(Google卡塔尔国云区,它将至少含有四个分区天性,收益于谷歌(Google卡塔尔(قطر‎全世界化、私有云光钎互连网,并提供
    GCP 服务的补偿。

  2. New data center region:
    Montreal:新的 GCP
    数据主导,担任加拿大和隔壁的地理区域。相通于其余的谷歌(Google卡塔尔国云区,它将起码含有四个分区特性,收益于谷歌(GoogleState of Qatar全世界化、私有云光钎互联网,并提供
    GCP 服务的增加补充。

  3. New data center region:
    Netherlands:新的 GCP
    数据基本,担负亚洲西头和相邻的地理区域。相似于别的的Google云区,它将最少含有多个分区性子,收益于谷歌(Google卡塔尔满世界化、私有云光钎互联网,并提供
    GCP 服务的补给。

  4. Google Container Engine – Managed
    Nodes:新增加自动化检验和修复
    GKE 节点技艺,Google 确认保证顾客集群是可用的和新型版本。

  5. 64 Core machines + more
    memory:每五个实例能够运营在
    64 颗 vCPUs 上,数量级翻了一倍,而且扶植最大 416GB 内部存储器。

  6. Internal Load balancing
    (GA):内部负载均衡,允许顾客服务内部伸缩,基于内部实例能够访问的私家负载均衡
    IP 地址。

  7. Cross-Project Networking
    (Beta):高出三个Google云平台的类型的伪造互联网,提供了通用网络体验,启用简单的多租户布置。

Actian PSQL:Pervasive
Software集团支出的ACID包容的DBMS,在应用程序中放到了优化; Beck雷DB:为键/值数据提供叁个高品质的嵌入式数据库的一个软件库;
HanoiDB:Erlang LSM BTree存储; LevelDB:谷歌(Google卡塔尔国写的八个快捷键-值存款和储蓄库,它提供了从字符串键到字符串值的平稳映射;
LMDB:Symas开垦的十分的快、超紧密的键-值嵌入的式数据存款和储蓄;
罗克sDB:基于性LevelDB,用于火速囤积的嵌入式持续性键-值存储。

  G Suite – 集团合营 & 生产力

商业智能

  1. Team Drives (GA for G Suite Business, Education and Enterprise 
    customers):提供轻松且安全的法子管理权限、全数者,以致文件访谈。

  2. Drive File Stream
    (EAP):加快从云端下载流式文件到地头Computer的章程,扶植台式机未有充足硬盘空间的事态下直接访谈公司数据。

  3. Google Vault for Drive (GA for G Suite Business, Education and
    Enterprise
    customers):帮衬管理员调节全数文件及其安全计谋,包含员工Drives 和集体 Drives。

  4. Quick Access in Team Drives
    (GA):基于谷歌(GoogleState of Qatar机器智能,帮助职员和工人第不时间得到可信的新闻。

  5. Hangouts Meet (GA to existing
    customers):基于 Hangouts
    的录像会议系统,能够进行不抢先 叁13位的摄像会议,不供给账号、插件,也无需下载程序。

  6. Hangouts Chat
    (EAP):一款基于
    Hangouts 的智能通信 App,能够在跨集团团体之间创建设想办公室。

  7. @meet:基于
    Hangouts 平台之上塑造的一款智能手机器人。

  8. Gmail Add-ons for G Suite (Developer
    Preview):提供了一种在 Gmail 内部访谈 App
    或许服务效果的办法。

  9. Edit Opportunities in Google
    Sheets:援救从
    Salesforce 同步消息到 excel 表单,何况更新会自动同步至 Salesforce。

  10. Jamboard:合并了物理世界和数量更新。

BIME Analytics:商业智能云平台; Chartio:精益业务智能平台,用于可视化和研讨数据;
datapine:基于云的自助服务商业智能工具;
Jaspersoft:功能强盛的商业智能套件;
Jedox Palo:定制的商业智能平台; Microsoft:商业智能软件和平台; Microstrategy:商业智能、移动智能和网络利用软件平台;
Pentaho:商业智能平台; Qlik:商业智能和解析平台; Saiku:开源的分析平台; SpagoBI:开源商业智能平台; Tableau:商业智能平台; Zoomdata:大数额深入解析; Jethrodata:人机联作式大数据深入分析。

  Android & Chrome 设备

数据可视化

  1. Android Kiosk Apps for
    Chrome:允许客户在
    Web 和安卓应用上管理和布局 Chrome 数字 signage、kiosks。

  2. Chrome Kiosk Management Free
    trial:提供免费试用
    Chromesignage、kiosks 安排格局。

  3. Chrome Device Management (CDM) APIs for
    Kiosks:提供了
    Kiosk 的 API。

  4. Chrome Stability
    API:协理Kiosk 的 App 开荒职员升高应用程序的可用性。

Airpal:用于PrestoDB的网页UI; Arbor:利用网络工小编和jQuery的图形可视化库;
Banana:对存款和储蓄在Kibana中Solr.
Port的日记和时戳数据实行可视化; Bokeh:三个效能强大的Python交互作用式可视化库,它针对要出示的现世web浏览器,目的在于为D3.js风格的古怪的图样提供温婉简练的规划,同不常间在大范围数据或流多少汇总,通过高质量交互作用性来公布这种手艺;
C3:基于D3可重复使用的图表库; CartoDB:开源或无需付费增值的虚构主机,用于带有强盛的前端编辑功用和API的地理空间数据库;
chartd:只带Img标签的反射灵敏、宽容Retina的图形;
Chart.js:开源的HTML5图纸可视化效果;
Chartist.js:另贰个开源HTML5图纸可视化效果;
Crossfilter:JavaScript库,用于在浏览器中探寻多元大数据集,用Dc.js和D3.js.效果很好;
Cubism:用于时间连串可视化的JavaScript库;
Cytoscape:用于可视化复杂互连网的JavaScript库;
DC.js:维度图表,和Crossfilter一齐使用,通过D3.js彰显出来,它比较长于连接图表/附加的元数据,进而徘徊在D3的事件周边;
D3:操作文件的JavaScript库; D3.compose:从可重复使用的图样和零件构成复杂的、数据驱动的可视化;
D3Plus:一组万分苍劲的可选用的图纸,还会有D3.js的样式;
Echarts:百度集团情况图表; Envisionjs:动态HTML5可视化; FnordMetric:写SQL查询,重返SVG图表,并不是表;
Freeboard:针对IOT和别的Web混合着去搭配的开源实时仪表盘营造;
Gephi:屡获荣誉的开源平台,可视化和垄断(monopoly卡塔尔(قطر‎大型图形和互联网连接,有一点点像Photoshop,可是本着于图表,适用于Windows和Mac
OS X; 谷歌(Google卡塔尔(قطر‎ Charts:简单的图片API;
Grafana:石墨仪表板前端、编辑器和图表组合器;
Graphite:可扩充的实时图表; Highcharts:轻巧而灵活的图样API; IPython:为人机联作式总括提供丰裕的构造; Kibana:可视化日志和时间标志数据; Matplotlib:Python绘图; Metricsgraphic.js:建立在D3之上的库,针对时间体系数据开展最优化;
NVD3:d3.js的图样组件; Peity:渐进式SVG条形图,折线和饼图; Plot.ly:易于使用的Web服务,它同意快速创设从热图到直方图等复杂的图形,使用图表Plotly的在线石英钟格上传数据开展创办和设计;
Plotly.js:扶助plotly的开源JavaScript图形库;
Recline:轻松但功用强盛的库,纯粹利用JavaScript和HTML构建数据应用;
Redash:查询和可视化数据的开源平台;
Shiny:针对凯雷德的Web应用程序框架; Sigma.js:JavaScript库,特意用于图形绘制;
Vega:一个可视化语法; Zeppelin:二个台式机式的通力合作数据深入分析; Zing Charts:用于大数量的JavaScript图表库。

  Google云顾客

物联网和传感器

  1. Colgate:在谷歌云和
    SAP 之间架设合营桥梁和工具。

  2. Disney Consumer Products & Interactive
    (DCPI):提高下一代机器学习的客商体验。

  3. eBay:eBay
    目前在 ShopBot 上行使的Google云本事富含谷歌(Google卡塔尔国容器引擎、机器学习和人为智能

  4. HSBC:安插云端
    DataFlow、BigQuery,以至别的数据服务。

  5. LUSH:开支少于
    6 周时间,从 AWS 迁移全球电子商务网址到
    GCP,十分大地进级了站点的可用性和平静。

  6. Oden Technologies:从 AWS 上迁移整个平台到 GCP。

  7. Planet:2 月份早就搬迁到 GCP。

  8. Schlumberger:使用
    GCP 的高质量总括、远程设想化、飞速布署等特点。

  9. The Home
    Depot:为了藏青礼拜三和红客工具而搬迁
    HomeDepot.com 到云端。

  10. Verizon:为当先15 万名职工业安全顿 G
    Suite,在保险安全性和自律标准的气象下,在办公蒙受内更加好地合作和弹性专门的学问。

  11. Alooma:Alooma
    和 Google Cloud SQL、BigQuery 集成达成。

  12. Authorized Training Partner
    Program:为了帮衬公司越来越快地扩大它们的创设产物,也为了让其它的培育友人参预到谷歌(Google卡塔尔生态系统,谷歌(Google卡塔尔正在推出一个全新的合作友人安排,以帮衬它们特有的成品和须求。

  13. Check
    Point:公布针对Google云平台的
    Check Point vSEC,与 GCP
    集成高安全机制,何况参加Google云手艺友人项目。

  14. CloudEndure:与
    CloudEndure 合营,为 GCP 客商提供一种免费的自助迁移工具。

  15. Coursera:与谷歌(Google卡塔尔(قطر‎云平台合作,提供带有布满的Google云培养练习科目。为 GCP
    底工科目提供 100%
    的折扣。

  16. DocuSign:与谷歌(Google卡塔尔Docs 深度集成。

  17. Egnyte:与GoogleDocs 加强集成,允许双方联袂的客户,在 Egnyte
    连接内创立、编辑和积累Google Docs、Sheets 以致 Slides 文件。

  18. Google Cloud Global Partner
    Awards:付与12 家在 二〇一六年树立了强有力的客户关系和消除立异方案上赢得入眼成功的Google云同伙奖项,包罗Accenture、Pivotal、LumApps、Slack、Looker、Palo Alto
    Networks、Virtru、SoftBank、DoIT、Snowdrop Solutions、CDW
    Corporation,以至 SYNNEX Corporation。

  19. iCharts:发表对几个GCP 数据库提供额外的支撑,对于当下Google BigQuery 客商免费使用 pivot
    表格,以至贰个簇新的出品“iCharts for SaaS”。

  20. Intel:除了
    Skylake 进展以外,AMD和Google云推出了多少个手艺方法和商场培养安顿,包涵物联网、Kubernetes 和
    TensorFlow,包蕴优化、开采顺序和工具。

  21. Intuit:公布 Gmail
    Add-Ons,其目标是依照邮件上下文整合自定义 Gmail 职业流。

  22. Liftigniter:谷歌(Google卡塔尔国云运营程序会员,聚焦于特性化学工业机械器学习,使用预测解析方法提高网址照旧App 的点击率。

  23. Locker:发布一体系付加物,与谷歌BigQuery 数据传输服务包容,目的在于让经营发卖职员升迁入眼数据解析技艺。

  24. Low interest loans for
    partners:为了救助白金会员团队的生长,谷歌(Google卡塔尔(قطر‎发表将会向契合条件的合营同伴提供低利息的拆借职业。

  25. MicroStrategy:发表与谷歌(GoogleState of Qatar云
    SQL 针对 PostgreSQL 和 MySQL 集成。

  26. New incentives to accelerate partner
    growth:对于曾经存在的依旧新兴项目提供多地点投资。

  27. Orbitera Test Drives for GCP
    Partners:允许客商选拔软件,生成高素质的多寡,那些数量能够被直接发放合营友人的销售团队。谷歌(Google卡塔尔为白银会员提供了一年的免试使用套餐。

  28. Partner
    specializations:在顾客关系、技艺影响等居多下面获得成功的合营同伙,今后得以向谷歌(GoogleState of Qatar提请授予行家称号。Google行家覆盖应用程序开采、数据拆解深入分析、机器学习,甚至底子设备。

  29. Pivotal:GCP
    公布 Pivotal 成为首个 CRE 技艺合作伙伴。

  30. ProsperWorks:公布 Gmail
    Add-Ons,,其指标是基于邮件上下文整合自定义 Gmail 专门的学问流。

  31. Qwiklabs:此次收购将向授权的帮衬合作同伙提供各个力量,包含提供出手实验室、Google行家开拓的综合性课程。

  32. Rackspace:发表与Google云完结攻略友人关系。

  33. Rocket.Chat:增添了一密密层层与 HCP
    集成的新成品,包罗 Autotranslate via Translate API。

  34. Salesforce:发表 Gmail
    Add-Ons,,其目标是遵照邮件上下文整合自定义 Gmail 专门的职业流。

  35. SAP:战术友人关系包涵授权
    SAP HANA 运营在 GCP 上,新的 G Suite
    集成以致未来在机器学习属性创设上的搭档。

  36. Smyte:Smyte 近些日子从友好运行的 Kubernetes
    移植到了Google容器云引擎上(GKE)。

  37. Veritas:扩大其与Google云的同盟同伙关系,提供共有顾客360 数据管理力量。

  38. VMware Airwatch:提供公司对于 Android
    的位移管理解决方案,并且不只有驱动Google设备生态景况相符公司级顾客需求。

  39. Windows Partner
    Program:与 Windows
    社区的头号系统集成商同盟,扶持 GCP 客商得到 Windows、.Net
    App、运维在 Windows 上的劳务的具备优点。

  40. Xplenty:公布集成多个新的谷歌(Google卡塔尔云服务,它们各自是
    谷歌 Cloud Spanner、Google Cloud SQL for PostgreSQL。

  41. Zoomdata:公布扶持GCP 上的 谷歌 Cloud Spanner 和 PostgreSQL,进一层增进了 Zoomdata
    斯马特 Connector 对于Google BigQuery
    的辅助。与谷歌(Google卡塔尔(قطر‎云平台深度集成、优化扶植其 Cloud
    Spanner、PostgreSQL、谷歌(Google卡塔尔(قطر‎ BigQuery、以及 Cloud DataProc services
    等劳务。

TempoIQ:基于云的传感器解析; 2lemetry:物联网平台; Pubnub:数据流网络; ThingWorx:ThingWorx
是让商家火速创造和周转互联应用程序平台; IFTTT:IFTTT 是叁个被称为 “互联网自动化神器”
的立异型互连网服务,它的完备是 If this then
that,意思是“要是这么,那么就那样”; Evrythng:Evrythng则是一款真正含义上的公众物联网平台,使得身边的广大出品变得智能化。

  结论

随笔推荐

  此次大会时期共计发表了超越 100
项新的并购音信、手艺晋级、平台扩大容积、新社区,计策安排之标准、大胆,Google的实施进程之快,视界之何足为奇,都以境内公司应当主动深造的,希望能够在Google的引领下,越来越多的科学技术集团能够与谷歌(Google卡塔尔国计出万全。

NoSQL Comparison(NoSQL 比较)- Cassandra vs MongoDB vs CouchDB
vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs
ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison; Big Data Benchmark(大数据标准)- Redshift, Hive, Shark, Impala and
Stiger/Tez的条件; The big data successor of the
spreadsheet(电子手表格的大数目继任者) –
电子钟格的后来人应该是大额。

 

论文

2015 – 2016

2015 – Facebook – One Trillion Edges: Graph Processing at
推特(Twitter卡塔尔(Instagram卡塔尔(قطر‎-Scale.(一兆边:Facebook规模的图像处理)

2013 – 2014

2014 – Stanford – Mining of Massive Datasets.(海量数据集发现) 二零一二– AMPLab – Presto: Distributed Machine Learning and Graph Processing
with Sparse Matrices. (Presto: 萧条矩阵的布满式机器学习和图像处理)
二〇一二 – AMPLab – MLbase: A Distributed Machine-learning System.
(MLbase:遍布式机器学习系统) 二〇一三 – AMPLab – Shark: SQL and Rich
Analytics at Scale. (Shark: 大范围的SQL 和加多的分析) 二零一一 –
AMPLab – GraphX: A Resilient Distributed Graph System on 斯Parker.
(GraphX:基于斯Parker的弹性布满式图总计连串) 二零一三 – Google
HyperLogLog in Practice: Algorithmic Engineering of a State of The ArtCardinality Estimation Algorithm.
(HyperLogLog实施:一个艺术形象的基数估量算法) 二零一三 – Microsoft
Scalable Progressive Analytics on Big Data in the
Cloud.(云端大数据的可扩充性渐进剖析) 二零一一 – Metamarkets – Druid: A
Real-time Analytical Data Store. (Druid:实时深入分析数据存款和储蓄) 二零一二 –
Google – Online, Asynchronous Schema Change in
F1.(F第11中学在线、异步形式的转移) 二零一一 – Google – F1: A Distributed
SQL Database That Scales. (F1: 分布式SQL数据库) 2013 – Google
MillWheel: Fault-Tolerant Stream Processing at Internet
Scale.(MillWheel: 互联网规模下的容错流管理) 二零一一 – Facebook
Scuba: Diving into Data at Facebook. (Scuba: 深远Instagram的多少世界)
2012 – Facebook – Unicorn: A System for Searching the Social Graph.
(Unicorn: 一种寻觅社交图的系统) 2012 –
Facebook – Scaling Memcache at Instagram. (Facebook 对 Memcache
伸缩性的拉长)

2011 – 2012

2012 – Twitter – The Unified Logging Infrastructure for Data
Analytics at 推文(Tweet卡塔尔(قطر‎. (Facebook数据剖析的合併日志底工布局) 二〇一二 –
AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data.
(Blink及其形成:比异常的大范围数据的交互作用式查询) 二〇一一 – AMPLab –法斯特 and
Interactive Analytics over Hadoop Data with 斯Parker. (斯Parker上
Hadoop数据的火速交互式剖析) 二〇一三 – AMPLab –Shark: 法斯特 Data
Analysis Using Coarse-grained Distributed Memory.
(Shark:使用粗粒度的布满式内部存款和储蓄器急迅数据分析) 二〇一二 – Microsoft
–Paxos Replicated State Machines as the Basis of a High-Performance Data
Store. (Paxos的复制状态机——高质量数据存款和储蓄的底子) 二〇一三 – Microsoft
–Paxos Made Parallel. (Paxos算法完结相互影响) 贰零壹贰 – AMPLab
BlinkDB:BlinkDB: Queries with Bounded Errors and Bounded Response Times
on Very Large Data.(超级大规模数据中轻便绝对误差与有界响合时间的查询) 二零一二 –
Google –Processing a trillion cells per mouse
click.(每趟点击处理一兆个单元格) 贰零壹贰 – Google –Spanner: Google’s
Globally-Distributed Database.(Spanner:Google的五洲遍及式数据库) 2013 –
AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce
Clusters.(Scarlett:应对MapReduce集群中的趋向性内容) 二零一一 – AMPLab
–Mesos: A Platform for Fine-Grained Resource Sharing in the Data
Center.(Mesos:数据中央中细粒度能源分享的阳台) 二〇一二 – Google
–Me瓦斯tore: Providing Scalable, Highly Available Storage for Interactive
Services.(梅格astore:为人机联作式服务提供可扩充,中度可用的蕴藏)

2001 – 2010

2010 – Facebook – Finding a needle in Haystack: 照片墙’s photo
storage.(研讨Haystack中的细微之处: 推文(Tweet卡塔尔图片存款和储蓄) 二〇一〇 – AMPLab
Spark: Cluster Computing with Working
Sets.(Spark:职业组上的集群计算) 二零零六 – Google – Storage
Architecture and Challenges.(存款和储蓄结构与挑衅) 2009 – Google
Pregel: A System for Large-Scale Graph Processing.(Pregel:
一种大型图形管理系统) 2009 – Google – Large-scale Incremental
Processing Using Distributed Transactions and Notifications base of
Percolator and Caffeine.(使用基于Percolator 和
Caffeine平台布满式事务和布告的科学普及增量管理) 二〇〇九 – Google
Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel:
Web规模数据集的交互作用深入分析) 二零零六 – Yahoo – S4: Distributed Stream
Computing Platform.(S4:遍及式流计算平台) 2010 – HadoopDB:An
Architectural Hybrid of MapReduce and DBMS Technologies for Analytical
Workloads.(混合MapReduce和DBMS才干用于分析工作负荷的的布局) 二零零六 –
AMPLab – Chukwa: A large-scale monitoring system.(Chukwa:
大型监察和控制系统) 贰零零陆 – Amazon – Dynamo: 亚马逊’s Highly Available
Key-value Store.(Dynamo: 亚马逊(亚马逊卡塔尔的高可用的严重性价值贮存) 2007 –
Google – The Chubby lock service for loosely-coupled distributed
systems.(面向松散耦合的遍布式系统的锁服务) 二〇〇五 – Google
Bigtable: A Distributed Storage System for Structured Data.(Bigtable:
构造化数据的布满式存款和储蓄系统) 二〇〇二 – Google – MapReduce: Simplied
Data Processing on Large Clusters.(MapReduce: 大型集群上简化数据管理)
二〇〇〇 – Google – The 谷歌(Google卡塔尔 File System.(谷歌(GoogleState of Qatar文件系统)

视频

数据可视化 数据可视化之美 Noah Iliinsky的多少可视化设计 Hans Rosling’s 200 Countries, 200 Years, 4
Minutes 冰桶挑衅的数据可视化