业界动态
【大数据】大数据OLAP查询引擎选型对比
2024-11-06 02:10

        目前大数据比较常用的OLAP查询引擎包括:Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。

【大数据】大数据OLAP查询引擎选型对比

        不同引擎特点不尽相同,针对不同场景,可能每个引擎的表现也各有优缺点。下面就以上列举的几个查询引擎做简单介绍。

        Presto是 Facebook 推出的一个开源的分布式SQL查询引擎,数据规模可以支持GB到PB级,主要应用于处理秒级查询的场景。Presto 的设计和编写完全是为了解决像 Facebook 这样规模的商业数据仓库的交互式分析和处理速度的问题。虽然 Presto 可以解析 SQL,但它不是一个标准的数据库。不是 MySQL、Oracle 的代替品,也不能用来处理在线事务(OLTP)。

        Presto 支持在线数据查询,包括 Hive,关系数据库(MySQL、Oracle)以及专有数据存储。一条 Presto 查询可以将多个数据源的数据进行合并,可以跨越整个组织进行分析(跨库执行)。Presto 主要用来处理 响应时间小于 1 秒到几分钟的场景 。

        Presto 是一个运行在多台服务器上的分布式系统。完整安装包括一个 Coordinator 和多 个 Worker。由客户端提交查询,从 Presto 命令行 CLI 提交到 Coordinator。Coordinator 进行 解析,分析并执行查询计划,然后分发处理队列到 Worker 。

        Presto也是一个master-slave架构的查询引擎。其架构图如下图所示:

     Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和Hbase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。

   是一个(大规模并行处理)查询引擎

  • 是一个用和编写的开源软件;
  • 用于处理存储在集群中大量的数据;
  • 性能最高的引擎(提供类似的体验),提供了访问存储在分布式文件系统中的数据的最快方法。
  • 使用impala,用户可以使用传统的SQL知识以极快的速度处理存储在HDFS、Hbase和Amazon s3中的数据中的数据,而无需了解Java(MapReduce作业)。
  • 由于在数据驻留(在Hadoop集群上)时执行数据处理,因此在使用Impala时,不需要对存储在Hadoop上的数据进行数据转换和数据移动。
  •     但是:

  • 不提供任何对序列化和反序列化的支持;
  • 只能读取文本文件,而不能读取自定义二进制文件;
  • 每当新的记录/文件被添加到中的数据目录时,该表需要被刷新;
  • 不支持text域的全文搜索;

  • 不支持Transforms;

  •     以上就是本篇文章【【大数据】大数据OLAP查询引擎选型对比】的全部内容了,欢迎阅览 ! 文章地址:http://www.dbeile.cn/news/498.html 
         资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 多贝乐移动站 http://lzlz0618.dbeile.cn/ , 查看更多   
  • 最新新闻
    卤味下半场开启,从年报看周黑鸭如何破局?
    2022年上半年,疫情持续影响,消费意愿低迷,同时全球性的通胀导致大宗商品等原材料价格大幅上涨,这些不利因素都对企业经营造成
    小红书平台2024年健康生活趋势研究报告
    摘要:报告显示,小红书大健康赛道相关种草笔记数同比增长超100%。用户画像显示,18-24岁年轻用户占比近50%,一线和新一线城市用
    3.4 新建巨量引擎/巨量千川数据集
    为了实现在巨量引擎广告数据的一站式数据分析与应用,产品可以直接与巨量引擎/巨量千川进行连接,获得相应数据,在后续分析应用
    一周市场回顾与股市吸引力指数
    来源:雪球App,作者: 价值陪伴成长,(https://xueqiu.com/8985246715/274858867)一、本周市场回顾 本周是2024年第二周,各大
    成也甄嬛,败也甄嬛,这8位《甄嬛传》演员,今现状有人一言难尽
    2006年,刚刚拍完电视剧《金婚》的郑晓龙迷上了一本网络小说。看完后郑晓龙心里非常激动,他决定无论如何都要把这部小说改编成电
    做了个网站想要快速提升关键词排名增加网站的流量兄弟们知道怎么
    在现今互联网竞争激烈的环境中,一个网站的流量和关键词排名直接关系到其曝光度和商业价值。为了快速提升网站的关键词排名并增加
    AI辅助文案生成工具——让写作更轻松
    对于许多写手来说,写作一直是件费时间费精力的事情。毕竟,熬夜加班写出来的文案,不一定有决策者一眼就能看中。然而,随着人工
    【大数据】大数据OLAP查询引擎选型对比
    目前大数据比较常用的OLAP查询引擎包括:Presto、Impala、Druid、Kylin、Doris、Clickhouse、GreenPlum等。不同引擎特点不尽相同
    华为AR Engine
    华为手机AREnigne是国际性领跑的增强现实模块,由华为官方发布,结合虚幻世界与现实世界,提供了健身运动跟踪、平面图检验、阳光
    中国手术刀片行业市场行情监测及发展前景研判报告
    市场需求竞争格局标杆企业投资机会中国手术刀片行业市场行情监测及发展前景研判报告报告编号:1749963免费目录下载:http://www.
    本企业新闻
    推荐企业新闻