列式数据存储解决多个字段同序问题?
cookqq ›博客列表 ›列式数据库

列式数据存储解决多个字段同序问题?

2024-02-01 18:31:08.0|分类: 列式数据库|浏览量: 643

摘要: 列式数据库数据有序存储很重要,例如:高频查询字段、分组字段、join字段等。数据正序存储之后才能避免全量数据扫描,减少扫描数据范围,提高响应速度。

场  景:一个订单表有订单编号,订单用户,sku,订单时间等字段。

现在把订单数据抽取到ClickHouse列式存储,订单编号作为排序字段。按照订单编号查询速度会很快。


希  望:订单按照时间倒序排序展示、要求速度很快。


带来问题:如果先查询,再排序,这样速度慢,占用内存多。


解决办法:

1、想办法让订单编号和订单时间同序(比如订单编号规则是:yyyyMMddhhmmss+增长数字)

2、按主键(订单编号)正序存储

3、读数的时候,用skip算出每页的起始行号和结束行号,再读出这一页的数据,然后用sort逆序后输出


一键分享文章

分类列表

  • • struts源码分析
  • • flink
  • • struts
  • • redis
  • • kafka
  • • ubuntu
  • • zookeeper
  • • hadoop
  • • activiti
  • • linux
  • • 成长
  • • NIO
  • • 关键词提取
  • • mysql
  • • android studio
  • • zabbix
  • • 云计算
  • • mahout
  • • jmeter
  • • hive
  • • ActiveMQ
  • • lucene
  • • MongoDB
  • • netty
  • • flume
  • • 我遇到的问题
  • • GRUB
  • • nginx
  • • 大家好的文章
  • • android
  • • tomcat
  • • Python
  • • luke
  • • android源码编译
  • • 安全
  • • MPAndroidChart
  • • swing
  • • POI
  • • powerdesigner
  • • jquery
  • • html
  • • java
  • • eclipse
  • • shell
  • • jvm
  • • highcharts
  • • 设计模式
  • • 列式数据库
  • • spring cloud
  • • docker+node.js+zookeeper构建微服务
版权所有 cookqq 感谢访问 支持开源 京ICP备15030920号
CopyRight 2015-2018 cookqq.com All Right Reserved.