便宜VPS网clickhouse内存不回收
1、开发环境运行正常的程序在测试程序一直运行不了，提示kafka引擎表不能正常工作。我们ClickHouse版本是3。发现kafka引擎报错提示字段不存在，我们的业务流程是kafka引擎表---ods层---dws层。
2、可见是内存不够了（CK虽然是分布式存储但是集中计算） 一个办法是修改SQL，比如说用临时表之类的，但是那多麻烦啊。我决定先用swap内存试试。我是跑完了SQL以后查看的，所以used是474 . 不是0。嗯，SQL正常执行。
3、未压缩的数据集是680GB。 把上述数据加载到ClickHouse后，默认的LZ4压缩算法下，数据容量是184G（压缩到27%），而ZSTD达到了135GB（压缩到20%）。
4、分区数过多会导致打开大量文件句柄，影响集群。2，分区数过多会导致集群重启变慢，zk压力变大，insert变慢等问题。
5、clickhouse使用虚拟内存，物理内存和虚拟内存的数据交换，会导致查询变慢，可以关闭虚拟内存。内存是计算机的重要部件，也称内存储器和主存储器，它用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。
6、ClickHouse不要求主键唯一，所以您可以插入多条具有相同主键的行，确保去重成功。每次批量写入，一定要做一批去重。去重语句如下：optimizetablemytableNamefinal。但是查询可以做到去重，达到目的。
如何利用ClickHouse高速汇总查询MySQL数据
1、尽量使用数字型字段，若只含数值信息的字段尽量不要设计为字符型，这会降低查询和连接的性能，并会增加存储开销。这是因为引擎在处理查询和连接时会 逐个比较字符串中每一个字符，而对于数字型而言只需要比较一次就够了。
2、我们先探讨非高并发量的实现。对于查询频次较高的字段，加上索引。加索引注意事项：对那些字符内容较长的最好不要加索引按照官方文档，单表加的索引不要超过16个，索引的长度不要超过256个字节。
3、．合理使用索引 索引是数据库中重要的数据结构，它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。
4、sql查询表中数据总条：SELECT COUNT(*) FROM 表名称。count（*）代表着数据统计的总数。例子 本例返回 Persons 表中的行数：SELECT COUNT(*) FROM Personsinfo。
bitmap在CDP用户圈包中的应用
，第一步检测提示$Bitmap 有标记已使用的未用簇。2，解决方法：使用cmd命令chkdsk。在开始菜单-运行中输入cmd。3，回车，在命令行中输入“chkdsk /f /x c：”，最后的c：替换为需要检查的盘符。4，回车进行检查。
天记录1000W用户的活跃统计数据，只需要10000000/8/1024/1024 ≈2M。
每天的活跃用户是存储为daily_active_yyyymmdd为key的bitmap中。要 计算每周或每月指标，我们可以简单地计算一周或一个月内所有每天位图的并集，然后计算结果位图的总体数，这将非常轻松地提取更复杂的指标。
通过set(k)接口将其加入集合。请注意，这里使用的Bitmap结构只需128个比特位。因此，最后只需再花费o(128)=o(1)时间遍历一趟所有的比特位，并输出所有通过test()测试的比特位，即可完成字符集的去重。
