mongo-kafka-connect实战案例

​Kafka Connect可以从数据库或应用程序服务 器收集数据到Kafka topic，使数据可用于低延迟的流处理。导出作业可以将数据从Kafka topic传输到二次存储和 查询系统，或者传递到批处理系统以进行离线分析。

ResultSet占用内存资源特别高

getResultSet（）方法会判断是否是流式查询还是批量查询。MySQL驱动会根据不同的参数设置选择对应的ResultSet实现类，分别对应三种查询方式： RowDataStatic 静态结果集，默认的查询方式，普通查询 RowDataDynamic 动态结果集，流式查询 RowDataCursor 游标结果集，服务器端基于游标查询

Flink实现值累积,每次输出结果

数值随机产生，用flink进行数值累积进行打印,每次输出结果，输出结果日志会很频繁

Flink实现值累积，1s打印一次

数值随机产生，用flink进行数值累积进行打印，间隔1s进行打印

Flink温度连续上涨1s

Flink中输入流中的每一条数据都会触发KeyedProcessFunction类的processElement方法调用 通过这个方法的Context参数可以设置定时器，在开启定时器后会程序会定时调用onTimer方法 由于KeyedProcessFunction实现了RichFunction接口， 因此是可以通过RuntimeContext上下文对象管理状态state的开启和释放 需要注意的是，只有在KeyedStream里才能够访问state和定时器， 通俗点来说就是这个函数要用在keyBy这个函数的后面

什么是Flink富函数(算子生命周期)？

富函数（Rich Functions） 是 DataStream API 提供的一个函数类的接口，所有 Flink 函数类都有其 Rich 版本。它与常规函数的不同在于， 可以获取运行环境的上下文，并拥有一些生命周期方法，所以可以实现更复杂的功能。

flink-connector-mongodb-cdc实战案例

MongoDB CDC 连接器允许从 MongoDB 读取快照数据和增量数据。 本文档描述了如何设置 MongoDB CDC 连接器以针对 MongoDB 运行 SQL 查询。

Windows11下安装Kafka超级详细

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据

什么是mongodb Change Streams?

Change Stream 指数据的变化事件流，MongoDB 从 3.6 版本开始提供订阅数据变更的功能。

Flink数据重分布

将数据发送到下游算子的不同的并行子任务

doris数据更新update

本文主要讲述如果我们需要修改或更新Doris中的数据，如何使用UPDATE命令来操作。数据更新对Doris的版本有限制，只能在Doris Version 0.15.x + 才可以使用。

Doris分区跟分桶有什么区别？

举一些例子：假设在有10台BE，每台BE一块磁盘的情况下。如果一个表总大小为 500MB，则可以考虑4-8个分片。5GB：8-16个分片。50GB：32个分片。500GB：建议分区，每个分区大小在 50GB 左右，每个分区16-32个分片。5TB：建议分区，每个分区大小在 50GB 左右，每个分区16-32个分片。

doris的Rollup 与查询

ROLLUP 在多维分析中是“上卷”的意思，即将数据按某种指定的粒度进行进一步聚合。

ClickHouse的update和delete

update和delete由于操作比较“重”，所以 Mutation语句分两步执行，同步执行的部分其实只是进行新增数据新增分区和把旧分区打上逻辑上的失效标记。直到触发分区合并的时候，才会删除旧数据释放磁盘空间，一般不会开放这样的功能给用户，由管理员完成。

什么是ClickHouse？

ClickHouse支持在表中定义主键。为了使查询能够快速在主键中进行范围查找，数据总是以增量的方式有序的存储在MergeTree中。因此，数据可以持续不断地高效的写入到表中，并且写入的过程中不会存在任何加锁的行为。

java显示调用gc造成系统假死

显示调用System.gc()不会立马执行gc动作，jvm虚拟机会根据自身状态执行。如果系统缓存数据过多，频繁gc会造成系统假死。

列式数据存储解决多个字段同序问题？

列式数据库数据有序存储很重要，例如：高频查询字段、分组字段、join字段等。数据正序存储之后才能避免全量数据扫描，减少扫描数据范围，提高响应速度。

ubuntu安装clickhouse、建表、插入、查询、验证数据存储路径

系统要求 ClickHouse可以在任何具有x86_64，AArch64或PowerPC64LE CPU架构的Linux，FreeBSD或Mac OS X上运行。

mysql The last packet successfully received from the server was xx milliseconds ago

数据库有长连接，由于长时间没有使用，并且空闲时间超过了wait_timeout设置的时间。 数据库到了wait_timeout设定的时间，自动释放了链接。 客户端还有这个长连接，客户端使用这个长连接向mysql数据库发送消息，可是这个链接数据库服务器端已经释放了，所以爆出上面的错误.

​Lock wait timeout exceeded: tryrestarting transaction Query:

在MySQL中，lock_wait_timeout是一个会话、线程级别的参数，它的作用是控制当一个MySQL会话在等待锁时的等待时间。当MySQL会话在等待获取一个锁时，如果等待时间超过该参数设置的时长，则会自动超时并且放弃获取该锁。 该参数对于控制并发访问非常重要，它可以保证系统在高并发情况下的正常运行并避免死锁。