#配置

## doris 参考资料

1. http://doris.apache.org/master/zh-CN/
1. https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5
1. http://doc.dorisdb.com/2146003

## doris 硬件配置

http://doc.dorisdb.com/2228586
BE推荐16核64GB以上，FE推荐8核16GB以上。
磁盘可以使用HDD或者SSD。
CPU需要支持AVX2指令集，cat /proc/cpuinfo |grep avx2 确认有输出即可，如果没有支持，建议更换机器，DorisDB的向量化技术需要CPU指令集支持才能发挥更好的效果。
网络需要万兆网卡和万兆交换机。

## kafka connect

1. https://www.confluent.io/hub/confluentinc/kafka-connect-elasticsearch
1. https://www.confluent.io/hub/debezium/debezium-connector-mysql
1. https://github.com/zendesk/maxwell


## cockroachdb cdc

1. cockroachdb to kafka :https://www.cockroachlabs.com/docs/v21.1/stream-data-out-of-cockroachdb-using-changefeeds.html#create-a-core-changefeed

## mysql

mysql配置了主从，创建了数据库example，新建了User表

## kafka

通过 kafkacat 查看实时信息

## kafaka-connect

查看全部插件：http://localhost:8083/connector-plugins
查看运行插件：http://localhost:8083/connectors 查看插件

## mysql 导入 kafka

debezium 默认每个表一个 topic

设置时间格式：
    time.precision.mode

多个表导入一个 topic：
    "transforms":"Reroute",
    "transforms.Reroute.type":"io.debezium.transforms.ByLogicalTableRouter",
    "transforms.Reroute.topic.regex":"(.*)",
    "transforms.Reroute.topic.replacement":"mysql.example"

## elastic 导入 doris：

使用 topics.regex 动态处理多个 topic 到 index

## kibana

查看 elasticsearch 状态: http://localhost:5601

### 进入 mysql 容器内，连接 doris fe：

mysql -h doris-fe -P 9030 -u root

### 设置root密码：

SET PASSWORD FOR 'root' = PASSWORD('aA123456!');

### 添加 doris be：

进入 doris be 容器内，运行 cat /etc/hosts 获取当前的ip，使用该 ip 替换 hostname 或固定容器 的ip
ALTER SYSTEM ADD BACKEND "172.172.0.41:9050";

### 移除 doris be：

ALTER SYSTEM DROPP BACKEND "172.172.0.41:9050";

### 查看be状态：

SHOW PROC '/backends';

### 创建数据库：

CREATE DATABASE example;

### 切换数据库：

USE example;

### 导入数据：

//curl -i -v --location-trusted -u root:aA123456! -H "format: json" -H "strip_outer_array: true" -T example.json http://doris-fe:8030/api/example/mysql_example_User/_stream_load

## doris 創建 Elasticsearch 外部表：

參考：http://doc.dorisdb.com/2146013#6531__85

CREATE EXTERNAL TABLE ES_User01
(
    Id CHAR(36),
    UserName VARCHAR(2048)
)
ENGINE=ELASTICSEARCH
PROPERTIES (
    "hosts" = "http://172.172.0.30:9200",
    "index" = "mysql.example.user",
    "type" = "_doc"
);


## superset 使用

1. 参考地址：https://hub.docker.com/r/apache/superset
2. 连接字符串：mysql://root:aA123456!@192.168.100.144:3306/example?charset=utf8

## 开源 im

tinode\Rocket.Chat