dsMin/dsForOther/思路.txt

组长（Master)N名 ，每个任务按 任务ID%N=第几个组长机进行执行下面的任务。
（1）生成关键帧 （一般速度较快）
（2）切开视频   （一般速度较快）
（3）生成待转码视频任务

组员（处理机）M（名）
（1）


创建topic
/usr/local/kafka/bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --partitions 3 --replication-factor 1 --topic test

删除topic
/usr/local/kafka/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test

修改分区个数
/usr/local/kafka/bin/kafka-topics.sh --alter --zookeeper 127.0.0.1:2181 --topic dsideal_db --partitions 3

发送
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

测试接收
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test --from-beginning

/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test

查看
/usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test

消费者组[这个玩意有用！可以保证只有一个消费者获取到这条数据]
/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092  --topic test --consumer-property group.id=group_mytest



#  有用的文章：
https://blog.csdn.net/u012369535/article/details/93844653


#如果处理机有N台宕机了，如何处理异常？
应该有一个定时检查已发布任务的轮询机制，对于正常执行需要10分钟的任务，现在超过了6*10还没有回写完成标识，需要重新入队列即可解决。


# 关于优先级队列的理解和认识
http://qiankunli.github.io/2019/04/27/kafka_priority.html