Skip to main content
版本：1.12.0

TubeMQ

概述​

Apache InLong TubeMQ 是一个分布式、开源的 pub-sub 消息传递和流平台, 适合于万亿规模数据。

版本​

抽取节点版本
TubeMQTubeMQ: >=0.1.0

依赖项​

为了设置 TubeMQ Extract 节点，下面提供了使用构建自动化工具（例如 Maven 或 SBT）和带有 Sort Connectors JAR 包的 SQL 客户端的两个项目的依赖关系信息。

Maven 依赖​

<dependency>
    <groupId>org.apache.inlong</groupId>
    <artifactId>sort-connector-tubemq</artifactId>
    <version>1.11.0-SNAPSHOT</version>
</dependency>

如何创建TubeMQ抽取节点​

SQL API 的使用​

使用 Flink SQL Cli :

-- Create a TubeMQ table 'tube_extract_node' in Flink SQL Cli
Flink SQL> CREATE TABLE tube_extract_node (
     id INT,
     name STRING,
     age INT,
     salary FLOAT 
     ) WITH (
     'connector' = 'tubemq',
     'topic' = 'topicName',
     'master.rpc' = 'rpcUrl', -- 127.0.0.1:8715
     'format' = 'json',
     'group.name' = 'groupName');
  
-- Read data from tube_extract_node
Flink SQL> SELECT * FROM tube_extract_node;

InLong Dashboard 方式​

TODO

InLong Manager Client 方式​

TODO

TubeMQ 抽取节点参数信息​

参数是否必须默认值数据类型描述
connectorrequiredtubemqString设置连接器类型 tubemq
topicrequired(none)String设置抽取的topic
masterRpcrequired(none)String设置TubeMQ master service 地址
formatrequired(none)StringTubeMQ 数据类型, 支持 JSON, Avro, etc. For more information, see the Flink format.
groupIdrequired(none)StringTubeMQ 消费组