阿里云 EMR Serverless StarRocks Skills 正式发布

2026年6月，阿里云EMR团队正式推出了StarRocks Skills，专门为Agent打造的一套技能插件。这套东西让大语言模型不再是光说不练——它能直接连上StarRocks集群，完成SQL开发、慢查询诊断、建表设计、数据导入、实例运维、弹性扩缩容这些端到端操作。目前在阿里云Skills门户上已经发布，完美兼容Qoder、Claude Code、OpenClaw、DataWorks DataAgent以及EMR AI助手。

从第一场“虾”聊日EMR发布Spark Skill、搞定智驾场景的自动化数据标注，到第二场StarRocks Skill登场，阿里云开源大数据平台E-MapReduce明显在往Agentic时代走——让数据基础设施自己能感知、能执行，云原生数据开发的智能化边界正在被重新定义。

一、Agent时代对大数据平台的新要求

过去十年，大数据平台的核心目标其实很纯粹——把数据存下来、算出来、用起来，面向的对象一直是人：分析师、数据工程师、运维同学。但到了AI时代，平台的服务对象正在变成智能体。这些Agent需要自己读数据、调算力、出结果，甚至直接驱动业务决策。

阿里云EMR是基于开源框架的一站式大数据处理服务，可以理解成运行大数据任务的“操作系统”。而Lakehouse的核心是一份数据、多引擎协同——在阿里云上，最佳实践通常是EMR Serverless Spark做数据处理、EMR Serverless StarRocks做极速分析、DLF做统一元数据与权限管理，最终实现湖仓一体。

Agent时代对大数据平台提出了三点硬要求：

• 更低门槛的调用方式：
  Agent不会像人一样登录控制台点配置，它们需要的是从“作业/SQL配置”直接跳到“API/能力调用”。

• 更统一的能力抽象：
  数据处理、查询分析、系统运维，这些能力必须统一对外抽象成“能力调用”，Agent不需要知道底层引擎的差异。

• 更实时的响应能力：
  支持Agent的即时决策和交互——代码不符合预期能立即debug，运维问题能快速闭环。

基于这三条，EMR不再仅仅是个“集群产品”，而是作为统一接口层，对外提供数据处理、实时分析、系统运维三类核心能力，把底层引擎和企业级运维能力做成了“Skill化”的封装。

二、什么是EMR StarRocks Skills？

StarRocks Skills是阿里云EMR团队为Agent量身定做的专业插件。Skill不只是对API的简单封装，更重要的是——它知道怎么引导Agent更聪明地调用这些API。它把内置的StarRocks最佳实践、监控指标语义、多年业务沉淀都喂给了大模型，让模型用更精准的上下文拿到更好的结果。

两者配合，等于把工作流从“我该怎么做”推进到了“已经帮你做完了”。

更进一步，EMR的三大子产品——EMR on ECS集群管理、EMR Serverless Spark、EMR Serverless StarRocks——都已经通过Skills接入了各类Agent，覆盖集群管理、计算作业、分析数据的全场景，目前支持接入EMR AI助手、DataWorks DataAgent、Qoder、Claude Code等多种客户端。

三、裸用大模型 vs. Agent Skills：到底差在哪？

很多人会问：直接问通用大模型不行吗？这确实是值得对比的核心差异——裸模型是“纸上谈兵的军师”，Agent Skills是“能亲自上阵的全栈工程师”。

四、能力地图：开发·诊断·运维，六大场景全覆盖

StarRocks Skills按用户意图拆分，能满足DBA/SRE、数据工程师/分析师、应用开发者等多角色需求，覆盖领域知识、开发管理、性能分析、问题诊断、运维操作、数据分析六大类场景。Skill采用意图识别+渐进披露的设计，让Agent在不同需求下能精准命中最佳能力。

核心优势也很明确：Agent原生集成、一键添加开箱即用；核心场景全覆盖；基于阿里云RAM权限体系的细粒度访问控制；Serverless免运维弹性；以及完善的容错重试机制带来的生产级稳定性。

五、实战场景：两个Skills联合作战

看几个真实场景，assistant和manage怎么在同一次对话里配合完成端到端操作。

场景一：凌晨告警自动诊断与恢复

Agent 思考链：
1. [assistant] SQL: "SELECT query_id, db, digest, latency FROM information_schema.slow_query WHERE start_time > DATE_SUB(NOW(), INTERVAL 10 MINUTE) ORDER BY latency DESC LIMIT 5" → 找到 Top-5 慢 SQL，最慢 query_id = 'abc-123'
2. [assistant] GET PROFILE abc-123 → Profile 分析：EXCHANGE 节点 shuffle 2.8GB， BE#3 spill_to_disk = true，内存不足导致落盘
3. [manage] aliyun emr-serverless-starrocks GetInstance --InstanceId sr-prod-01 → 确认实例状态：CPU 95%，内存 92%，规格 16CU
4. [manage] aliyun emr-serverless-starrocks ModifyInstance --InstanceId sr-prod-01  --ComputeResource 32 → 执行扩容 16CU → 32CU，等待实例 Running
5. [assistant] SQL: "SELECT /*+ SET_VAR(query_timeout=30) */ ..." → 重跑慢 SQL，耗时 380ms，P99 恢复正常

想象一下传统方式：登录控制台看监控→连接集群查系统表→回控制台操作扩容→再回终端验证。来回切换4个界面，至少15分钟。而StarRocks Skills只用5分钟就全自动完成了。

场景二：从零搭建实时数仓

Agent 思考链：
1. [manage] aliyun emr-serverless-starrocks CreateInstance  --InstanceName "promo-realtime"  --ComputeResource 32  --ZoneId cn-hangzhou-h → 创建 32CU 实例，等待就绪，返回连接信息
2. [assistant] SQL: "CREATE TABLE order_realtime ( order_id BIGINT, user_id BIGINT, amount DECIMAL(10,2), region VARCHAR(32), order_time DATETIME ) ENGINE=OLAP DUPLICATE KEY(order_id) PARTITION BY date_trunc('day', order_time) DISTRIBUTED BY HASH(order_id) BUCKETS 8 PROPERTIES('replication_num'='1')" → 根据查询模式设计分区分桶策略
3. [assistant] SQL: "CREATE ROUTINE LOAD promo_load ON order_realtime COLUMNS(order_id, user_id, amount, region, order_time) FROM KAFKA ( 'kafka_broker_list' = 'broker:9092', 'kafka_topic' = 'order_events', 'property.kafka_default_offsets' = 'OFFSET_END' )" → 配置 Kafka 实时消费
4. [assistant] SQL: "SELECT region, SUM(amount), COUNT(*) FROM order_realtime WHERE order_time > '2026-05-20' GROUP BY region" → 验证看板查询 < 500ms ✓
5. [manage] aliyun emr-serverless-starrocks ModifyInstanceConfig  --InstanceId sr-xxx --Key parallel_fragment_exec_instance_num  --Value 8 → 根据 Profile 调参，进一步优化并发性能

场景三：湖仓向量检索端到端

Agent 思考链：
1. [manage] aliyun emr-serverless-starrocks GetInstance --InstanceId sr-prod-01 → 确认实例版本 3.3+，支持向量检索
2. [assistant] SQL: "CREATE EXTERNAL CATALOG paimon_catalog PROPERTIES ( 'type' = 'paimon', 'paimon.catalog-type' = 'dlf', 'dlf.catalog.id' = 'my_dlf_catalog' )" → 创建 DLF Paimon Catalog
3. [assistant] SQL: "DESC paimon_catalog.image_db.image_vectors" → 确认表结构：vector ARRAY(1024), tags JSON, image_url STRING
4. [assistant] SQL: "SELECT image_url, tags, cosine_similarity(vector, [0.12, 0.34, ...]) AS score FROM paimon_catalog.image_db.image_vectors WHERE JSON_QUERY(tags, '$.weather') = '"cloudy"' AND cosine_similarity(vector, [0.12, 0.34, ...]) > 0.7 ORDER BY score DESC LIMIT 20" → 向量相似度 + JSON 标签混合检索
5. [assistant] GET PROFILE {query_id} → Profile 显示向量计算走了暴力扫描，建议开启向量索引
6. [manage] aliyun emr-serverless-starrocks ModifyInstanceConfig  --InstanceId sr-prod-01  --Key enable_vector_index_search --Value true → 开启向量索引加速，查询从 3.2s → 180ms

场景四：MySQL→StarRocks报表迁移

Agent 思考链：
1. [manage] aliyun emr-serverless-starrocks CreateInstance  --InstanceName "report-migration" --ComputeResource 16 → 根据 20 张报表数据量推荐 16CU 规格并创建
2. [assistant] SQL: "CREATE EXTERNAL CATALOG mysql_source PROPERTIES ( 'type' = 'jdbc', 'jdbc_uri' = 'jdbc:mysql://rds-xxx:3306/report_db', 'user' = 'readonly', 'password' = '***' )" → 创建 JDBC Catalog 连接 MySQL
3. [assistant] SQL: "CREATE TABLE orders_report (...) PARTITION BY date_trunc('day', dt) DISTRIBUTED BY HASH(order_id) BUCKETS 4" → 逐表转换 DDL：自动优化分区分桶 + 列存
4. [assistant] SQL: "INSERT INTO orders_report SELECT * FROM mysql_source.report_db.orders_report" → 全量数据迁移（20 张表并行执行）
5. [assistant] SQL: "CREATE ROUTINE LOAD cdc_sync ON orders_report COLUMNS FROM PATH AS (dt) FROM KAFKA ( 'kafka_topic' = 'debezium.report_db.orders_report' )" → 配置 CDC 增量同步
6. [assistant] SQL: "SELECT ... FROM orders_report WHERE ..." vs [assistant] SQL: "SELECT ... FROM mysql_source.report_db.orders_report WHERE ..." → 结果一致性校验 ✓，平均查询提速 23x

六、DataAgent × EMR Skills 对话式智能分析

StarRocks AI Function + StarRocks Skills，构成了对话式智能分析的完整流程——数据不出库，AI分析在SQL内完成；运维操作靠对话触发，零界面切换。

在DataWorks DataAgent上的真实演示中，用户只需要输入一句“帮我创建一个618大促看板，并通过AIFunction进行大促分析”，Agent就会自动完成意图理解与任务编排：

1. 意图识别：
   理解用户自然语言需求；

2. SQL生成：
   调用StarRocks Skills自动匹配/创建合适的实例，生成分区表、物化视图与AIFunction SQL；

3. 引擎执行：
   StarRocks执行AI+向量+全文检索，AIFunction内置调用大模型（Qwen/百炼）完成情感判断、分类、摘要等智能分析；

4. 结果返回：
   结构化结果回传Agent，并自动生成HTML销售看板进行可视化展示。

整个流程大约7-8分钟，就完成了从建表、分区设计、OLAP分析、实时写入到差评实时监控大屏的搭建。借助Skills的业务沉淀，SQL生成准确度大幅提升，基本不需要人工介入修改。

七、快速开始

一键安装

# 安装开发运维助手 assistant
npx skills add aliyun/alibabacloud-aiops-skills --skill alibabacloud-emr-starrocks-assistant --agent qoder

# 安装实例管理 manage
npx skills add aliyun/alibabacloud-aiops-skills --skill alibabacloud-emr-starrocks-manage --agent qoder

也可以直接在阿里云Skills门户网站选择你的Agent客户端进行安装，或使用已预装Skills的DataWorks DataAgent、EMR AI助手等生态产品。

前置条件

最佳实践

1. 描述场景而非指令：
   不要说“帮我建个表”，要说“我有一个电商订单场景，每天2亿行，主要按门店+日期聚合查询”。

2. 给足上下文：
   附上表名、SQL文本、报错信息、期望的性能指标。

3. 善用多轮对话：
   SQL调优是迭代过程——Profile→优化→再看Profile→微调。

4. 两个Skills联动用：
   遇到“诊断出问题→需要改配置/扩容”时，对话中直接完成，无需切换窗口。

5. 先Manage后Assistant：
   新项目先用manage创建集群，再用assistant开始开发。

八、能力展望：从引擎AI化到平台A I Native

EMR AI Native的演进路线沿着“引擎AI化→运维AI化→平台AI Native”推进，目标是让大数据基础设施具备自主感知、推理、行动的能力。近期与中期规划包括：

• EMR AI助手：
  全面对接钉钉/飞书/企微等IM应用，支持自定义巡检范围与告警规则；后续会支持成本与资源优化（智能弹性推荐、闲置资源识别+降配建议）。

• Serverless StarRocks：
  全文检索GA（BM25排序、倒排索引+智能分词）；向量化检索GA（对接DLF Global Index，支持HNSW/IVFPQ/DiskANN等主流算法的ANN近似搜索）；全文+标量+向量混合检索引擎内部统一评分与排序。

• Serverless Spark：
  多模态处理GA（图片/音频/视频统一ETL、内置预训练模型UDF）；多模态算子市场GA（社区/自研算子一键复用、拖拽式Pipeline编排）。

九、常见问题（FAQ）

A： 它是阿里云EMR团队为AI编程助手打造的两个技能插件——starrocks-assistant（SQL开发与调优、诊断）与starrocks-manage（实例管理与运维）。它让AI助手能够直接连接StarRocks集群执行操作，而不只是生成文本建议。

A： 裸用大模型只能生成文本、对你的集群一无所知；Agent Skills能实时读取集群状态、执行SQL、调用API完成扩缩容与配置变更，并基于Profile、系统表、监控指标给出经过实际验证的诊断结论。

A： 已支持阿里云Skills门户、Qoder、Claude Code等，以及DataWorks DataAgent、EMR AI助手等已预装Skills的生态产品。

A： 可以。StarRocks全面向量化+CBO，兼容MySQL协议可平滑迁移，直查数据湖性能相比Trino/Presto有数倍提升，是这些引擎的高性能替代与升级选择。

A： Skills基于阿里云RAM权限体系做细粒度访问控制，操作可审计；manage需AK/SK或SSO登录授权，避免越权行为。