Excel映射为SQL规范

文章目录复杂场景加工模板开发规范一、运行参数sheet页1. 行号*2. 跑批日期*3. 批次号*4. 数据对象名*5. 流程标识*6. 目标schemakey*7. 源表标识*8. 租户ID*二、模板参数sheet页1. 清理脚本三、表映射sheet页1. 映射组编号*2. 目标表名3. 目标表类型4. 源schema名称*5. 源表名*6. 源表别名*7. 关联类型**8. 关联条件*9. 聚合条件SQL10. 带分区过滤的子查询11. distinct查询标识12. 目标表中文描述13. union组标识14. 批量结束是否清除临时表15. UnionAll标识四、字段映射sheet页1. 映射组编号*2. 目标字段名*3. 目标字段中文描述4. 源字段信息5. 映射规则*6. 目标字段码值描述7. 源字段中文描述复杂场景加工模板开发规范一、运行参数sheet页该sheet页用于配置数据加工任务的核心运行参数所有带*字段为必填项需严格遵循格式要求。1. 行号*命名规范[ORGCODE]规范校验规则 直接校验填写的是否为[ORGCODE]示例[ORGCODE]2. 跑批日期*命名规范[DATE]规范校验规则直接校验填写的是否为[DATE]示例[DATE]3. 批次号*命名规范[BATCHUM]规范校验规则直接校验填写的是否为[BATCHUM]示例[BATCHUM]4. 数据对象名*命名规范遵循模式名.目标表名格式。规范校验规则模式名.目标表名中间是否含有’‘.’’示例A_CHNL.A_CHNL_CR_TRN_DAY_SUMZGA:汇总层CHNL渠道业务主题CR:信用卡,DAY_SUMZG:日汇总5. 流程标识*命名规范采用005:模式名.目标表名:序号格式。规范校验规则是否符合005模式名.目标表名:序号格式多个流程标识必须用逗号隔开合理性校验规则模式名.目标表名是否与数据对象名一致示例005:A_CHNL.A_CHNL_CR_TRN_DAY_SUMZG:0016. 目标schemakey*命名规范模式名规范校验规则校验规则模式名是否与数据对象的模式名一致示例A_CHNL7. 源表标识*命名规范多源表用英文逗号分隔单源表为模式名.源表名。规范校验规则是否符合Schema名称.源表名格式,根据,分隔每张源表校验规则示例DEVDLHPC.F_CRD_CR_JRNL_INFRM8. 租户ID*命名规范纯数字格式规范校验规则示例1二、模板参数sheet页该sheet页用于配置数据加工的预处理脚本当前核心字段为“清理脚本”。1. 清理脚本命名规范ALTER TABLE Schema名称.表名 DROP IF EXISTS PARTITION (PART_DT[DATE])规范校验规则程序前处理使用示例ALTER TABLE Schema名称.表名 DROP IF EXISTS PARTITION (PART_DT[DATE])ALTER TABLE、DELETE FROM、TRUNCATE TABLE 开头以“;”分号结尾合理性校验规则取中间表名跟运行参数sheet页的数据对象表名进行校验三、表映射sheet页该sheet页用于定义源表与目标表的映射关系及关联逻辑带*字段为必填项。1. 映射组编号*命名规范MAPPING_目标表名_序号规范校验规则校验开头是否带MAPPING校验MAPPING后面是否带“_”数字前面是否带_下划线校验最后一个’_后面是否为数字校验只能有一个数字不允许_01_01合理性校验规则取中间的表名跟运行参数sheet页的数据对象表名进行校验示例MAPPING_TMP_F_AGR_LON_IOU_INFO_012. 目标表名命名规范临时表TMP_表名正式表表名合理性校验规则目标表类型为01不能带TMP目标表类型为02必须带TMP目标表名的表名必须与映射组编号的目标表名一致关联要求需与运行参数sheet页的目标表标识完全一致。3. 目标表类型命名规范1:正式表或2:临时表规范验规则检查是否有·检查冒号前面是否为数字‘1’或者‘2’检查数字‘1’‘2’是否匹配对应的正式表或者临时表合理性校验规则目标表名带TMP目标表类型为02临时表 目标表名不带TMP目标表类型为01正式表示例02:临时表4. 源schema名称*命名规范模式名合理性校验规则源schema名称与源表名拼接后必须与运行参数sheet页的源表标识匹配上示例MCSDS5. 源表名*命名规范表名或TMP_表名合理性校验规则源schema名称与源表名拼接后必须与运行参数sheet页的源表标识匹配上TMP_表名必须在目标表名那一列匹配上示例S_CMIS_BUSINESS_DUEBILL_ALL6. 源表别名*命名规范规范验规则单表不允许重复的别名为后续解析准备合理性校验规则示例BILL、CON7. 关联类型*命名规范序号连接方式00:main table主表仅一个01: inner join02: left join03: right join04: outer join05: full join合理性校验规则检索映射组编号那一列的编号编号一致的有且只有一个main table类型(带有union排除)示例00:main table8. 关联条件命名规范源表别名.字段名 源表别名.字段名多条件用AND连接。不允许写过滤条件规范校验规则除了11这类写法外其他 字段关联要判断每个号前后字段都有一个’.’有多个’判断中间是否有AND连接合理性校验规则源表别名是否与源表别名那一列匹配得上对应的带分区过滤子查询是否有对应字段示例BILL.RELATIVESERIALNO2 CON.SERIALNO9. 聚合条件SQL命名规范GROUP BY 别名,字段规范校验规则不为空时是否有GROUP BY.前后是否有别名字段多个‘.’的字符串后面是否有’,隔开合理性校验规则只有mian table能使用group by检查字段映射sheet页映射取对应映射组编号的映射规则内容检查是否有聚合函数没有聚合函数无限制若有则检查哪些没有被聚合函数包裹必须加入到group by 里面10. 带分区过滤的子查询命名规范(SELECT 字段字段 FROM 模式名.表名 WHERE ETL_DATE ${跑批日期})。规范校验规则必须 select开头,结尾除去最后一个字段其他的字段后面都要有‘’select 后面的第一个字段不允许有,必须包含from不允许关联left join 、inner join、right join、outer join 、full join括号是否成对出现提示性规则是否有【DATE】参数需要确认表是否限制日期进行过滤合理性校验规则当源表名是TMP开头不允许填写子查询sql该单元格设置为空性能要求过滤条件需精准确保查询效率11. distinct查询标识命名规范Y需要去重或空值不填写时默认按N处理。规范校验规则判断是否为空值不为空值是否等于Y12. 目标表中文描述13. union组标识命名规范startunionmid:union,end:union或空值规范校验规则是否为空值不为空值是否等于start:unionmid:union,end:union其中的一个合理性校验规则必须处于同一个映射组编号-必须含有startunion开头和ENDunion结尾如果映射组编号大于三个则中间都使用MIDunion示例14. 批量结束是否清除临时表15. UnionAll标识命名规范Y使用UNION ALL不去重、N使用UNION去重不填写时默认按N处理。。规范校验规则判断是否为空值不为空值是否等于Y四、字段映射sheet页该sheet页用于定义源字段到目标字段的具体映射规则是数据转换的核心配置带*字段为必填项。1. 映射组编号*命名规范MAPPING_目标表名_序号规范校验规则校验是否带mapping校验MAPPING后面是否带“_”数字前面是否带校验最后一个’_后面是否为数字校验只能有一个数字不允许_01_01合理性校验规则取中间的表名跟映射组编号进行校验示例MAPPING_TMP_F_AGR_LON_IOU_INFO_012. 目标字段名*命名规范规范校验规则不为空校验规则示例LN_RCPT_NO、CUST_NO3. 目标字段中文描述规范校验规则不为空4. 源字段信息命名规范模式名.源表名.源字段名多个模式名.源表名.源字段名|模式名.源表名.源字段名规范校验规则:判断是否带‘|’隔开判断每个字段信息是否含有两个”.“最后结尾不允许有|“.”必须为双数合理性校验规则需在运行参数sheet页的源表标识中存在确保字段有效性。示例MCSDS.S_CMIS_BUSINESS_DUEBILL_ALL.LN_ACCT_NO5. 映射规则*命名规范表别名.字段、聚合函数表别名.字段、默认值命名规范规则不允许为空判断有 、-、*、/ 数值运算每个字段必须要判断nvl如果是/除号 需要case when 判断分母是否为0填写内容除了赋值’’ ,其他字段空格前都要有别名.形式括号是否成对出现合理性校验规则在对应mapping下能在找到对应字段语法要求SQL表达式需语法正确数据类型兼容。6. 目标字段码值描述7. 源字段中文描述规范校验规则不为空字段映射Sheet表映射Sheet模板参数Sheet运行参数Sheet数据对象名流程标识目标schemakey源表标识目标表标识清理脚本映射组编号目标表名源schema源表名源表别名关联条件聚合sql关联类型子查询union组标识映射组编号目标字段源字段映射规则目标字段描述源字段描述是否字段映射sheet页取映射规则里的表别名和字段使用表别名匹配表映射sheet页的源表名源表别名和子查询里面的字段源表名是否带TMP使用源表名匹配表映射的字段目标表名取mapping取字段映射找到对应的mapping使用字段映射sheet页映射规则里的字段匹配mapping对应的目标字段名匹配字段输出表映射的源schema名称源表名和字段拼接的字段校验字段映射sheet页源字段