概述

简介

ETL（Extract-Transform-Load）是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。

ETL分为三部分：数据的抽取、数据的清洗转换、和数据的加载。

ETL管理子系统（信贷系统的子系统）是用于将原系统的业务数据进行抽取转换，并最终导入到新系统的迁移工具。

主要功能包括三部分：数迁逻辑配置的批量导入及维护、执行数据迁移及查看迁移日志、检核迁移后的数据及查看检核结果。

特点

1. 数迁逻辑可灵活配置，而且修改后的配置立即生效，无需重启服务或重新部署。（数迁逻辑【数据迁移逻辑、码值转换逻辑和数据检核逻辑】的配置可通过Excel模板批量导入数据（常用于初始化数据）或通过界面维护数据两种方式）
2. 可视化的操作步骤，使数迁工作更加简单明了易于操作。
3. 通过查看日志、检核结果等操作，可实时了解执行过程与结果，从而及时发现问题。
4. 用户权限可控制到按钮级别，使得管理用户权限变得更加灵活。
5. ETL应用程序支持本地和远程两种部署方式（部署方式的选择是根据是否与数据库服务器部署在一起决定的【是：本地、否：远程】）。

系统基本操作

应用界面

ETL管理子系统以页面的方式设计标准化、规范化的用户应用界面，界面设计风格如下图所示：

功能键

功能键用于执行某一特定功能，用户移动光标至某一功能键，点击鼠标左键，系统将触发相应的动作来实现该特定功能，如下图所示：

例如：点击编辑按钮，打开相应的编辑页面。

单选按钮

单选按钮一般用于只能选择一条记录进行某种操作的场合，用户将光标移动至圆圈处，点击鼠标左键，圆圈内出现“●”即表示已选中该条记录，如下图所示：

多选按钮

多选按钮一般用于选择多条记录进行批量操作的场合，用户将光标移动至方框处，点击鼠标左键，方框内出现“√”即表示已选中该条记录（可逐一选中列表中的记录，也可点击列表标题处的方框对列表中的记录全部选中），如下图所示：

下拉菜单

下拉菜单一般用于选择码值中的选项进行查询或保存等操作，用户移动光标至下拉菜单，点击下拉菜单，在下拉菜单中选择所需的选项，如下图所示：

输入域

输入域主要分为单行文本输入域、多行文本输入域和数字输入域等，具体说明如下所示：

1. 单行文本输入域：不能换行，一般用来输入内容较少的单行文字。

1. 多行文本输入域：可以换行，一般用来输入多行文字，输入的文字信息量相对较大，并且还可以调整输入框大小。

1. 数字输入域：只能输入整数

输入域类型

1. 输入域类型分为普通输入域、必输域、校验域和只读域四种，具体说明如下所示：

1. 普通输入域：其信息可输入，也可不输入，而且不会触发任何校验。
2. 必输域：输入域后带有红色“*”号，其信息必须输入，如果不输入会触发校验。
3. 校验域：其信息可输入，也可不输入，如果输入了就会触发校验。
4. 只读域：一般其输入域被灰色遮盖，只能读，不能输入。

※注：输入域可同时是必输域和校验域

1. 校验示例，如下所示：
2. 必输域：

1. 校验域：

1. 检验种类：
2. 必输校验
3. 输入长度校验
4. 输入类型校验（只能输入数字、不能输入特殊字符等）
5. 邮政编码校验
6. 手机号码校验
7. 邮箱地址校验
8. 网址校验
9. 金额校验
10. 身份证号码校验

※注：包括但不限于上述校验，校验种类可扩展。

光标

在页面中按“Tab”键可将光标移动至下一输入域，也可移动鼠标直接使光标移至任何输入域。

提示信息

在页面进行某一特定操作后会显示相关信息（一般分为提示信息、警告信息、异常信息或错误信息等），用来提醒用户注意，如下图所示：

例如点击批量删除按钮，会显示提示信息，提醒用户是否确定要进行批量删除的操作。

维护表

迁移配置表

概述

用于维护新系统目标表字段的映射关系（即SELECT逻辑），映射关系主要分为两部分：

1. 与原系统来源表字段的映射关系
2. 直接映射成常量或【CASE WHEN】等函数

维护迁移配置表

〔用户角色〕

ETL管理员

〔功能名称〕

维护迁移配置表

〔功能描述〕

维护新系统目标表字段与老系统来源表字段的映射关系

〔菜单位置〕

系统菜单→ETL工具→维护表→迁移配置表

模块功能一：展示迁移配置列表（分组列表）

〔查询条件〕

渠道：主要分为CSM【客户】、GRT【押品】、CRD【授信】、

LOAN【申请】、DUE【借据】、CONT【合同】等，支持模糊查询。

新系统表名：支持模糊查询

原系统标识ID：支持模糊查询。

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能二：展示详情列表（组内列配置列表）

在列表页面点击【详情】按钮，打开相应的详情列表页面。

〔查询条件〕

新系统列名：支持模糊查询

原系统表名：支持模糊查询

原系统列名：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能三：新增迁移配置

根据渠道、新系统表名和原系统标识ID进行分组（一组表示一种业务场景数据的迁移逻辑），新增组内列的映射配置。新增共有两种方式，如下所示：

方式一：在列表页面点击【新增】按钮打开新增页面，输入完信息

后点击【保存】按钮。

〔输入项目〕

1. 必输项：
2. 新系统表名：输入新系统表名
3. 新系统列ID：只能输入正整数，从【1】开始递增。
4. 新系统列名：输入新系统列名
5. 渠道：主要分为CSM【客户】、GRT【押品】、CRD【授信】、LOAN【申请】、DUE【借据】、CONT【合同】等，输入英文标识。
6. 原系统标识ID（即执行顺序，数字小的先执行。）：输入数字，不要重复。（如：“145”代表原系统合同模块“正常贷款”业务场景数据的迁移逻辑。）
7. 非必输项：
8. 新系统表名说明：输入新系统表说明（如输入的表名在迁移配置表中已存在，则自动反显该表的说明）
9. 新系统列说明：输入新系统列说明
10. 原系统表名：输入原系统表名（与原系统列名组合使用）
11. 原系统列名：可输入原系统列名，也可直接输入常量或函数。
12. 条件：输入常量或函数的场合，直接输入“PARA”。
13. 备注：输入备注
14. 匹配类型：一般不输入

〔规则校验〕

保存时校验：如输入的【新系统列ID】在所属组内已存在，则不可重复新增。

〔注意事项〕

1. 如在新增页面输入的【渠道、新系统表名和原系统标识ID】已存在，则只在该组内新增列的配置信息。
2. 如在新增页面输入的【渠道、新系统表名和原系统标识ID】不存在，则同时新增组和列的配置信息。

方式二：在列表页面点击【详情】按钮打开详情列表页面，在详情列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项（分组条件）：
2. 新系统表名
3. 渠道
4. 原系统标识ID
5. 必输项：
6. 新系统列ID：只能输入正整数，从【1】开始递增。
7. 新系统列名：输入新系统列名
8. 非必输项：
9. 新系统表名说明：输入新系统表说明（如输入的表名在迁移配置表中已存在，则自动反显该表的说明）
10. 新系统列说明：输入新系统列说明
11. 原系统表名：输入原系统表名（与原系统列名组合使用）
12. 原系统列名：可输入原系统列名，也可直接输入常量或函数。
13. 条件：输入常量或函数的场合，直接输入“PARA”。
14. 备注：输入备注
15. 匹配类型：一般不输入

〔规则校验〕

保存时校验：如输入的新系统列ID在该组内已存在，则不可重复新增。

〔注意事项〕

在详情列表页面打开的新增页面，只是新增该组内列的映射配置。

模块功能四：删除迁移配置

删除共有四种方式，如下所示：

方式一（批量删除组）：在列表中勾选要删除的组，点击【批量删除】按钮进行批量删除。

方式二（直接删除组）：在列表中选择要删除的组，点击【删除】按钮进行删除。

方式三（批量删除组内的列）：在详情列表中勾选要删除的列，点击【批量删除】按钮进行批量删除。

方式四（直接删除组内的列）：在详情列表中选择要删除的列，点击【删除】按钮进行删除。

模块功能五：编辑迁移配置信息

在详情列表中选择要编辑的列，点击【编辑】按钮打开编辑页面，编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 新系统表名：反显
3. 渠道：反显
4. 原系统标识ID：反显
5. 新系统列ID：反显
6. 必输项：
7. 新系统列名：反显，输入新系统列名
8. 非必输项：
9. 新系统表名说明：反显，输入新系统表说明（如输入的表名在迁移配置表中已存在，则自动反显该表的说明）
10. 新系统列说明：反显，输入新系统列说明
11. 原系统表名：反显，输入原系统表名（与原系统列名组合使用）
12. 原系统列名：反显，可输入原系统列名，也可直接输入常量或函数。
13. 条件：反显，输入常量或函数的场合，直接输入“PARA”。
14. 备注：反显，输入备注
15. 匹配类型：反显，一般不输入

取数逻辑表配置表

概述

用于维护新系统目标表的取数逻辑（即FROM WHERE逻辑），与【2.1迁移配置表】中的SELECT逻辑一对一关联，组成完整的SQL语句（即完整的数迁逻辑）。

维护取数逻辑表配置表

〔用户角色〕

ETL管理员

〔功能名称〕

维护取数逻辑配置表

〔功能描述〕

维护新系统目标表各业务场景的取数逻辑

〔菜单位置〕

系统菜单→ETL工具→维护表→取数逻辑表配置表

模块功能一：展示取数逻辑列表

〔查询条件〕

迁入模块：主要分为CSM【客户】、GRT【押品】、CRD【授信】、LOAN【申请】、DUE【借据】、CONT【合同】等，支持模糊查询。

迁入表：支持模糊查询

迁入表顺序：支持模糊查询

执行结果：下拉列表（选项：请选择、未执行、成功和失败）

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔注意事项〕

执行标志：“Y”表示迁移逻辑已被执行过，以外表示未被执行过。

执行结果：“S”表示迁移执行成功，“E”表示迁移执行失败，以外表示未被执行过。

错误信息：显示迁移失败的具体原因（失败的场合才会显示）

模块功能二：新增取数逻辑

在列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保

存】按钮。

〔输入项目〕

1. 必输项：
2. 迁入模块：对应【2.1迁移配置表】的【渠道】
3. 迁入表：对应【2.1迁移配置表】的【新系统表名】
4. 迁入表顺序：对应【2.1迁移配置表】的【原系统标识ID】

※注：选择【2.1迁移配置表】已存在的组

1. 迁入表声明：FROM逻辑
2. 迁入表where条件：WHERE逻辑
3. 表描述：描述该取数逻辑的业务场景
4. 非必输项：
5. 生成方式：只读，默认反显“I”。

〔规则校验〕

保存时校验：如选择的组已关联其他取数逻辑，则不能新增。

〔注意事项〕

1. 为了列表页面取数逻辑列显示的美观、易读，输入【迁入表声明】和【迁入表where条件】时注意格式，如下所示：

1. 在【2.2】中只能选择【2.1】中已存在的SELECT逻辑，如果无可选项需要先在【2.1】中新增。

模块功能三：删除取数逻辑

删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的逻辑，点击【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的逻辑，点击【删除】按钮进行删除。

模块功能四：编辑取数逻辑

在列表中选择要编辑的逻辑，点击【编辑】按钮打开编辑页面，编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 迁入模块：反显
3. 迁入表：反显
4. 迁入表顺序：反显
5. 执行标志：反显
6. 执行结果：反显
7. 错误信息：反显
8. 生成方式：反显
9. 必输项：
10. 迁入表声明：反显，FROM逻辑。
11. 迁入表where条件：反显，WHERE逻辑。
12. 表描述：反显，描述该取数逻辑的业务场景。

〔注意事项〕

1. 为了列表页面显示的美观、易读，输入【迁入表声明】和【迁入表where条件】时注意格式，如下所示：

1. 在【2.2】中只能选择【2.1】中已存在的SELECT逻辑，如果无可选项需要先在【2.1】中新增。

目标表字段码值转换表

概述

用于给新系统目标表字段配置码值转换逻辑，当执行码值转换时，会根据配置的码值转换逻辑把老系统的码值转换成新系统的码值。

维护目标表字段码值转换表

〔用户角色〕

ETL管理员

〔功能名称〕

维护目标表字段码值转换表

〔功能描述〕

给新系统目标表字段配置码值转换逻辑

〔菜单位置〕

系统菜单→ETL工具→维护表→目标表字段码值转换表

模块功能一：展示码值转换字段列表

〔查询条件〕

表名：支持模糊查询

字段：支持模糊查询

rcs码值类型：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能二：新增码值转换字段

在列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保

存】按钮。

〔输入项目〕

1. 必输项：
2. 表名：输入新系统表名
3. 字段：输入需要码值转换的字段名
4. rcs码值类型：选择码值转换逻辑

※注：通过页面选择已存在的码值转换逻辑

1. 非必输项：
2. 转换类型：一般不输入
3. 执行标志：一般不输入

〔规则校验〕

保存时校验：如新系统目标表字段已配置过码值转换逻辑，则不能重复新增。

〔注意事项〕

1. 在【2.3】中只能选择【2.4】中已存在的码值转换逻辑，如果无可选项需要先在【2.4】中新增。
2. 当执行码值转换操作时，只有配置了码值转换逻辑的字段才会转换码值。

模块功能三：删除码值转换字段

删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的字段，点击

【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的字段，点击【删除】按钮进行删除。

模块功能四：编辑码值转换字段

在列表中选择要编辑的字段，点击【编辑】按钮打开编辑页面，

编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 表名：反显
3. 字段：反显
4. 必输项：
5. rcs码值类型：选择码值转换逻辑

※注：通过页面选择已存在的码值转换逻辑

1. 非必输项：
2. 转换类型：一般不输入
3. 执行标志：一般不输入

〔注意事项〕

1. 在【2.3】中只能选择【2.4】中已存在的码值转换逻辑，如果无可选项需要先在【2.4】中新增。
2. 当执行码值转换操作时，只有配置了码值转换逻辑的字段才

会执行码值转换。

新旧码值关系转换表

概述

用于维护新老系统码值映射关系，以新系统码值类型分组，一组代表一个码值转换逻辑（例如：码值类型【XD_COMM_BZCD0007】表示币种的码值转换逻辑）。

维护新旧码值关系转换表

〔用户角色〕

ETL管理员

〔功能名称〕

维护新旧码值关系转换表

〔功能描述〕

用于维护新老系统码值映射关系

〔菜单位置〕

系统菜单→ETL工具→维护表→新旧码值关系转换表

模块功能一：展示码值映射关系列表

〔查询条件〕

rcs字段值域类型：新系统码值类型，支持模糊查询。

rcs字段值：新系统码值，支持模糊查询。

rcs字段值描述：新系统码值描述，支持模糊查询。

源系统字段值：老系统码值，支持模糊查询。

源系统字段值描述：老系统码值描述，支持模糊查询。

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能二：新增码值映射关系

在列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保

存】按钮。

〔输入项目〕

1. 必输项：
2. rcs字段值域类型：输入新系统码值类型
3. rcs字段值：输入新系统码值
4. 源系统字段值：输入老系统码值
5. 非必输项：
6. rcs字段值描述：输入新系统码值描述
7. 源系统字段值描述：输入老系统码值描述
8. 来源系统：一般不输入

〔规则校验〕

保存时校验：如输入的码值映射关系（rcs字段值域类型、rcs字段值、源系统字段值）已存在，则不能重复新增。

〔注意事项〕

支持多对一的映射关系（老系统多个码值对应新系统同一个码值）

模块功能三：删除码值映射关系

删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的映射关系，点击

【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的映射关系，点击【删除】按钮进行删除。

模块功能四：编辑码值映射关系

在列表中选择要编辑的映射关系，点击【编辑】按钮打开编辑页面，

编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. rcs字段值域类型：反显
3. rcs字段值：反显
4. 必输项：
5. 源系统字段值：输入老系统码值
6. 非必输项：
7. rcs字段值描述：输入新系统码值描述
8. 源系统字段值描述：输入老系统码值描述
9. 来源系统：一般不输入

〔规则校验〕

保存时校验：如修改后的码值映射关系（rcs字段值域类型、rcs字段值、源系统字段值）已存在，则不能更新。

数据检核表配置

概述

用于给新系统目标表字段配置检核逻辑，当执行数据检核时，会根据已配置的检核逻辑，检核迁移后的业务数据。

维护数据检核表配置

〔用户角色〕

ETL管理员

〔功能名称〕

维护数据检核表配置

〔功能描述〕

给新系统目标表字段配置检核逻辑

〔菜单位置〕

系统菜单→ETL工具→维护表→数据检核表配置

〔操作步骤〕

1. 在列表页面点击【新增】按钮，新增需要检核的表。
2. 在列表页面勾选【1.】中新增的表，点击【生成列信息】按钮，自动生成表的所有字段。
3. 在列表页面选择【1.】中新增的表，点击【详情】按钮，展示【2.】中自动生成字段的详情列表页面。
4. 在详情列表页面选择需要检核的字段，点击【编辑】按钮，打开编辑页面。
5. 在编辑页面按需配置该字段的检核逻辑，配置完成后，点击【保存】按钮完成检核配置。

※检核逻辑主要包括：逻辑主键验证、非空检查、数值检查、日期

是否合法、合计检查、关联关系及字典检查。

模块功能一：展示检核表列表

〔查询条件〕

迁入表：支持模糊查询

迁入模块：下拉菜单（选项：请选择、NEW和OLD）

迁入表顺序：支持模糊查询

执行结果：下拉列表（选项：请选择、未执行、成功和失败）

表描述：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能二：新增检核表

在列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保

存】按钮。

〔输入项目〕

1. 必输项：
2. 迁入表：输入表名（输入的表名要大写）
3. 迁入模块：根据【1.】中输入的表，选择表所属系统（“NEW”表示新系统、“OLD”表示老系统）。
4. 迁入表顺序：输入正整数，不要重复，数字小的先执行。
5. 迁入表where条件：反显“1=1”，不可修改。
6. 表描述：输入迁入表描述信息

〔规则校验〕

保存时校验：如输入的迁移表信息（迁入表、迁入模块、迁入表顺序）已存在，则不能重复新增。

模块功能三：编辑检核表

在列表中选择要编辑的表，点击【编辑】按钮打开编辑页面，

编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 迁入表：反显
3. 迁入模块：反显
4. 迁入表顺序：反显
5. 迁入表where条件：反显
6. 必输项：
7. 表描述：输入迁入表描述信息

模块功能四：生成检核表字段

在列表中勾线要生成字段的表，点击【生成列表信息】按钮，重新生成该表的字段信息。

〔注意事项〕

1. 如检核表已有字段信息，则删除掉之前的字段信息后重新生成。
2. 勾选多个检核表，可批量生成。

模块功能五：删除检核表

删除检核表的同时也会删除字段信息，删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的表，点击

【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的表，点击【删除】按钮进行删除。

模块功能六：展示检核表的字段列表

在列表页面点击【详情】按钮，展示该表的字段详情列表页面

〔查询条件〕

列名：支持模糊查询

逻辑主键检验：下拉菜单（选项：请选择、验证）

非空检查：下拉菜单（选项：请选择、验证）

数值检查：下拉列表（选项：请选择、验证）

日期是否合法：下拉列表（选项：请选择、验证）

合计检查：下拉列表（选项：请选择、验证）

关联关系表：支持模糊查询

关联关系表列：支持模糊查询

字典检查：下拉列表（选项：请选择、验证）

码值：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔注意事项〕

执行标志：“Y”表示检核已执行，以外表示未执行。

执行结果：“S”表示检核执行成功，“E”表示检核执行失败，以外表示未执行。

错误信息：显示执行失败的具体原因（失败的场合才会显示）

模块功能七：新增检核字段

在详情列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保存】按钮。

〔输入项目〕

1. 必输项：
2. 列ID：输入正整数，从【1】开始递增。
3. 列名：输入列名（输入的列名要大写）
4. 列描述：输入列的描述信息。
5. 非必输项：
6. 逻辑主键验证：下拉列表（需要的场合选择【验证】选项）
7. 非空检查：下拉列表（需要的场合选择【验证】选项）
8. 数值检查：下拉列表（需要的场合选择【验证】选项）
9. 日期是否合法：下拉列表（需要的场合选择【验证】选项）
10. 合计检查：下拉列表（需要的场合选择【验证】选项）
11. 关联关系表：输入关联关系表
12. 关联关系表：输入关联关系表列

※注：关联关系表与关联关系表组成关联关系检查

1. 字典检查：下拉列表（需要的场合选择【验证】选项）
2. 码值：选择【2.4新旧码值关系转换表】已存在的码值类型（要与【2.3目标表字段码值转换表】使用同样的码值，如【2.3】只用的【XD_COMM_BZCD0007】转码，【2.4】也要使用同样的码值进行检核）

※注：字典检查与码值组成字典检查

1. 执行结果：反显，不可输入。
2. 执行标志：反显，不可输入。
3. 错误信息：反显，不可输入。

〔规则校验〕

保存时校验：如输入的列ID或列名在该表已存在，则不能重复新增。

模块功能八：编辑检核字段

在详情列表中选择要编辑的字段，点击【编辑】按钮打开编辑页面，

编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 列ID：反显
3. 列名：反显
4. 执行结果：反显
5. 执行标志：反显
6. 错误信息：反显
7. 必输项：
8. 列描述：输入列的描述信息。
9. 非必输项：
10. 逻辑主键验证：下拉列表（需要的场合选择【验证】选项）
11. 非空检查：下拉列表（需要的场合选择【验证】选项）
12. 数值检查：下拉列表（需要的场合选择【验证】选项）
13. 日期是否合法：下拉列表（需要的场合选择【验证】选项）
14. 合计检查：下拉列表（需要的场合选择【验证】选项）
15. 关联关系表：输入关联关系表
16. 关联关系表：输入关联关系表列

※注：关联关系表与关联关系表组成关联关系检查

1. 字典检查：下拉列表（需要的场合选择【验证】选项）
2. 码值：选择【2.4新旧码值关系转换表】已存在的码值类型（要与【2.3目标表字段码值转换表】使用同样的码值，如【2.3】只用的【XD_COMM_BZCD0007】转码，【2.4】也要使用同样的码值进行检核）

※注：字典检查与码值组成字典检查

模块功能九：删除检核字段

删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的字段，点击

【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的字段表，点击【删除】按钮进行删除。

批量导入

概述

【2.表维护】是通过页面维护配置信息，只适用于少量更改配置的情况，大量配置信息（例如：初始化配置数据）则需要通过【3.批量导入】功能导入到配置表中。

批量导入

〔用户角色〕

ETL管理员

〔功能名称〕

批量导入

〔功能描述〕

通过Excel模板把配置信息批量导入到配置表中

〔菜单位置〕

系统菜单→ETL工具→批量导入

〔操作步骤〕

1. 在批量导入页面选择配置表Excel模板下载到本地
2. 在本地根据Excel模板示例，填写配置信息。
3. 在批量导入页面选择填写好的Excel模板，之后批量导入到相应的配置表中

模块功能一：展示批量导入页面

模块功能二：下载Excel模板

在批量导入页面选择需要下载的配置表后，点击【下载模板】按钮下载相应的Excel模板到本地，如下图所示：

〔注意事项〕

1. 选择配置表（下拉菜单）选项说明：
2. YH_MIG_MAPPING：迁移配置表
3. MIG_TAB_IDX：取数逻辑表配置表
4. MIG_COL_CHG_IDX：目标表字段码值转换表
5. MIG_CHG_CDE：新旧码值关系转换表
6. CHK_TAB_IDX：数据检核表配置【检核表】
7. CHK_COL_MAPPING：数据检核表配置【检核字段】
8. 在下载模板之前需要先在选择配置表（下拉菜单）中选择具体要下载哪个配置表的Excel模板。

〔规则校验〕

如没有先选择配置表，点击【下载模板】按钮会有提示信息。

模块功能三：导入Excel模板

在批量导入页面选择需要上传的配置表后，点击【选择文件】按钮选择【3.2.1.2】中下载的Excel模板，点击【批量导入】按钮把Excel模板中的配置信息批量导入到选择的配置表中，如下图所示：

〔注意事项〕

1. 在上传模板之前需要选择具体要上传哪个配置表的Excel模板，选择配置表选择的选项要和选择上传的Excel模板匹配上。
2. 批量导入原则：有则更新，无则新增。

〔规则校验〕

1. 如没有先选择配置表或上传Excel模板，点击【批量导入】按钮会有提示信息。
2. Excel模板配置信息校验类型：
3. 导入模板错误：下拉菜单【选择配置表】选择的模板名称与导入的Excel模板中表名匹配不上时，则页面会提示错误信息。
4. 模板无数据错误：如导入的Excel模板中无配置信息，则页面会提示错误信息。
5. 必输项校验：如有必输项未输入值，则页面会提示错误信息。
6. 重复数据校验：如有主键重复的数据，则页面会提示错误信息。
7. 规定值校验：如未输入规定值（例如：页面选择下拉菜单选项，在Excel模板中输入下拉菜单中的选项），则页面会提示错误信息。

执行操作

迁移数据

概述

根据【2.维护表】或【3.批量导入】中配置的数据迁移逻辑和码值转换逻辑，执行数据迁移及码值转换等操作。

迁移数据

〔用户角色〕

ETL管理员

〔功能名称〕

迁移数据

〔功能描述〕

通过配置表中配置好的逻辑执行数据迁移及码值转换等操作

〔菜单位置〕

系统菜单→ETL工具→执行操作→迁移数据

〔操作步骤〕

1. 卸数→2.装数→3.重置→4.执行迁移→5.码值转换

〔按钮功能及重要说明〕

1. 卸数：拉取老系统数据生成txt文件
2. 装数：解析生成的txt文件并将数据插入新系统数据库
3. 重置：清空【4.】步骤生成的相关数据（分为全部重置和按渠道重置，不重置会导致无法重新执行迁移操作。）
4. 迁移：按照列表中的顺序执行迁移操作（如需重新迁移指定渠道，可点击列表后的重置按钮，按渠道重置后执行迁移操作。）
5. 码值转换：列表中的渠道需全部完成迁移操作后进行码值转换（一次性转换，并且不能重复执行，所有渠道需要全部重新执行一遍）。

〔按钮功能及注意事项〕

1. 【调整执行顺序】是维护列表中各渠道的执行顺序，
2. 卸数完成后可点击【下载卸数txt文件】下载生成的txt文件（需要开通权限）
3. 卸数或装数完成后可点击【下载log文件】下载生成的log文件（需要开通权限）

模块功能一：展示迁移列表

〔查询条件〕

渠道：主要分为CSM【客户】、GRT【押品】、CRD【授信】、

LOAN【申请】、DUE【借据】、CONT【合同】等，支持模糊查询。

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔注意事项〕

迁移列表中只显示【迁移配置表】中有的渠道，例如目前只有【CONT】合同渠道（调整执行顺序列表中也要同时配置渠道的执行顺序，如不配置迁移列表中也不会显示数据）。

模块功能二：展示调整执行顺序列表

在迁移列表页面，点击【调整执行顺序】按钮打开调整执行顺序列表页面。

〔查询条件〕

模块名称：主要分为CSM【客户】、GRT【押品】、CRD【授信】、

LOAN【申请】、DUE【借据】、CONT【合同】等，支持模糊查询。

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

模块功能三：新增执行顺序

在列表页面点击【新增】按钮打开新增页面，输入完信息后点击【保

存】按钮。

〔输入项目〕

1. 必输项：
2. 模块名称：输入模块名称，主要分为CSM【客户】、GRT【押品】、CRD【授信】、LOAN【申请】、DUE【借据】、CONT【合同】等。
3. 模块描述：输入模块的描述信息
4. 模块顺序：反显递增

〔规则校验〕

保存时校验：如输入的模块名称已存在，则不能重复新增。

模块功能三：删除执行顺序

删除共有两种方式，如下所示：

方式一（批量删除）：在列表中勾选要删除的执行顺序，点击

【批量删除】按钮进行批量删除

方式二（直接删除）：在列表中选择要删除的执行顺序，点击【删除】按钮进行删除。

模块功能四：编辑执行顺序

在列表中选择要编辑的执行顺序，点击【编辑】按钮打开编辑页面，

编辑完信息后点击【保存】按钮。

〔输入项目〕

1. 只读项：
2. 模块名称：反显
3. 必输项：
4. 模块描述：输入模块的描述信息
5. 模块顺序：输入模块的执行顺序

检核

检核列表

概述

根据【2.维护表】或【3.批量导入】中配置的检核逻辑，执行检核操作。

检核数据

〔用户角色〕

ETL管理员

〔功能名称〕

执行检核

〔功能描述〕

通过配置表中配置的逻辑，检核迁移后的业务数据。

〔菜单位置〕

系统菜单→ETL工具→执行操作→检核→检核列表

模块功能一：展示检核列表

〔检核功能〕

1. 检查目标表关联关系
2. 对应的检核配置信息如下所示：

1. 用于检核主表与子表关联关系是否正确
2. 唯一性检查
3. 对应的检核配置信息如下所示：

1. 用于检核字段唯一性（常用于主键检核）
2. 迁移字段空值检查
3. 对应的检核配置信息如下所示：

1. 用于检核字段非空
2. 迁移后字段字典项检查
3. 对应的检核配置信息如下所示：

1. 用于检核新老系统码值转换是否正确

〔重要说明〕

1. 点击【检核】按钮执行相应的检核操作，如下图所示：

1. 包括但不限于上述检核种类，检核种类可扩展。

检核结果

概述

查看检核结果

检核结果

〔用户角色〕

ETL管理员

〔功能名称〕

参看检核结果

〔功能描述〕

参看检核结果

〔菜单位置〕

系统菜单→ETL工具→执行操作→检核→检核结果

模块功能一：展示检核结果列表

〔查询条件〕

表名：支持模糊查询

列名：支持模糊查询

渠道：下拉菜单（选项：请选择、NEW和OLD）

原系统表结构多对一关系：支持模糊查询。

检核标志：支持模糊查询

检核记录数：只能输入正整数（输入0则查询【=0】的记录、输入大于0（例如1）查询【>=1】的记录）

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔注意事项〕

1. 渠道：【NEW：新系统】、【OLD：老系统】
2. 检核标志：【IN：检查目标表关联关系】、【KEY：唯一性检查】、【NULL：迁移字段空值检查】、【DIC：迁移后字段字典项检查】
3. 检核记录数：【等于0：检核通过】、【大于0：未通过的记录数】（具体原因查看检核日志）

模块功能二：导出检核结果

在列表页面点击【导出EXCEL】按钮，导出检核结果，如下图所示：

〔注意事项〕

导出的是查询后的检核结果，不是全部检核结果。

模块功能三：批量删除检核结果

在列表页面点击【批量删除】按钮，批量删除检核结果，如下图所示：

〔注意事项〕

批量删除的是查询后的检核结果，不是全部检核结果。

日志

迁移日志

概述

用于查看数据迁移日志和码值转换日志

迁移日志

〔用户角色〕

ETL管理员

〔功能名称〕

查看日志

〔功能描述〕

用于查看数据迁移日志和码值转换日志

〔菜单位置〕

系统菜单→ETL工具→执行操作→日志→迁移日志

模块功能一：展示迁移日志列表

1. 数据迁移日志列表：

1. 码值转换日志列表：

〔查询条件〕

表名：支持模糊查询

操作类型：支持模糊查询

原系统表结构多对一关系：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔列说明〕

1. 操作类型：日志类型（例如：INS代表数据迁移操作日志、UPD代表码值转换移操日志）
2. 执行SQL：数据迁移逻辑或码值转换逻辑
3. 起始时间：操作开始时间
4. 截止时间：操作完成时间
5. 执行时间：操作从开始到完成经过的时间
6. 执行结果：S代表执行成功、E代表执行失败

〔注意事项〕

执行完操作后及时查看日志信息，以免执行其他操作时，日志信息被删除。

模块功能二：清空日志

在列表页面点击【清空日志】按钮，清空日志，如下所示：

〔注意事项〕

此操作是清空所有日志，而不是清空查询结果。

检核日志

概述

用于查看检核日志

检核日志

〔用户角色〕

ETL管理员

〔功能名称〕

查看日志

〔功能描述〕

用于查看检核日志

〔菜单位置〕

系统菜单→ETL工具→执行操作→日志→检核日志

模块功能一：展示检核日志列表

〔查询条件〕

表名：支持模糊查询

列名：支持模糊查询

操作类型：支持模糊查询

原系统表结构多对一关系：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔列说明〕

1. 操作类型：日志类型（【IN：检查目标表关联关系日志】、【KEY：唯一性检查日志】、【NULL：迁移字段空值检查日志】、【DIC：迁移后字段字典项检查日志】
2. 执行SQL：检核结果INSERT SQL语句
3. 起始时间：操作开始时间
4. 截止时间：操作完成时间
5. 执行时间：操作从开始到完成经过的时间
6. 执行结果：S代表执行成功、E代表执行失败
7. 检核SQL：检核逻辑SQL语句

〔注意事项〕

执行完操作后及时查看日志信息，以免执行其他操作时，日志信息被删除。

模块功能二：清空日志

在列表页面点击【清空日志】按钮，清空日志，如下所示：

〔注意事项〕

此操作是清空所有日志，而不是清空查询结果。

全部日志

概述

用于查看全部日志执行结果信息（包括数据迁移日志、码值转换日志及检核日志）

全部日志

〔用户角色〕

ETL管理员

〔功能名称〕

查看日志

〔功能描述〕

用于查看全部日志执行结果信息

〔菜单位置〕

系统菜单→ETL工具→执行操作→日志→全部日志

模块功能一：展示全部日志列表

1. 数据迁移日志列表：

1. 码值转换日志列表：

1. 检核日志列表

〔查询条件〕

操作类型：支持模糊查询

〔查询按钮〕

：根据输入的查询条件，查询符合的数据，并在列表中展示。

：清空所有查询条件

〔列说明〕

1. 操作类型：

·数据迁移：显示渠道（CSM、GRT、CRD、LOAN、DUE、CONT等）

·码值转换：显示【转码】

·数据检核：显示系统类型（NEW、OLD）

1. 起始时间：操作开始时间
2. 截止时间：操作完成时间
3. 执行时间：操作从开始到完成经过的时间
4. 执行结果：S代表执行成功、E代表执行失败

〔注意事项〕

执行完操作后及时查看日志信息，以免执行其他操作时，日志信息被删除。

模块功能二：清空日志

在列表页面点击【清空日志】按钮，清空日志，如下所示：

〔注意事项〕

此操作是清空所有日志，而不是清空查询结果。

分页操作

概述

列表页面分页操作功能介绍

分页操作功能介绍

〔功能名称〕

分页操作

〔功能描述〕

根据具体的分页操作，在列表中展示相应的记录信息

〔功能按钮〕

具体分页功能如下所示：

1. ：记录总数
2. ：跳转到指定页
3. ：回到第一页
4. ：回到上一页
5. ：页码列（标蓝的是当前页，点击页码可跳转到相应页）
6. ：跳转到下一页
7. ：跳转到最后一页
8. ：页码总数
9. ：列表显示记录数（选项：10、20、30、40、50、60、70、80、90、99）