|
在FineReport或者FineBI数据分析中，经常会遇到：需要从众多业务系统中获取到原始数据，对数据进行解析、处理，直到获取到标准的、干净的、有效的高质量数据，提供给后续的数据统计分析使用，帮助企业进行数据决策。 但实际往往是，我们拿到的数据有着大量的数据缺失、重复等数据质量问题，或者因为人工录入操作带来的异常数据，非常不利于后续数据分析。 FineDataLink数据集成平台（简写：FDL）是帆软面向IT人员推出的企业级一站式数据集成平台产品，拥有实时同步和离线计算两大引擎，具备实时数据同步、ETL和ELT定时数据计算等核心能力。 相比起其他数据集成工具，FDL具有更简易的上手操作、更强大的数据开发、更高效的系统运维、更灵活的团队协作等优势，能满足企业多种场景下的数据预处理需求。 （文末可获取免费体验名额，提供1V1技术服务，最高可免费试用6个月） 一、FineDataLink：易懂、易上手大多数人在最初接触到一个新工具时，会因为复杂的操作界面、繁琐的操作文档而止步。 而FineDataLink提供全程可视化、拖拉拽的全新操作界面，从任务管理页面、到每一个ETL任务的节点，都致力于做到简单易懂、直接上手可用，提供一个高效数据处理的平台给到数据分析处理人员使用。 在数据开发过程中，每一步清晰记录，数据结果可直接预览；每一步操作都可以进行修改、新增、删除；无限步骤数，任意进行任务调度，直到获取所需数据。 二、数据开发：更多源、更灵活、更直接FineDataLink数据集成平台，让所有的数据清洗、处理工作都在这个平台中统一完成，减少大量繁琐的数据连接、数据输出、错误重试等数据层面的开发时间。 通过统一的数据源对接、数据转换清洗、数据输出、定时任务调度配置一系列数据开发处理工作，提高至少50%数据开发效率，从而使得开发人员得以更加专注数据本身的价值。 1、多源异构数据对接企业都有着各种各样的业务系统，比如OA、ERP、MES、CRM、PLM等系统，要想使得分布在不同的软件系统、不同的数据库的存储形式不同的数据，得到有效的集成和流通，就需要将这些多源异构数据进行整合处理。 FineDataLink支持丰富的多源异构数据对接： - 各大主流关系型数据库：例如MySQL、Oracle、SqlServer、PostgreSQL、GreenPlum、SQLite、HSQL、IBM DB2、Informix等，
- 接口数据：RestAPI、简道云等；
- 大数据场景：如数仓引擎SAP HANA、Hive、Impala、Presto、ClickHouse、达梦数据库等
FineDataLink-数据连接FDL通过数据源进行一键接入，完成连接配置后，在数据开发过程中可无限复用，节省您在数据开发过程中数据连接时间。 一旦数据连接配置不可用，例如数据库异常关闭、已修改连接账户和密码等情况，平台会自动进行异常消息提醒，提前预警，在任务开发异常前解决问题。 - 2、灵活的数据开发
数据开发就是将数据进行合并、清理和整合，能够实现不同的源数据进行异构数据统一整理，做到统一输出和联合使用。 在FineDataLink中，将数据开发定义成“步骤流”和“数据流”。 步骤流是对数据处理的各个环节进行流程编排，每个节点是一个独立的闭环，节点之间只存在执行哪个下游节点的编排逻辑。 数据流则代表着从输入算子到输出算子之间的数据流动，针对的是在数据流动过程中的每一行记录、每一列数据的处理。数据流里提供了各类算子，可以完成数据的输入、输出、转换等操作；一个数据流也是一个步骤，同时可以被编排进步骤流进行调用。数据转换对于数据集成和数据管理至关重要，FineDataLink 数据转换包括一系列活动：跨数据库关联、数据列转行、复杂SQL等操作，具体执行步骤将取决于你的数据处理的实际需要。 - 3、数据直达，一键调用
在完成数据转换后的结果输出至数据表，可以直接提供给FineReport、FineBI或者其他系统进行调用。 FineReport数据调用以前，当遇到需要进行异构数据库的跨库关联，在FR页面需要通过页面的【数据列】的【条件过滤】进行多源数据的关联，这样有可能会使得页面设置较为复杂，影响报表的数据加载速度。 遇到复杂的业务场景，数据难以进行关联；另外【模版数据集】的SQL赴傩校贾氯∈贾卤ū碓だ兰釉乇冉下� 现在，可以通过 FineDataLink提前处理好结果数据，将高质量数据提供给报表侧，可以减少大段SQL的编写，由之前的100～200行，转变成1～2行，提升查询速度的同时，便于后期其他需求的复用、以及报表运维。 使用 FineReport 设计器连接对应的数据库，取出跨库关联数据表「SJK_kuanbiao」，其他数据表同理。
| 
/1 
发表于 2023-5-12 21:38:16
