数据访问的穿透能力-Big SQL与关系型数据库的联盟


发布者 chenjunji123456  发布时间 1470709196064
关键字 分享 

Big SQL Federation是什么?

Big SQL Federation 是一种Hadoop与远程数据源的集成技术。通过Federation技术,管理员或应用程序可使用标准SQL透明地查询Big SQL (Hadoop) 和RDBMS 上的表。

为什么要用Federation?

在某些场景下,Hadoop平台上的数据分析需要用到RMDBS上的数据,每次从数据源移动或复制数据到Hadoop是不现实的,因为您要考虑移动或复制数据的频率、时间成本、管理成本等等。这样,利用Federation技术直接、透明地访问远程RMDBS数据源成为解决问题的有效途径。

Big SQL Federation的架构和组件

  • Federation Server:Big SQL内置功能,使用时只需要简单地“开启”这个功能。Federation Server运行在Big SQL的Head Node,它在Federation Catalog中记录额外的元数据,如Wrapper、Nickname等。
  • Wrapper:访问/查询远程数据源对应的lib文件,如Oracle,DB2,或Teradata等RMDBS的数据驱动程序lib文件。BigSQL利用这个lib与远程数据源进行交互。
  • Server:即远程的数据源在Big SQL的表现。一个数据源对应一个Server。
  • Nickname:远程数据源上的表或视图在本地的别名,对应Big SQL的用户,Nickname与本地Table看起来是一样的。

Federation有何功能?

  • 访问HDFS、HBase、Hive等Big SQL表或视图。
  • 访问Oracle、Teradata、MSSQL Server、 DB2、Informix、Netezza的RDBMS表或视图。
  • 跨任意数据源查询数据(project、restrict、join、union、子查询、内置函数)
  • 调用数据源的特定SQL
  • 收集统计信息和检查详细执行计划

如何使用Federation?

1. 管理员开启Big SQL的Federation功能

2. 配置Wrapper和Server,将远程数据源在本地建立通信

3. 创建Nickname,映射远程数据源的表

4. 应用连接至Big SQL

5. 如同访问本地Table一样地访问Nickname

6. Big SQL后台的优化器创建全局的执行计划

7. 查询任务被push down到本地和(或)远程的的数据源执行。

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询在线客服

客服热线:023-66090381









  开源的 OurJS
OurJS开源博客已经迁移到 OnceOA 平台。

  关注我们
扫一扫即可关注我们:
OnceJS

OnceOA