如何在 Amazon EMR 上设置 Spark SQL JDBC 连接?

上次更新时间:2020 年 9 月 14 日

我想从我的 Amazon EMR 集群上的 SQL 客户端运行 SQL 查询。如何为 Spark Thrift 服务器配置 Java 数据库连接 (JDBC) 驱动程序,以便我可以运行查询?

解决方法

1.    下载并安装 SQuirrel SQL 客户端。

2.    使用 SSH 连接到主节点

3.    在主节点上,运行以下命令以启动 Spark Thrift 服务器:

sudo /usr/lib/spark/sbin/start-thriftserver.sh

4.    将所有 .jar 文件从主节点上的 /usr/lib/spark/jars 目录中复制到您的本地计算机。

5.    打开 SQuirrel SQL 客户端并创建一个新的驱动程序:
对于名称,输入 Spark JDBC Driver
对于示例 URL,输入 jdbc:hive2://localhost:10001

6.    在额外类路径选项卡上,选择添加

7.    在对话框中,导航到您在步骤 4 中复制 .jar 文件所在的目录,然后选择所有文件。

8.    在类名称字段中,输入 org.apache.hive.jdbc.HiveDriver,然后选择确定

9.    在本地计算机上,使用本地端口转发设置 SSH 隧道:

ssh -o ServerAliveInterval=10 -i path-to-key-file -N -L 10001:localhost:10001 hadoop@master-public-dns-name

10.    若要连接到 Spark Thrift 服务器,请在 SQuirrel SQL 客户端中创建一个新的别名:
对于名称,输入 Spark JDBC
对于驱动程序,输入 Spark JDBC Driver
对于 URL,输入 jdbc:hive2://localhost:10001
对于用户名,输入 hadoop

11.    从 SQuirrel SQL 客户端运行查询。


这篇文章对您有帮助吗?


您是否需要账单或技术支持?