当前位置: 首页 > news >正文

陵水黎族自治县网站建设_网站建设公司_MongoDB_seo优化

佛山建设网站公司吗,天津建设网查询,网站让百度收录应该怎么做,流量推广平台有哪些背景描述 pyspark 相当于 python 版的 spark-shell#xff0c;介于 scala 的诡异语法#xff0c;使用 pyspark on yarn 做一些调试工作还是很方便的。 配置 获取大数据集群配置文件。如果是搭建的 CDH 或者 CDP 可以直接从管理界面下载配置文件。直接下载 hive 组件的客户端…背景描述 pyspark 相当于 python 版的 spark-shell介于 scala 的诡异语法使用 pyspark on yarn 做一些调试工作还是很方便的。 配置 获取大数据集群配置文件。如果是搭建的 CDH 或者 CDP 可以直接从管理界面下载配置文件。直接下载 hive 组件的客户端配置就可以它里面包含了 hdfs 和 yarn 的配置。如下所示 -rw-rw-r-- 1 diegolli staff 5.0K Dec 12 16:09 core-site.xml -rw-rw-r-- 1 diegolli staff 557B Dec 12 16:09 hadoop-env.sh -rw-rw-r-- 1 diegolli staff 4.0K Dec 12 16:09 hdfs-site.xml -rw-rw-r-- 1 diegolli staff 1.3K Dec 12 16:09 hive-env.sh -rw-rw-r-- 1 diegolli staff 6.0K Dec 12 16:09 hive-site.xml -rw-rw-r-- 1 diegolli staff 310B Dec 12 16:09 log4j.properties -rw-rw-r-- 1 diegolli staff 5.5K Dec 12 16:09 mapred-site.xml -rw-rw-r-- 1 diegolli staff 1.6K Dec 12 16:09 redaction-rules.json -rw-rw-r-- 1 diegolli staff 315B Dec 12 16:09 ssl-client.xml -rw-rw-r-- 1 diegolli staff 7.3K Dec 12 16:09 yarn-site.xml安装 python 和 pyspark因为是 on yarn 所以跟集群 spark 没有关系客户端只需要安装 spark client 工具就可以。 conda create --name py37 python3.7# 待环境装好后激活并在其中安装 pyspark pip install pyspark配置环境变量并且启动 pyspark on yarn。启动前需要配置 HADOOP_CONF_DIR直接指到第一步下载的配置文件即可。如果有多人使用服务器建议只在当前终端中配置。 export HADOOP_CONF_DIR/root/diegolli/conf# 如果集群配置了 kerberos 认证启动时需要提供认证身份。 pyspark --master yarn --principal principal_name --keytab /path/to/keytab出现下面结果表示 spark on yarn 启动成功。 Welcome to____ __/ __/__ ___ _____/ /___\ \/ _ \/ _ / __/ _//__ / .__/\_,_/_/ /_/\_\ version 3.4.2/_/Using Python version 3.7.16 (default, Jan 17 2023 22:20:44) Spark context Web UI available at http://cdp01.shanghai.com:4040 Spark context available as sc (master yarn, app id application_1701688246977_0883). SparkSession available as spark.测试 hive 连接。必须测试如果不能连接到集群数仓或者没有权限。pyspark on yarn 启动了也没有什么用。 spark.sql(show databases).show() ------------ | namespace| ------------ | annie| | default| |feature_test| | mike| | test| | view_db| ------------ spark.sql(use default) DataFrame[]spark.sql(show tables).show() ---------------------------------------- |namespace| tableName|isTemporary| ---------------------------------------- | default| abcd| false| | default| ddd_training| false| | default|alitest_trans_081...| false| ---------------------------------------- only showing top 3 rows df spark.sql(select * from ddd_training limit 5)df.show() -------------------------- |sample_col_id|sample_col_ts| -------------------------- | 690000125089| 2023-07-01| | 690000022764| 2023-07-01| | 690000022764| 2023-07-02| | 690000125089| 2023-07-02| | 690000125089| 2023-07-04| --------------------------异常现象 有时会出现 pyspark on yarn 启动失败异常提示文件找不见或者启动了但是按退回键光标却向右边空格。改动 python 版本可以解决这些问题。
http://www.lebaoying.cn/news/115528.html

相关文章:

  • wordpress网站app哈尔滨网页设计
  • 网站建设有哪些种类达州网站建设哪家好
  • 公司开发网站工程公司介绍
  • 网站建设方案模板高校自我介绍的网站设计怎么做
  • 淄博 网站制作自动生成手机网站
  • 企业网站建设飞沐互联网保险对传统保险有哪些影响
  • 网站建设有什么专业术语河南网站开发培训
  • 选择做印象绍兴网站的原因wordpress做h5
  • 单页面竞价网站如何做最强的社交网站
  • 石家庄百度推广家庄网站建设加工平台都有哪些
  • seo型网站铁总建设函网站
  • 北京建设工程造价管理协会网站成都科技网站建设哪里有
  • 比较好的室内设计网站阿卯网站建设
  • 汽车最专业的网站建设友妙招链接怎么弄
  • wordpress 文章形式谷歌广告优化
  • 四川城乡和住房建设厅网站latex wordpress 怎么用
  • 南京越城建设集团有限公司网站网页设计中返回首页怎么设计
  • 网站建设开发免费咨询重庆微信网站开
  • 做网站怎么与客户谈判江苏纬信网站建设
  • 佛山网站建设 骏域网站建设辽宁建设工程信息网官网新网站入口
  • 企业网站用什么做知名建筑设计网站
  • 网站建设后的团队总结网站制作制作公司
  • 株洲网站排名优化价格专业做外贸网站
  • 嘉兴ai人工智能开发网站建设如何快速提升网站流量
  • 做网站有用没保定网站建设的过程
  • 建设网站模版番禺网站建设公司有哪些
  • 做外贸选取哪个网站wordpress一登录就错位
  • 盐城网站建设小程序公司wordpress可以干什么
  • 合肥商务科技学校网站建设缪斯设计集团
  • 疏通下水道网站怎么做优化网站关键词的技巧