离线组件启动命令与Web地址
Hadoop HDFS # 启动 $HADOOP_HOME/sbin/start-dfs.sh # 关闭 $HADOOP_HOME/sbin/stop-dfs.sh # 访问地址 http://master:9870/ YARN # 启动 $HADOOP_HOME/sbin/start-yar
Azkaban 集群部署
需要提前部署 MySQL 并启动 1、解压Azkaban mkdir /opt/module/azkaban-3.84.4 cd /opt/software tar -zxvf azkaban-db-3.84.4.tar.gz tar -zxvf azkaban-exec-server-3.84.
ClickHouse 集群部署
1、解压ClickHouse cd /opt/software/ tar -zxvf clickhouse-common-static-21.9.4.35.tgz tar -zxvf clickhouse-common-static-dbg-21.9.4.35.tgz tar -zxvf click
HBase 集群部署
需要提前部署 hadoop 并启动 需要提前部署 Zookeeper并启动 1、解压HBase cd /opt/software tar -zxvf hbase-2.2.3-bin.tar.gz mv hbase-2.2.3 /opt/module/ 2、profile 配置 vim /etc/p
Hive 单点部署
需要提前部署 hadoop 并启动 需要提前部署 MySQL 并启动 1、解压Hive cd /opt/software tar -zxvf apache-hive-3.1.2-bin.tar.gz mv apache-hive-3.1.2-bin /opt/module/hive-3.1.2 2
Spark on yarn 单点部署
需要提前部署 hadoop 并启动 1、解压软件包 cd /opt/software tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz mv spark-3.1.1-bin-hadoop3.2 /opt/module/spark-3.1.1 2、profile 配置
Spark Standalone 集群部署
需要提前部署 hadoop 并启动 1、解压软件包 cd /opt/software tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz mv spark-3.1.1-bin-hadoop3.2 /opt/module/spark-3.1.1 2、profile 配置
idea搭建spark运行环境
系统:windows 一、idea配置 idea新建maven项目,下载Scala插件,项目添加scala框架支持 二、pom.xml <dependencies> <dependency> <groupId>org.apache.spark</gro
Hadoop备忘录
常用命令 注:由于集群的根目录为/,以下涉及到集群目录的开头都要加/ hadoop fs -ls [集群目录] 查看目录 hdoop fs -cat [集群目录文件] 查看文件 hadoop fs -touch [集群文件] 在集群创建文件 hadoop fs -mkdir [集群目录] 在集群创建
pip镜像源速查
中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 清华 https://pypi.tuna.tsinghua.edu.cn/simple 阿里云 http://mirrors.aliyun.com/pypi/simple/ 豆瓣