防火墙导致FTP传输文件为0,图文详解

防火墙导致FTP传输文件为0,防火墙ftp传输文件

在使用

ftpClient

传输文件到FTPserver时,在别的机器上可以正常使用,但是到自己的机器有就始终是0文件,发现是Mcafee 防火墙导致的,只要让防火墙放行即可。

Mcafee防火墙的放行方法:

1.

2.

在采用 ftpClient
传输文件到FTPserver时,在其他机器上能够平常使用,可是到协和的机械有就始…

3.5.2.5 修改yarn-site.xml文件

yarn 财富调节的布置,集群的话这些布局是必得的。
修改/opt/hadoop/hadoop2.8/etc/hadoop/yarn-site.xml文件,
<configuration>节点内出席配置

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>8182</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

永利澳门游戏网站 1

注脚:yarn.nodemanager.vmem-check-enabled那个的意味是忽略设想内部存储器的检查,要是您是设置在设想机上,那一个布局很有用,配上去之后继续操作不易于出难题。假若是实业机上,何况内部存储器够多,能够将那些布局去掉。

3.2.1 文件计划

将下载下来的Hadoop的安排文件进行解压
在linux上输入:

 tar  -xvf   hadoop-2.8.2.tar.gz

然后将解压之后的文书夹移动到opt/hadoop文件夹下,未有该文件夹就新建,然后将文件夹重命名称为hadoop2.8。
在linux上输入移动文件夹命令:

mv  hadoop-2.8.2 /opt/hadoop
mv  hadoop-2.8.2 hadoop2.8

1,文件准备

将下载下来的Zookeeper 的布置文件进行解压
在linux上输入:

 tar  -xvf   zookeeper-3.4.10.tar.gz

然后移动到/opt/zookeeper里面,未有就新建,然后将文件夹重命名称为zookeeper3.4
输入

mv  zookeeper-3.4.10  /opt/zookeeper
mv  zookeeper-3.4.10  zookeeper3.4

1,文件希图

将下载下来的HBase的安顿文件实行解压
在linux上输入:

 tar  -xvf   hbase-1.2.6-bin.tar.gz

接下来移动到/opt/hbase 文件夹里面,同仁一视命名字为 hbase1.2
输入

mv  hbase-1.2.6  /opt/hbase
mv  hbase1.2  /opt/hbase

六、HBase的意况布置

4,时间陈设

集群上的机械时间要联合,因为本人那边的是设想机,所以就无须了。
安装集群时间一同能够应用NTP服务。
现实能够参见:

3.2.3.2 修改 hadoop-env.sh

以此要做,不清楚为啥相对路线不识别,于是就应用相对路径。

export   JAVA_HOME=${JAVA_HOME}

修改为:

export   JAVA_HOME=/opt/java/jdk1.8

注:修改为和睦JDK的门径
永利澳门游戏网站 2

3.2.3.1 修改 core-site.xml

hadoop的贮存路线能够活动转移。开首小编感到那一个文件夹须要手动创设,后来实行了,假若不手动创造,会活动成立的,所以就去掉了手动制造目录的步调。
输入:

vim core-site.xml

<configuration>节点内投入配置:

 <configuration>
<property>
    <name>hadoop.temp.dir</name>
    <value>file:/root/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
<!-- eclipse连接hive 的配置-->
<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
 </property>
 <property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>
</configuration>

永利澳门游戏网站 3

说明: fs.defaultFS 是缺省文书的称谓, 最先接受的是
fs.default.name,后来在风行官方文书档案中查到该办法已经弃用了。于是边改成这一个了。ps:感到也没啥区别。

风华正茂、意况接纳

4.2.3.2 修改slaves

slaves 布满式文件
在conf目录下,改过slaves文件,若无 slaves 该文件,就复制slaves
.template文件一视同仁命名称为slaves 。
修正那么些新建的slaves 文件,参加配置:

slave1 
slave2

在黄金时代台机械上(最佳是master)做完那一个铺排之后,我们应用scp命令将那么些配置传输到任何机器上。
输入:
scala情况传输

scp -r /opt/scala root@slave1:/opt
scp -r /opt/scala root@slave2:/opt

spark碰着传输

scp -r /opt/spark root@slave1:/opt
scp -r /opt/spark root@slave2:/opt

传输之后,便在主节点运营集群。

2,情况安插

编辑 /etc/profile 文件
输入:

export  ZK_HOME=/opt/zookeeper/zookeeper3.4 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:${ZK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

1,主机名修改以至主机和IP做连锁映射

5,连忙键设置(可选)

永利澳门游戏网站,证明:因为要时常切换各类目录以内,所感到了偷懒,就设置别称了。只供给在linux输入别称,就可以试行别称后边的命令,拾分的有益。
譬如:我们常用的ll正是 ls -l 的别称。关于小名那块各位能够自行检索。
输入:

vim ~/.bashrc

增加上面包车型客车内容

# Some more ailases
alias chd='cd /opt/hadoop/hadoop2.8'
alias chb='cd /opt/hbase/hbase1.2'
alias chi='cd /opt/hive/hive2.1'
alias czk='cd /opt/zookeeper/zookeeper3.4'
alias csp='cd /opt/spark/spark2.0-hadoop2.4-hive'

alias fhadoop='/opt/hadoop/hadoop2.8/bin/hdfs namenode -format'
alias starthadoop='/opt/hadoop/hadoop2.8/sbin/start-all.sh'
alias stophadoop='/opt/hadoop/hadoop2.8/sbin/stop-all.sh'

alias starthbase='/opt/hbase/hbase1.2/bin/start-hbase.sh'
alias stophbase='/opt/hbase/hbase1.2/bin/stop-hbase.sh'

alias startzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh start'
alias stopzk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh stop'
alias statuszk='/opt/zookeeper/zookeeper3.4/bin/zkServer.sh status'

alias startsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/start-all.sh'
alias stopsp='/opt/spark/spark1.6-hadoop2.4-hive/sbin/stop-all.sh'

永利澳门游戏网站 4

得逞增多之后输入

source ~/.bashrc

然后输入设置的外号就可以试行你所设置的内容了。小名的装置不自然非要依据地点的,即使有更加好办法就请使用

2,ssh免登录

设置ssh免密码登陆是为了操作便利
变迁秘钥文件
在每台机械上都实施一次
第黄金时代输入:

ssh-keygen -t rsa -P ''

更改秘钥之后,然后将每台机器/root/.ssh
都存入内容雷同的文本,文件名叫authorized_keys,文件内容是大家刚刚为3台机器生成的公钥。可以在风流罗曼蒂克台机械上扭转,然后复制到别的的机器上。

新建authorized_keys文件
输入 :

 touch  /root/.ssh/authorized_keys

编辑 authorized_keys 并将别的机器上的秘钥拷贝过来

cat /root/.ssh/id_rsa.pub
vim /root/.ssh/authorized_keys

将其余机器上的 id_rsa.pub 的源委拷贝到 authorized_keys那些文件中。
先是个机械:
永利澳门游戏网站 5

其次个机械:
永利澳门游戏网站 6

其多少个机械:
永利澳门游戏网站 7

最终authorized_keys文件的内容
永利澳门游戏网站 8

将那个最终的authorized_keys文件copy到其余机器的 /root/.ssh
目录下。使用scp也许ftp都足以。
scp命令示例:

scp -r /root/.ssh/authorized_keys root@192.169.0.24:/root/.ssh

测量试验免密码登入
输入:

ssh slave1
ssh slave2

输入 exit 退出
永利澳门游戏网站 9

4.2.3,校勘配置文件

切换目录
输入:

cd /opt/spark/spark1.6-hadoop2.4-hive/conf

5.3.2 新建zoo.cfg

切换到/opt/zookeeper/zookeeper3.4/conf 目录下
若无 zoo.cfg 该文件,就复制zoo_sample.cfg文件等量齐观命名称叫zoo.cfg。
纠正那个新建的zoo.cfg文件

dataDir=/opt/zookeeper/data
dataLogDir=/opt/zookeeper/dataLog
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

永利澳门游戏网站 10

说明:client
port,看名就会猜到其意义,便是顾客端连接zookeeper服务的端口。那是三个TCP
port。dataLogDir里是停放的逐二十十五日志(WAL)。而dataDir里放的是内部存款和储蓄器数据结构的snapshot,便于连忙还原。为了达到品质最大化,一般提出把dataDir和dataLogDir分到分歧的磁盘上,那样就足以丰裕利用磁盘顺序写的特色。dataDir和dataLogDir要求和睦创制,目录能够友善制订,对应就能够。server.1中的这些1亟待和master这些机器上的dataDir目录中的myid文件中的数值对应。server.第22中学的那个2要求和slave1这一个机器上的dataDir目录中的myid文件中的数值对应。server.3中的那些3索要和slave2那个机器上的dataDir目录中的myid文件中的数值对应。当然,数值你能够不管用,只要对应就能够。2888和3888的端口号也得以随意用,因为在差别机器上,用成相通也不介怀。
1.tickTime:CS通讯心跳数
Zookeeper 服务器之间或客商端与服务器之间维持心跳的大运间隔,也正是各种tickTime 时间就能够发送三个心跳。tickTime以微秒为单位。
tickTime=2000
2.initLimit:LF早先通讯时间约束
集群中的follower服务器(F)与leader服务器(L)之间开头连接时能隐忍的最多心跳数(tick提姆e的数据)。
initLimit=10
3.syncLimit:LF同步通讯时间限制
集群中的follower服务器与leader服务器之间诉求和应对之间能隐忍的最多心跳数(tickTime的数据)。
syncLimit=5

照旧将zookeeper传输到此外的机器上,记得改正 /opt/zookeeper/data
下的myid,这些无法同黄金时代。
输入:

scp -r /opt/zookeeper root@slave1:/opt
scp -r /opt/zookeeper root@slave2:/opt

4.2.2,情形布署

编辑 /etc/profile 文件
输入:

export  SPARK_HOME=/opt/spark/spark1.6-hadoop2.4-hive 
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

四、斯Parker的意况安插

说明:其实spark的有关配置,作者在大数据学习体系之六 —–
Hadoop+斯Parker情形搭建

应该早已说的很详细了,即使是单机情形。其实集群也就扩大个slave配置,其余的有的时候好像没什么了。所以就归纳的贴下配置。

3,下载地址

合法地址:
Hadoop:

Spark:

Spark Sql on Hive

Scala:

JDK:

HBase

Zookeeper

Hive

百度云:
链接: 密码:o1ov

1,JDK配置

说明:
日常CentOS自带了openjdk,不过hadoop集群使用的是oracle官方的jdk,所以先行卸载CentOS的jdk,然后再安装在oracle下载好的JDK。
第意气风发输入 java -version
查看是还是不是安装了JDK,假诺设置了,但版本不符合的话,就卸载
永利澳门游戏网站 11

输入
rpm -qa | grep java
查看消息
永利澳门游戏网站 12
下一场输入:
rpm -e –nodeps “你要卸载JDK的音信”
如: rpm -e –nodeps java-1.7.0-openjdk-1.7.0.99-2.6.5.1.el6.x86_64
永利澳门游戏网站 13

确定未有了今后,解压下载下来的JDK

tar  -xvf   jdk-8u144-linux-x64.tar.gz

挪动到opt/java文件夹中,未有就新建,然后将文件夹重命名叫jdk1.8。

mv  jdk1.8.0_144 /opt/java
mv  jdk1.8.0_144  jdk1.8

下一场编辑 profile 文件,加多如下配置
输入:

vim /etc/profile

添加:

export JAVA_HOME=/opt/java/jdk1.8
export JRE_HOME=/opt/java/jdk1.8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=.:${JAVA_HOME}/bin:$PATH

加上成功之后,输入

source /etc/profile
java  -version 

翻看是或不是安插成功

2,hadoop配置

4,启动hbase

在功成名就运维Hadoop、zookeeper之后
切换到HBase目录下

cd /opt/hbase/hbase1.2/bin

输入:

start-hbase.sh

启航成功未来,能够应用jps命令在大器晚成一机器上查看是还是不是成功
能够在浏览器输入: ip+16010 端口查看
永利澳门游戏网站 14

若成功展现该分界面,则运行成功。

3.5.2.4 修改mapred-site.xml

实施mapreduce的周转框架配置。ps:认为这些布局没啥用,恐怕本身没用mr吧。
比如未有 mapred-site.xml
该文件,就复制mapred-site.xml.template文件同样器重命名称为mapred-site.xml。
改革那几个新建的mapred-site.xml文件,在<configuration>节点内踏入配置:

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

2,配置表明

  • JDK :Hadoop和斯帕克 重视的安插,官方建议JDK版本在1.7之上!!!
  • Scala:斯Parker信任的配备,提出版本不小于spark的本子。
  • Hadoop: 是三个布满式系统基础框架结构。
  • 斯Parker: 分布式存储的大数量举行处理的工具。
  • zookeeper:分布式应用程序协调服务,HBase集群须要。
  • HBase: 七个结构化数据的遍及式存款和储蓄系统。
  • Hive: 基于Hadoop的三个数据酒馆工具,这几天的暗中认可元数据库是mysql。

3.2.2 景况安顿

编辑 /etc/profile 文件
输入:

vim /etc/profile

添加:

export HADOOP_HOME=/opt/hadoop/hadoop2.8 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效

2,景况安插

编辑 /etc/profile 文件
输入:

export HBASE_HOME=/opt/hbase/hbase1.2
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:${SPARK_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效
输入
hbase version
翻看版本
永利澳门游戏网站 15

4.1.1 文件妄想

将下载好的Scala文件解压
输入

tar -xvf scala-2.12.2.tgz

接下来移动到/opt/scala 里面
再者重命名称为scala2.1
输入

mv  scala-2.12.2  /opt/scala
mv scala-2.12.2 scala2.12

4.1.2 情状布署

编辑 /etc/profile 文件
输入:

export SCALA_HOME=/opt/scala/scala2.12
export PATH=.:${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH

输入:

source  /etc/profile

使配置生效
输入 scala -version 查看是还是不是安装成功

发表评论

电子邮件地址不会被公开。 必填项已用*标注