II. Hadoop | Notion

<aside> 💡

wget <https://dlcdn.apache.org/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz>
tar -xvzf hadoop-3.4.1.tar.gz && mv hadoop-3.4.1 hadoop
**sudo addgroup hadoop**

</aside>

<aside> 💡

**sudo apt-get update
sudo apt-get dist-upgrade

sudo apt install -y openssh-server
sudo systemctl enable ssh
sudo systemctl start ssh
sudo systemctl status ssh**

Nâng cấp gói
Cài và bật ssh(luôn phải bật khi cần chạy hadoop ở những lần mở máy sau, ctrl + c để thoát xem status)

</aside>

<aside> 💡

**ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost**

Cần cấu hình SSH vì SSH là giao thức kết nối an toàn giữa các máy tính hay đúng hơn là giữa các nodes.
Dù chỉ chạy trên một máy nhưng trên một máy vẫn có nhiều nodes cần quản lý: NameNode, DataNode, ResourceManager, NodeManager
3 câu lệnh bên trên nhằm mục đích để cho chính chủ có thể sử dụng hadoop 1 cách tự động và ngăn chặn các nhóm người dùng khác. </aside>

<aside> 💡

nano ~/.bashrc

# Hadoop Environment Variables
export HADOOP_HOME=$HOME/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Ctrl + O -> Enter -> Ctrl + X

source ~/.bashrc

</aside>

<aside> 💡

nano $HADOOP_HOME/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

Ctrl + O -> Enter -> Ctrl + X

hadoop version

Mở hadoop-env.sh
Cấu hình java11 cho hadoop
Kiểm tra hadoop đã thành biến môi trường chưa

</aside>

<aside> 💡

**nano $HADOOP_HOME/etc/hadoop/core-site.xml**

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

Ctrl + O -> Enter -> Ctrl + X

Cấu hình hadoop dùng hệ thống file mặc định
Cấu hình NameNode chạy tại cổng 9000

</aside>

<aside> 💡


mkdir -p ~/hadoop_tmp/hdfs/namenode
mkdir -p ~/hadoop_tmp/hdfs/datanode

**nano $HADOOP_HOME/etc/hadoop/hdfs-site.xml**

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/hoangvu/hadoop_tmp/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/hoangvu/hadoop_tmp/hdfs/datanode</value>
  </property>
</configuration>

Ctrl + O -> Enter -> Ctrl + X

Nhớ đổi home/hoangvu
Tạo hadoop_tmp để lưu metadata vì nếu không lưu thì mỗi lần tắt máy chạy lại có thể lỗi mất namenode
Cấu hình chạy local nên 1 bản sao, cấu hình cho namenode, datanode lưu vào hadoop_tmp

</aside>

<aside> 💡

**nano $HADOOP_HOME/etc/hadoop/mapred-site.xml** 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
        <name>mapreduce.application.classpath</name>
        <value>/home/hoangvu/hadoop/share/hadoop/mapreduce/*:/home/hoangvu/hadoop/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

****Ctrl + O -> Enter -> Ctrl + X

Dùng yarn cho mapReduce
Cấu hình thư viện mapReduce

</aside>

<aside> 💡

hdfs namenode -format

start-dfs.sh

start-yarn.sh

jps

Tạo metadata cho NameNode
Khởi động HDFS (NameNode + DataNode)
Khởi động YARN (ResourceManager + NodeManager)
Kiểm tra các tiến trình Hadoop đang chạy\/

</aside>

<aside> 💡

</aside>