1. Java Development Kit (JDK)
Phiên bản hiện tại : JDK 8.0.452.9 (HotSpot)Yêu cầu : JDK 8 hoặc JDK 11Mục đích : Runtime environment cho Hadoop, Spark, KafkaCài đặt :
# Thiết lập JAVA_HOMEexport JAVA_HOME=/path/to/jdk-8.0.452.9-hotspot
export PATH=$JAVA_HOME /bin:$PATH
Phiên bản hiện tại : 3.3.6Yêu cầu tối thi���u : Hadoop 3.2+Tương thích : JDK 8, JDK 11Mục đích : Distributed storage và processing frameworkCổng mặc định :
NameNode Web UI: 9870
ResourceManager Web UI: 8088
MapReduce Job History: 19888
Phiên bản hiện tại : 3.5.6 (compiled for Hadoop 3)Yêu cầu tối thiểu : Spark 3.0+Tương thích :
Hadoop 3.x
Scala 2.12/2.12
Python 3.7+
spark-connector: >= 3.4.x
Mục đích : Unified analytics engine cho big data processingCổng mặc định :
Spark Master Web UI: 8080
Spark Worker Web UI: 8081
Spark Application Web UI: 4040
Phiên bản hiện tại : 3.9.1Yêu cầu tối thiểu : Kafka 2.8+Tương thích :
Scala 2.12
Zookeeper 3.6+ (hoặc KRaft mode)
Mục đích : Distributed streaming platformCổng mặc định :
Kafka Broker: 9092
Zookeeper: 2181
5. Scala Build Tool (SBT)
Phiên bản hiện tại : 1.11.2Yêu cầu tối thiểu : SBT 1.5+Tương thích :
Scala 2.12.20
JDK 8, JDK 11, JDK 17
Mục đích : Build tool cho Scala/Java projectsDependencies chính :
Scala Compiler: 2.12.20
Scala Library: 2.12.20
1. Thiết lập Biến môi trường # Javaexport JAVA_HOME=/path/to/jdk-8.0.452.9-hotspot
export PATH=$JAVA_HOME /bin:$PATH
# Hadoopexport HADOOP_HOME=/path/to/hadoop-3.3.6
export HADOOP_CONF_DIR=$HADOOP_HOME /etc/hadoop
export PATH=$HADOOP_HOME /bin:$HADOOP_HOME /sbin:$PATH
# Sparkexport SPARK_HOME=/path/to/spark-3.5.6-bin-hadoop3
export PATH=$SPARK_HOME /bin:$PATH
# Kafkaexport KAFKA_HOME=/path/to/kafka_2.12-3.9.1
export PATH=$KAFKA_HOME /bin:$PATH
# SBTexport SBT_HOME=/path/to/sbt
export PATH=$SBT_HOME /bin:$PATH # Kiểm tra Java# Kiểm tra Hadoop# Kiểm tra Spark# Kiểm tra Kafka# Kiểm tra SBT
core-site.xml: Cấu hình filesystemhdfs-site.xml: Cấu hình HDFSmapred-site.xml: Cấu hình MapReduceyarn-site.xml: Cấu hình YARN
spark-defaults.conf: Cấu hình mặc địnhspark-env.sh: Biến môi trườnglog4j.properties: Cấu hình logging
server.properties: Cấu hình Kafka brokerzookeeper.properties: Cấu hình Zookeeperconsumer.properties: Cấu hình consumerproducer.properties: Cấu hình producer
JAVA_HOME not set : Đảm bảo biến JAVA_HOME được thiết lập đúngPort conflicts : Kiểm tra các cổng có bị xung đột khôngPermission denied : Đảm bảo user có quyền truy cập thư mụcMemory issues : Tăng heap size nếu cần thiết
Hadoop: $HADOOP_HOME/logs/
Spark: $SPARK_HOME/logs/
Kafka: $KAFKA_HOME/logs/
Java Development Kit (JDK)
Version : JDK 8.0.452.9 HotSpotDownload : Temurin JDK Extract to : jdk-8.0.452.9-hotspot/
Version : 2.13-3.9.1Download : Apache Kafka Extract to : kafka_2.13-3.9.1/
Version : 3.5.6 with Hadoop 3Download : Apache Spark Extract to : spark-3.5.6-bin-hadoop3/
Version : 1.11.2Download : SBT Extract to : sbt/ and sbt-1.11.2/
Version 1.0.0 (2025-06-21)
Initial setup với Hadoop 3.3.6, Spark 3.5.6, Kafka 3.9.1, SBT 1.11.2, Scala 2.12.20
JDK 8.0.452.9 làm runtime chính
Cấu hình tương thích cho Windows environment