网站搜索

如何在 CentOS/RHEL 7 上安装 CDH 并配置服务放置 - 第 4 部分


在之前的文章中,我们已经解释了Cloudera Manager的安装,在本文中,您将学习如何在中安装和配置CDHCloudera Distribution Hadoop) RHEL/CentOS 7。

在安装CDH Parcel时,我们必须确保Cloudera ManagerCDH兼容性。 Cloudera 版本有 3 个部分 - ..。 Cloudera Manager 主要和次要版本必须与 CDH 主要和次要版本相同。

例如,我们使用 Cloudera Manager 6.3.1CDH 6.3.2。这里 6 是主要版本,3 是次要版本。 Major 和 Minor 必须相同以避免兼容性问题。

要求

  • 在 CentOS/RHEL 7 上部署 Hadoop 服务器的最佳实践 – 第 1 部分
  • 设置 Hadoop 先决条件和安全强化 – 第 2 部分
  • 如何在 CentOS/RHEL 7 上安装和配置 Cloudera Manager – 第 3 部分

我们将使用以下2个节点来安装CDH。我们已经在 master1 中安装了 Cloudera Manager,并且我们正在使用 master1 作为存储库服务器。

master1.linux-console.net
worker1.linux-console.net

第1步:在主服务器上下载CDH Parcels

1. 首先,连接到 master1 服务器并下载 /var/www/html/cloudera-repos/ 中的 CDH Parcels 文件cdh 目录。我们必须下载下面提到的 3 个文件,它们应该与 RHEL/CentOS 7 兼容。

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. 在下载这些文件之前,请确保在 /var/www/html/cloudera-repos/ 位置下创建一个 cdh 目录。

cd /var/www/html/cloudera-repos/
sudo mkdir cdh
cd cdh

3. 接下来,使用以下 wget 命令下载上述 3 个文件。

sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

步骤 2:在工作客户端上设置 Cloudera Manager Repo

4. 现在,连接到 worker 服务器并从存储库服务器 (master1<) 到所有剩余的工作服务器。此存储库文件可确保服务器在安装时从存储库服务器下载所有必需的包和 RPM。

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. 添加存储库后,列出已启用的存储库以确保启用 cloudera-manager 存储库。

yum repolist

步骤 3:在工作服务器上安装 Cloudera Manager 守护进程和代理

6.现在,我们需要在所有剩余的服务器中安装cloudera-manager-daemonscloudera-manager-agent

sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. 接下来,您需要配置Cloudera Manager代理来报告Cloudera Manager服务器。

sudo vi /etc/cloudera-scm-agent/config.ini

localhost 替换为 Cloudera Manager 服务器 IP 地址。

8.启动Cloudera Manager代理并验证状态。

sudo systemctl start cloudera-scm-agent
sudo systemctl status cloudera-scm-agent

第 4 步:安装和设置 CDH

我们在 master1 仓库服务器中有 CDH 包裹。如果您使用Cloudera Manager进行自动安装,请确保所有服务器在/etc/yum.repos.d/中都有Cloudera Manager存储库文件。

9. 使用以下 URL 在端口 7180 登录 Cloudera Manager,并使用 Cloudera Manager 的默认用户名和密码。

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. 登录后,您将看到欢迎页面。在这里您可以找到发行说明、Cloudera Manager 的新功能。

11.接受许可并继续。

12. 选择版本。默认选择试用版,我们可以继续。

13. 现在,按照集群安装步骤进行操作。继续欢迎页面。

14.命名集群并继续,我们命名为“howtoing”。您可以定义两种类型的集群。我们正在进行常规集群。

  • 常规集群:将由存储节点、计算节点和其他必要的服务组成。
  • 计算集群:仅由计算节点组成。外部存储器可用于存储数据。

15.我们已经在所有服务器中安装了Cloudera Manager Agents。您可以在“当前管理的主机”中找到这些服务器。对于自动安装,您必须在“新主机”选项中输入服务器的 FQDN 或 IP 并进行搜索。 Cloudera Manager会自动检测我们需要安装CDH的主机。

在这里,单击“当前管理的主机”,通过选择“主机名”选择所有主机并继续。

16. 选择存储库 - 推荐使用Parcel。单击“更多选项”来配置存储库。

17. 输入本地存储库 URL,如下所述。删除所有剩余的指向 Web 的公共存储库 (Cloudera Repositories)。

这是我们在 master1 中拥有的 CDH 本地存储库 URL。

http://104.211.95.96/cloudera-repos/cdh/

18.输入存储库 URL 后,此页面将仅显示可用的地块。继续此步骤。

19. 现在,包裹正在所有可用的服务器上下载、分发、解压和激活。

20.激活CDH Parcels后,检查集群。此步骤将对集群进行健康检查。这里我们是跳过和继续。

第5步:集群配置

21.这里我们需要选择集群中要安装的服务。默认情况下将提供一些打包组合,我们将使用定制服务

22.自定义服务中,我们仅安装核心组件HDFSYARN >) 用于此演示目的。

23. 将角色分配给服务器。我们可以根据我们的要求定制。下表描述了针对具有 5 到 20 个节点且具有高可用性的基本小型集群的建议角色分配

24. 选择数据库类型、主机名、数据库名称、用户名和密码。由于我们使用的是嵌入式 PostgreSQL,因此默认情况下会选择它。测试连接,应该会成功。

25. 该页面将显示HDFSYarn的默认配置参数,包括数据目录。查看所有配置详细信息,您可以根据需要进行更改。然后继续这样做。

26.此页面将显示“首次运行”命令的详细信息。您可以展开它以查看运行命令的详细信息。如果集群中存在任何网络或权限问题,此步骤将失败。通常,这一步决定了集群构建的顺利安装。

27.完成上述步骤后,单击“完成”完成安装。这是安装CDH后Cloudera Manager的仪表板。

http://104.211.95.96:7180/cmf/home

结论

我们已经成功完成Cloudera ManagerCDH安装。在Cloudera Manager Dashboard中,您可以找到一组预定义的图表,您可以在其中监控集群CPU、磁盘IO等。我们可以使用这个Cloudera Manager来管理整个集群>。我们将在接下来的文章中看到所有管理操作。


版权所有。 © Linux-Console.net • 2019-2024