【职责描述】
1. 平台搭建与维护:负责 Hadoop 平台的搭建、运维和故障处理,包括集群管理和日常运维工作。
2. 集群管理与文档化:制定并维护 Hadoop 集群管理规范,包括版本管理、配置记录和变更记录等文档。
3. 性能优化:根据业务需求,优化 Hadoop、HBase、ZooKeeper、Spark、Flink、Hive 等大数据框架的参数,提升集群的性能和效率。
4. 监控与规划:建设和维护集群监控体系,并根据业务发展对集群的规模和资源进行规划。
5. 安全与合规性:确保 Hadoop 平台数据安全、访问控制和合规性标准的执行,配置 Kerberos 等安全工具,保障平台的安全运行。
【岗位要求】
1. 有搭建和维护 Hadoop、HBase、ZooKeeper、Spark、Flink、Hive 等大数据框架的实际经验。
2. 熟练使用 Shell 脚本(如 Bash、Python 等)自动化日常运维任务。
3. 熟悉 Kubernetes(K8s)容器编排与管理。具有高可用集群管理经验者优先。
4. 具备集群性能调优和优化的基础知识。
5. 具备责任心和良好的团队协作精神,且具备良好的执行力者优先;