当前位置:网站首页 >> 作文 >> 最新大数据架构工程师是干嘛的(十三篇)

最新大数据架构工程师是干嘛的(十三篇)

格式:DOC 上传日期:2023-04-02 06:14:02
最新大数据架构工程师是干嘛的(十三篇)
时间:2023-04-02 06:14:02     小编:admin

在日常学习、工作或生活中,大家总少不了接触作文或者范文吧,通过文章可以把我们那些零零散散的思想,聚集在一块。那么我们该如何写一篇较为完美的范文呢?这里我整理了一些优秀的范文,希望对大家有所帮助,下面我们就来了解一下吧。

大数据架构工程师是干嘛的篇一

1.负责过多个大数据项目的架构;

2.精通hadoop、spark, hbase等主流的大数据平台、精通各组件优化设计原理;

3.精通大数据实时流式处理的设计和应用;

3.熟悉大数据平台调优,具备大数据生产平台调优经验;

4.金融行业,运营商行业大数据架构经验更优;

5.研究大数据技术的最新发展,并引入到公司技术架构;

6.指导大数据工程师的日常工作,并培养技术骨干。

任职资格:

1.计算机相关专业本科或以上学历;

2.具有5年以上大数据相关开发经验;

3.具有2年以上带团队经验

4.对hadoop/hive/spark/hbase/es等等大数据常用技术有深刻理解,能够带领团队进行技术攻坚,完成中间件的实施、改造、调优;

5.精通海量数据和实时数据的分析处理,能对线上的数据处理性能问题做调优;

6.精通数据仓库以及维度建模原理,有大型数据仓库建设经验;

7.精通关系型数据库和nosql数据库的使用,熟悉相关理论;

8.沟通顺畅,重点突出,高效。

大数据架构工程师是干嘛的篇二

职责:

1、大数据平台的规划、设计、实施,并优化数据库;

2、对数据库进行管理,负责数据库应用系统的运营及监控;

3、对数据库性能分析与调优,排错,保证数据正确率;

4、配合其他部门进行的数据处理、查询,统计和分析工作;

5、完成公司下达的项目开发任务。

任职要求:

1、计算机及相关专业本科以上学历,5年以上软件开发从业经验,其中包括至少2年以上的大数据开发工作经验;

2、熟悉hive,hadoop/spark,hbase等大数据相关技术架构,有管理或优化大型分布式集群经验;

3、熟悉linux基本命令,精通sql脚本的编写,有丰富的数据库管理、运维调优经验;

4、熟悉c++、java、c#等开发语言;

5、有互联网电商行业大数据分析处理和大型数据仓库的设计和实施经验;

6、有分布式系统分析及架构设计经验和大型计算集群的基础设施开发维护经验;

7、快速处理系统突发事件的能力,较强的学习和创新能力;

8、良好的沟通能力和团队合作精神。

大数据架构工程师是干嘛的篇三

职责:

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决,以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

任职要求:

1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

3.掌握linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

4.精通java服务器编程,熟悉jvm原理,对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底层架构,熟悉原理、源码、集群部署,包括参数优化、bug修复,贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据架构工程师是干嘛的篇四

职责:

1.负责企业数据中心建设,设计数据逻辑模型和物理模型,并完成相关开发

2.梳理公司各业务线常用的指标和维度,统一指标定义口径

3.根据数据应用开发和数据分析需求,设计数据仓库信息层模型,提高数据开发的效率

4.负责数据模型的运营和优化,及时响应业务逻辑变更,保证模型的数据质量和稳定性

5.负责公司数据标签体系的建设,并推动标签体系在实际业务场景中落地

岗位要求:

1.5年以上dw/bi数据架构设计、模型设计和性能调优等相关经验

2.有较强的数据分析能力,精通数据仓库架构,熟悉erwin或powerdesigner建模工具

3.精通一种主流关系数据库(如mysql等),熟悉hive开发

4.有电商业务经验,元数据管理,数据质量管理或标签体系搭建经验者优先

5.优秀的协调沟通与团队协作能力,极强的责任心,能承受一定的工作压力,认同企业文化和团队价值

大数据架构工程师是干嘛的篇五

职责:

负责公司大数据产品架构的设计与实现;

配合大数据产品经理完成产品的快速研发与交付;

负责大数据产品架构的持续优化设计;

负责大数据产品核心组件设计;

负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作;

为应用开发团队提供技术支撑。

及时向上级反馈工作进度、遇到的问题或者对现有工作的建议等;

完成上级领导交办的其它各项工作。

任职资格:

985/211本科及以上学历,3年以上的大数据开发经验、

2年以上大数据架构设计经验;

丰富的java研发经验,精通java,熟悉python scala等编程语言;具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

熟悉整个大数据的完整处理流程(数据的采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化);

精通各种大数据相关技术体系:hadoop、spark、storm、elasticsearch、kafka;

有数据挖掘、机器学习相关应用或研究背景;

沟通能力较好,积极主动意识较强,责任心较强。

具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;

良好的团队合作精神,较强的沟通能力和学习能力 ;

大数据架构工程师是干嘛的篇六

职责:

1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

3.负责超大规模数据平台的搭建、维护和优化;

4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;

5.负责大数据平台新技术的开发使用和性能优化,测试。

任职资格:

1.计算机相关专业本科及以上学历;

2. 熟悉hadoop相关各种开源项目,比如hdfs/hive/hbase等有实际应用。(5年以上开发经验者优先);

3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、etl经验。熟悉日志分析框架chukwa,flume,scribe者优先;

4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;

5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。

大数据架构工程师是干嘛的篇七

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构工程师是干嘛的篇八

职责:

1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求:

1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相关技术的基础架构

3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

4、熟悉linux系统,熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

大数据架构工程师是干嘛的篇九

职责:

1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;

2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;

3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

任职资格:

1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;

4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;

5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。

大数据架构工程师是干嘛的篇十

职责:

1、负责大数据平台的技术选型,基于spark、hadoop大数据平台建设和开发;

2、完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计和数据层架构设计;

3、构建数据中台,为多种行业应用提供主数据(画像标签/关系图谱)、数据模型、人工智能业务算法及数据服务。

4、对海量数据处理的业务需求进行评估和方案设计、拆分任务并指导工程师完成开发;

5、带领大数据技术团队提供并实现大数据平台上各项数据分析和数据可视化的架构设计,支撑解决方案实施。

任职要求:

1、本科及以上学历,具有5年及以上大数据架构设计和开发经验;2年及以上带领团队经验;沟通能力强。在大型互联网企业从事大数据架构设计者优先考虑;有分布式大型商业软件系统设计经验、主导过大型商业软件的架构设计并取得过市场商业成功者优先考虑;

2、熟悉整个大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化;

3、精通oracle/mysql/postgresql/greenplum/mongodb等其中至少一种主流数据库的使用,并能进行性能调优;

4、具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战。

大数据架构工程师是干嘛的篇十一

职责:

1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

任职要求:

1. 硕士及以上学历,计算机相关专业。

2. java基础扎实,不少于8年的一线开发经验,精通spring boot/mybatis/restful api的开发与管理. 熟悉reactjs/angular/vue之一前端开发技术,熟悉maven或ant.,熟悉python语言开发加分。

3. 不少于4年大数据的直接研发经验,精通hadoop/spark系统,有hands-on的架构设计、性能调优、开发经验。有mongodb、kafka、hbase/cassandra/storm/hive 等系统的开发经验。

4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的linux系统, 网络, 内存和存储等方面知识。

7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构工程师是干嘛的篇十二

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与hadoop、hbase、spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有hadoop等大规模集群管理经验、海量(pb)数据处理经验;

3、精通hadoop、hive、hbase等离线平台相关组件的原理机制;

4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据架构工程师是干嘛的篇十三

职责:

1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审,参与企业数据管理体系建设。

任职要求:

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验 ,掌握kimball的维度建模设计方法,具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

4. 精通sql,有一定的sql性能调优经验,熟悉hive sql的开发。

5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

9.全日制普通本科毕业。

全文阅读已结束,如果需要下载本文请点击

下载此文档
a.付费复制
付费获得该文章复制权限
特价:5.99元 10元
微信扫码支付
已付款请点这里
b.包月复制
付费后30天内不限量复制
特价:9.99元 10元
微信扫码支付
已付款请点这里 联系客服