当前位置:网站首页 >> 作文 >> 2022年大数据工程师的岗位职责(15篇)

2022年大数据工程师的岗位职责(15篇)

格式:DOC 上传日期:2022-12-29 09:17:03
2022年大数据工程师的岗位职责(15篇)
时间:2022-12-29 09:17:03     小编:zdfb

范文为教学中作为模范的文章,也常常用来指写作的模板。常常用于文秘写作的参考,也可以作为演讲材料编写前的参考。那么我们该如何写一篇较为完美的范文呢?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。

大数据工程师的岗位职责篇一

1.参与大数据平台搭建以及项目技术架构。

2.数据分析,挖掘,模型具体的产品化;

3.根据产品需求,分析编写和制定大数据相关解决方案

岗位要求:

1、计算机相关专业本科以上学历,编程基础扎实,有2年以上大数据开发经验

2、熟悉hadoop生态和体系架构,熟悉flink、spark,hive等常用开源工具

3、熟悉flume,kakfa,scribe等日志收集体系

4、熟悉主流数据库(oracle、postgresql、mysql、sql server)中的1种及以上,有较好的sql性能调优经验

5、有数据仓库etl经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力;喜欢开源软件,乐于知识分享;对工作认真负责;可以独立承担较大工作压力

大数据工程师的岗位职责篇二

职责:

1、负责大数据平台的基础环境搭建与性能优化,完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;

2、对各种开源框架进行深入的代码剖析和优化;

3、参与大数据技术方案评审;

4、指导初中级大数据工程师工作;

岗位要求:

1、计算机相关专业全日制专科及以上学历,具有3年或以上的分布式计算平台研发工作经验;

2. 对大数据相关组件:hadoop、spark、hbase、hive、flink、kafka、flume等架构与底层实现有深入理解,具备相应的定制和研发能力,尤其需要精通flink框架;

3. 具备构建稳定的大数据基础平台的能力,具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;

4. 对技术有热情,有不错的数据思维和敏感度,有一定的数据分析能力优先,对深度学习、机器学习有一定的了解优先;

5. 工作有计划性,责任心和执行能力强,具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

大数据工程师的岗位职责篇三

职责:

1、大数据日志分析系统的设计,选型和开发;

2、配合各业务给予数据支持,对产品和运营数据总结和优化;

3、处理用户海量数据,提取、分析、归纳用户属性,行为等信息,完成分析结果;

4、发现并指出数据异常情况,分析数据合理性;

5、公司大数据基础架构平台的运维,保障数据平台服务的稳定性和可用性;

6、大数据基础架构平台的监控、资源管理、数据流管理;

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求:

1、日志分析数据系统实际经验;

2、3年以上互联网行业研发经验,有使用hadoop/hive/spark分析海量数据的能力;

3、掌握 hadoop、flume,kafka、zookeeper、hbase、spark 的安装与调试;

4、熟悉大数据周边相关的数据库系统,关系型数据库和 nosql。

5、掌握 linux 操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;

6、有良好的沟通能力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。

大数据工程师的岗位职责篇四

职责:

1、数字货币领域数据统计分析,负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接,制定切实可行的的策略测试计划,开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理,并对实际交易结果进行量化的绩效分析,推动交易自动化

4、上级交办的其他工作

任职要求:

1、数学/计算机/金融专业毕业,有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验,具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析,具备一定对冲策略研究经验;

4、对数字货币领域感兴趣,结果导向;

5、有网页抓取和爬虫程序编写经验者优先。

大数据工程师的岗位职责篇五

职责:

1、负责数据分析、加工、清理、处理程序的开发;

2、负责数据相关平台的搭建、维护和优化;

3、负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;

岗位要求:

1、本科学历须211院校以上,硕士及以上学历不限院校,计算机软件及相关专业

2、熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;

3、熟练使用hadoop、hbase、kafka、hive、spark、presto,熟悉底层框架和实现原理;

4、使用spark streaming和spark sql进行数据处理, 并具有spark sql优化经验;

5、需要有至少2年开发经验,有flink开发经验优先;

6、学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力。

大数据工程师的岗位职责篇六

职责:

1、 负责部门团队技术人员培养,公司各平台后端功能设计及优化;

2、 参与项目框架设计、系统分析及流程控制、沟通对接等工作;

3、 独立或者分组进行针对项目需求的功能开发和优化;

4、 拥有良好的代码习惯,要求结构清晰,命名规范,逻辑性强,代码冗余率低;

5、 根据项目开发进度和任务分配,开发相应的应用模块;

6、 根据需要不断修改完善项目功能,参入核心代码的编写;

7、 负责核心模块代码研发工作,尤其服务端产品的架构分析、数据库、算法策略设计及核心研发;

8、 确保代码规范及代码质量;

9、 遇到关键技术难题时,及时进行问题定位、解决方案设计及驱动落实;

任职资格:

1、 计算机相关专业本科及以上学历,3年以上php开发经验,大厂经验优先;

2、 具有抓取开发经验、mysql索引优化、查询优化和存储优化经验、php缓存技术、静态化设计方面的经验,要求随时随地贯彻最优化开发的思想,所负责的项目须能承担繁重的访问压力;

3、 精通php/mysql开发,精通memcache、squid、redis等缓存技术者优先;

4、 有大流量并发网站工作经验,有创新思维并勇于挑战新事物;

5、 具有大数据量、高访问量、高并发网站设计开发经验;

6、 熟悉掌握html、js 、css 等前端技术 ;

7、 具备良好的编程习惯,熟练掌握oop编程和常见设计模式 ;

8、 具备团队开发经验,熟练掌握svn 、git 等常见工具的使用 ;

10、 责任心强,良好的对外沟通和团队协作能力,能承受工作压力。

大数据工程师的岗位职责篇七

职责:

1、负责根据需求调研结果,进行功能设计、详细设计;

2、负责需求和设计过程中相关文档的编制;

3、负责核心代码的编码和单元测试;

4、对技术难点进行攻关,并负责知识发布和知识传递。

任职要求:

1、全日制公立本科以上学历,计算机相关专业;

2、有3年以上基于j2ee b/s结构软件的开发经验;

3、熟悉html、javascript、ajax等相关web技术,熟练掌握jquery类库;

4、熟悉servlet、jsp、javabean、xml等知识;

5、熟悉spring、springmvc、mybatis框架;

6、熟悉数据库开发,熟悉oracle等;

7、有良好的学习能力、团队协作能力,主动沟通能力;

8、爱岗敬业,服从指挥,认真负责;

大数据工程师的岗位职责篇八

职责:

1、负责软件产品的研发工作;

2、负责系统分析、设计以及编码工作,系统瓶颈分析及解决;

3、负责分析并处理系统故障;

4、负责系统重构以及新产品的研发。

任职资格:

1、计算机或相关专业本科及以上学历;

2、5年以上j2ee实际项目的编程经验;

3、有mysql等主流数据库的实际应用经验;

4、熟悉常用框架,如 struts2、springmvc、spring boot 、hiberante;

5、熟悉并熟练掌握多线程,大数据处理方面技术,以及 dubbo、mq、缓存等组件;

6、熟悉web前端开发,熟悉javascript、jquery、json、ajax、css+span、dhtml、xml等页面处理技术;

7、通过svn进行团队协作开发;

8、具备良好的沟通能力与独立工作能力;

9、具备较强的学习能力和良好的工作效率。

大数据工程师的岗位职责篇九

职责:

1. 针对公司的监控系统进行二次开发,可根据后台数据自研展示系统。

2. 负责公司云平台系统的业务监控及可运维性、稳定性、高可用性问题,对云平台各类故障和事务应急响应,配合厂商排查问题;

3. 根据业务需求,依托开源框架体系,进行运维自动化系统部署平台整体或者子模块的开发、设计、实现;

4. 开发并维护运维自动化脚本,简化日常工作;

5. 负责云计算运维产品的性能调优;

6. 协助开发搭建测试平台,协助进行设计、验证测试等工作。

任职资格:

1. 大学本科以上学历,计算机相关专业;

2. 熟悉linux/unix管理和运维以及网络相关知识,至少2年以上linux使用经验,有 linux 内核参数调优经验者优先;

3. 精通python、shell或者java均可,至少3年以上的运维自动化开发经验,可以灵活运用脚本程序来提高运维的效率;

4. 熟悉运维相关的监控工具,有使用类似cacti,zabbix的经验,有对zabbix二次开发经验的优先考虑;

5. 熟悉 openstack 云平台日常运维操作及 neutron 网络架构优先;

6. 熟悉 elasticsearch、spark 、hadoop等大数据平台运维。

大数据工程师的岗位职责篇十

职责:

1、高效率高质量地完成web页面和移动app的制作工作;

2、完成复杂的业务模块的前端开发;

3、对已有功能的日常维护,以及生产问题处理、优化工作;

4、web前端表现层及与前后端交互的架构设计和开发;

5、与后端程序研发人员密切配合,高效率高质量地完成页面及效果的实现工作;

6、javascript程序模块开发,通用类库、框架编写;编写开发及其他相关的工作流程文档。

任职资格

1、两年以上前端开发经验,具备独立承担前端开发任务的能力 ;

2、具有两个以上完整项目的开发实施经验,代码简洁高效;

3、精通掌握html、javascript、ajax、css、jquery等web开发技术;

4、熟练掌握jquery及常用ui框架,能实现常用的ui交互效果;

5、熟练掌握html5+css3网页制作技术,熟悉页面架构和布局以及相关的细节;能够熟练运用html5特性构建移动端的webapp;

6、熟悉w3c标准,熟悉各种浏览器差异及兼容性问题的解决;

7、具备较强的文档编写能力和良好的文档规范性;

8、良好的语言表达能力、沟通能力、较强的学习能力,主动意识强,较好的团队合作意识;

9、工作态度认真细致,考虑问题全面深入,有强烈的责任心和敬业精神。

大数据工程师的岗位职责篇十一

职责:

1. 负责web设计的前端开发工作,使用html/css/javascript开发pc和mobile项目;

2. 与ui设计师沟通交互、视觉设计的相关问题;

3、优化产品,为用户提供更好的视觉操作体验;

4、对具体的产品进行性能优化,实现极致的页面加载、执行和渲染时间;

5、在理解前端开发流程的基础上,结合前端实际建立或优化提升工作效率的工具;

6、在理解产品业务的基础上,提升产品的用户体验,技术驱动业务的发展;

7、关注前端前沿技术研究,通过新技术服务团队和业务;

岗位要求:

1、熟练运用html+css来制作符合w3c标准的静态页面,兼容各大浏览器(ie9+,chrome,safari,firefox,opera);

2、熟练掌握xhtml/html5/css/javascript前端技术,具有2年以上javascript编程经验;

3、至少熟练使用一种js框架(如 jquery、backbone、angularjs、、 react),并有一定的项目经验;

4、至少了解一种前端构建工具(如 fis3、gulp、grunt、web pack);

5、至少了解一门后端开发语言(java/.net/php/python/ruby);

6、熟悉web前端与后端交互数据接口定义,前端ajax实现json、xml格式的数据发送与数据解析;

7、具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率,提高团队影响力;

8、对前端技术有持续的热情,个性乐观开朗,逻辑性强;

大数据工程师的岗位职责篇十二

职责:

1.负责oracle、sqlsever等数据库的实时数据处理、故障分析出来,性能优化等;

2.定位和解决数据集群组件性能和高可用问题,协助数据集群监控系统的开发;

3.深入探索业务数据,创造性的思考和发现问题,能够提出有效解决方案,协助新项目的预研和开发,数据驱动业务,

4.负责公司内外部各数据的接入和清洗处理。

任职资格:

1、计算机相关专业,本科及以上学历,1年以上hadoop开发经验,对分布式计算理论有深刻理解。

2、熟悉linux开发环境,熟练java、scala编程,有良好的编码习惯;

3、熟悉hadoop、hbase、hive、spark、kafka等系统相关技术原理与实现;

4、熟悉mysql、sql server、oracle开发环境,对sql语句相当熟练,具备sql调优能力;

5、有大数据运维相关经验优先

6、具备良好的沟通能力、学习能力、分析解决问题能力;

7、英语熟练优先

大数据工程师的岗位职责篇十三

职责:

1、负责公司大数据平台建设;

2、根据业务需求,制定数据仓库和数据分析平台的实施和持续更新;

3、攻克技术难关,保证大数据系统的稳定运行;

4、完成大数据产品的开发。

职位要求:

1、计算机相关专业全日制专科及以上学历,大数据相关经验;

2、熟悉java或scala语言,熟悉spark,hadoop,kafka,hive,hbase,zookeeper等大数据相关技术;

3、精通sql语句并对redis,mongodb等nosql数据库有一定经验;

4、对于高并发、高稳定可用性、性能、大数据处理有过实际项目产品经验者优先;

5、责任心强,工作踏实,有团队协作精神,沟通能力强者优先。

大数据工程师的岗位职责篇十四

1、软件的程序设计与代码编写。

2、有关技术方案、文档的编写,软件单元的测试。

3、根据项目具体要求,承担开发任务,按计划完成任务目标。

4、配合系统分析人员完成软件系统以及模块的需求调研、需求分析。

5、完成软件系统及模块的编码。

6、协助测试人员完成软件系统及模块的测试。

7、负责编制与项目相关的技术文档。

8、根据项目具体要求,承担大型网站设计与开发。

9、部分软件功能模块设计和软件界面美化。

10、协助测试试人员完成软件系统及模块的测试。

大数据工程师的岗位职责篇十五

职责:

1.根据需求和设计,完成后端业务功能的开发和单元测试;

2.配合测试人员调查测试中发现的问题,并解决确认的问题;

3.协助调查生产环境中发现的问题,并协助指定修复方案和计划;

4.与其他部门相关人员进行有效的沟通,持续提高产品开发质量和效率。

任职资格:

1. 本科以上学历,计算机相关专业毕业,3年以上java开发工作经验;

2. 熟悉spring mvc, mybatis等开源框架,熟悉微服务开发者优先;

3. 熟练运用mysql、sqlserver、tidb其中至少一种数据库;

4. 熟悉rpc、kafka、rabbitmq、zookeeper者优先;

5. 熟悉unix/linux系统的常用命令者优先;

6. 具有责任心和敬业精神和良好的沟通能力,具备良好的团队合作精神;

7. 具有工业物联网、智慧型环保项目背景者优先。

全文阅读已结束,如果需要下载本文请点击

下载此文档
a.付费复制
付费获得该文章复制权限
特价:5.99元 10元
微信扫码支付
已付款请点这里
b.包月复制
付费后30天内不限量复制
特价:9.99元 10元
微信扫码支付
已付款请点这里 联系客服