当前位置:网站首页 >> 作文 >> 2023年大数据开发工程师工作职责(20篇)

2023年大数据开发工程师工作职责(20篇)

格式:DOC 上传日期:2023-02-27 14:36:12
2023年大数据开发工程师工作职责(20篇)
时间:2023-02-27 14:36:12     小编:zdfb

人的记忆力会随着岁月的流逝而衰退,写作可以弥补记忆的不足,将曾经的人生经历和感悟记录下来,也便于保存一份美好的回忆。范文书写有哪些要求呢?我们怎样才能写好一篇范文呢?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。

大数据开发工程师工作职责篇一

1、负责数据分析、加工、清理、处理程序的开发;

2、负责数据相关平台的搭建、维护和优化;

3、负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发;

岗位要求:

1、本科学历须211院校以上,硕士及以上学历不限院校,计算机软件及相关专业

2、熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;

3、熟练使用hadoop、hbase、kafka、hive、spark、presto,熟悉底层框架和实现原理;

4、使用spark streaming和spark sql进行数据处理, 并具有spark sql优化经验;

5、需要有至少2年开发经验,有flink开发经验优先;

6、学习能力强,喜欢研究新技术,有团队观念,具备独立解决问题的能力。

大数据开发工程师工作职责篇二

职责:

1、负责大数据平台的基础环境搭建与性能优化,完成平台的构建与维护、实时流计算平台、分布式调度、可视化报表等平台的架构与研发;

2、对各种开源框架进行深入的代码剖析和优化;

3、参与大数据技术方案评审;

4、指导初中级大数据工程师工作;

岗位要求:

1、计算机相关专业全日制专科及以上学历,具有3年或以上的分布式计算平台研发工作经验;

2. 对大数据相关组件:hadoop、spark、hbase、hive、flink、kafka、flume等架构与底层实现有深入理解,具备相应的定制和研发能力,尤其需要精通flink框架;

3. 具备构建稳定的大数据基础平台的能力,具备数据收集、数据清洗、数据仓库建设、实时流计算等系统研发经验;

4. 对技术有热情,有不错的数据思维和敏感度,有一定的数据分析能力优先,对深度学习、机器学习有一定的了解优先;

5. 工作有计划性,责任心和执行能力强,具备高度的责任心、诚信的工作作风、优秀沟通能力及团队精神。

大数据开发工程师工作职责篇三

职责:

1、大数据日志分析系统的设计,选型和开发;

2、配合各业务给予数据支持,对产品和运营数据总结和优化;

3、处理用户海量数据,提取、分析、归纳用户属性,行为等信息,完成分析结果;

4、发现并指出数据异常情况,分析数据合理性;

5、公司大数据基础架构平台的运维,保障数据平台服务的稳定性和可用性;

6、大数据基础架构平台的监控、资源管理、数据流管理;

7、基于数据分析的可预测的云平台弹性扩展解决方案。

任职要求:

1、日志分析数据系统实际经验;

2、3年以上互联网行业研发经验,有使用hadoop/hive/spark分析海量数据的能力;

3、掌握 hadoop、flume,kafka、zookeeper、hbase、spark 的安装与调试;

4、熟悉大数据周边相关的数据库系统,关系型数据库和 nosql。

5、掌握 linux 操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;

6、有良好的沟通能力,具备出色的规划、执行力,强烈的责任感,以及优秀的学习能力。

大数据开发工程师工作职责篇四

职责:

1、数字货币领域数据统计分析,负责数字货币量化投资策略的设计、管理以及实际投资运作

2、与交易员对接,制定切实可行的的策略测试计划,开展新策略模型的开发和验证

3、协助交易员进行交易、风险管理,并对实际交易结果进行量化的绩效分析,推动交易自动化

4、上级交办的其他工作

任职要求:

1、数学/计算机/金融专业毕业,有扎实的算法和机器学习的理论基础

2、有量化实盘交易经验,具备丰富的数学建模经验及较强的数据处理能力优先

3、对金融市场的价格波动有独特理解和深入的量化分析,具备一定对冲策略研究经验;

4、对数字货币领域感兴趣,结果导向;

5、有网页抓取和爬虫程序编写经验者优先。

大数据开发工程师工作职责篇五

职责:

1.参与大数据平台搭建以及项目技术架构。

2.数据分析,挖掘,模型具体的产品化;

3.根据产品需求,分析编写和制定大数据相关解决方案

岗位要求:

1、计算机相关专业本科以上学历,编程基础扎实,有2年以上大数据开发经验

2、熟悉hadoop生态和体系架构,熟悉flink、spark,hive等常用开源工具

3、熟悉flume,kakfa,scribe等日志收集体系

4、熟悉主流数据库(oracle、postgresql、mysql、sql server)中的1种及以上,有较好的sql性能调优经验

5、有数据仓库etl经验者优先

6、有用户行为日志采集、海量数据处理、数据建模方面经验者优先

7、有持续学习的能力;喜欢开源软件,乐于知识分享;对工作认真负责;可以独立承担较大工作压力

大数据开发工程师工作职责篇六

职责:

1、根据产品需求和设计完成兼容性良好的前端页面制作,与后台工程师协作;

2、完成数据交互、动态信息展现,实现数据可视化;

3、拥有良好的设计审美;

4、基于html5的webapp界面开发;

5、保持代码的高可靠性和可维护性。

任职资格:

1、熟练使用html5、html、css,css3等页面结构和布局;

2、熟练使用响应式页面开发,屏幕自适应;

3、熟练使用jquery、javascript,能独立开发;

4、精通web标准页面开发,能实现兼容主流界面(ie8及以上、ff、chrome等主流浏览器);

5、熟悉前端页面代码结构、前端交互性能,页面结构和页面布局,对语义化、结构与内容分离、用户体验有一定的理解;

6、至少有angular、vue之一开发经验。

大数据开发工程师工作职责篇七

职责:

1、负责产品的设计和开发工作;

2、参与项目的系统、功能分析和评审;

3、根据需求文档完成相应的模块设计、开发、优化、单元测试、集成和发布;

4、根据项目要求及上级分配的任务,承担系统功能开发,并按计划完成任务目标;

5、编写所负责的模块的接口文档,制作负责模块的系统架构图,梳理业务流程,并编写相关文档,编制与项目相关的技术文档;

6、独立完成软件系统及模块的编码;

7、协助测试人员完成软件系统及模块的测试;

任职要求:

1、java基础扎实,了解jvm原理,熟悉网络、多线程编程

2、熟悉java web等后端开发技术,比如spring mvc、 mybatis等,掌握spring及周边,mybatis,maven等开发技术,熟悉或参与过springcloud微服务项目优先;

3、了解分布式系统相关技术,如分布式缓存、消息队列等中间件

4、有高并发、高可用、微服务等开发经验者优先

5、熟悉数据库基本原理,熟练使用mysql、nosql(如mongodb,redis)等常用的数据库系统,有较强的数据库设计能力;

6、可以承担较高强度的开发工作;

7、有传统中小学教育行业工作经验优先考虑。

大数据开发工程师工作职责篇八

职责:

1)参与项目需求分析和设计;

2)完成软件系统代码的实现,编写代码注释和开发文档;

3)完成功能模块代码的实现及单元测试,确保系统性能、质量和安全;

4)向初级组员提供引导、支持并管理日常活动。

5)负责撰写所负责模块的相关文档等。

岗位要求:

1)计算机相关专业,熟悉java常用框架,有3-5年java开发经验;

2)参加过3-5个java项目,独立承担过java项目开发或java项目核心模块开发.

3)熟悉主流数据库oracle、sqlserver、mysql,熟悉数据库结构及设计;

4)有一定的编写需求分析说明书、概要设计、详细设计的能力,能够进行原型设计。有工业信息化项目背景优先,比如mes、erp、wms、lims,设备数据采集、物料等

5)具有很强的学习和独立分析能力、工作责任心、良好的沟通能力和团体合作精神。

大数据开发工程师工作职责篇九

职责:

1、有较强的需求理解能力,根据需求编写代码和单元测试;

2、遵循编码规范,及时完成项目管理组分配的开发任务,保证项目开发进度;

3、配合测试对所开发项目进行集成测试、缺陷修复等项目品质保证的相关工作;

4、对所负责项目进行代码优化、功能维护、性能维护、需求变更和协助系统部进行系统维护、系统优化以及相关的项目维护工作。

任职资格:

1、大学本科及以上学历,3—5年工作经验;

2、扎实的java基础,熟悉j2ee、servlet、jsp、spring mvc、spring、mybatis、js、css等技术;

3、熟悉oracle、mysql数据库管理、开发;

4、熟悉应用服务器和开发工具,如tomcat等,能对目标系统进行优化配置;

5、有互联网、供应链开发经验者优先;

6、良好的文字表达能力;

7、有强烈的求知欲、优秀的自我学习能力、熟悉流行的开源项目;

8、工作积极主动,具有强烈的责任心、事业心,具有良好的沟通能力、团队配合精神。

大数据开发工程师工作职责篇十

职责:

1、负责公司服务器的日常维护,包括idc机房服务器和云服务器;

2、系统日常调整和故障处理,保证网站的高并发和高可用性,遇到故障及时定位并找出解决办法;

3、负责日常监控系统的搭建和完善;

4、对运营系统的运行状况进行性能分析,提出可行性的优化和改进方案;

5、编写相关技术文档及操作说明;

6、负责运维平台的开发,推进自动化运维体系建设。

任职要求 :

1、本科及以上学历,1-3年linux运维相关经验;

2、熟悉python开发,能够进行自动化运维工具及页面的开发;

3、熟练使用shell,perl等脚本语言并具备较强的开发能力。

4、熟悉数据库常用的sql命令,有一定的sql优化能力;

5、熟悉nginx/apache/tomcat等web应用服务器部署、优化;

6、熟练使用saltstack,zabbix或openfalcon;

7、熟练使用相关工具进行网络故障诊断,熟悉iptables,vpn等网络工具。

8、具有kvm虚拟化环境、公有云平台使用经验,有docker应用经验优先;

9、有较好的学习能力和沟通能力,有强烈的责任感,对新技术充满好奇,乐于分享。

大数据开发工程师工作职责篇十一

职责:

1、负责公司项目的二次开发和维护工作;

2、参与软件需求分析,进行模块设计、代码编写、单元测试等工作,对软件质量负责;

3、参与app、网站架构、性能、安全、扩展等优化的设计和实现。

岗位要求:

1、三年以上php后端开发经验,原生或框架开发都可适应;

2、熟悉js前端开发,有丰富客户端开发经验;

3、熟悉mysql数据库,及各种sql语句操作,能独立设计合理高效的表结构,;

4、熟悉微信开发接口,有微信公众号、开放平台、小程序等项目开发经验;

5、熟悉微信支付支付宝支付等在线支付接口,具有商城或团购开发经验;

6、具有优良的编程风格和习惯,技术输出结构清晰、命名规范、逻辑性强、代码冗余率低;

7、了解linux相关操作命令。

大数据开发工程师工作职责篇十二

1、参与软件产品项目规划工作;制定具体实施方案;

2、整合并优化项目开发所需各种资源;

3、参与软件系统的设计和分析;

4、对现有的系统进行优化、维护和升级

5、负责软件开发技术和规范及标准流程的改进;

6、根据开发进度和任务分配,完成相应模块软件的设计、开发、编程任务;

7、参与方案讨论和技术调研,负责方案升级,更新及后期技术支持

8、熟悉ssh等开源技术框架下的web开发,熟悉springmvc技术的基本使用。

9、熟练使用javascript、extjs等前端技术。

10、精通oracle、mysql数据库,精通sql语句应用,熟练掌握数据库基本性能优化。

大数据开发工程师工作职责篇十三

职责:

1.参与基于lnmp的网站架构设计与开发;

2.参与网站服务器性能优化工作,如数据库优化,缓存优化,分布式集群等;

3.参与日常网站业务开发工作,包括后台与前端。

任职要求:

1.统招计算机相关专业本科学历以上;

2.扎实的编程基础(c/c++,数据结构,算法),3年以上网站开发经验;

3.精通php+mysql编程以及主流的php框架(yii2,zend),熟悉面向对象编程及mvc模式;

4.熟练掌握xhtml、css、span、javascript、jquery等前端页面技术;

5.学习能力强,热爱技术,宽广的技术视野;

6.强烈的责任感和良好的团队合作精神;

7.有数据库优化、高并发互联网应用开发经验优先;

8.掌握多门语言,双端开发者优先。

大数据开发工程师工作职责篇十四

职责:

1、开发和移植游戏到网页平台

2、和游戏设计师紧密合作,实现游戏设计师的设计。

3、优化游戏代码,保证游戏质量。

4、预估工作时间,安排工作计划,配合团队的计划和管理

岗位要求:

1、2年或以上h5游戏开发经验;

2、熟悉至少一款h5引擎(egret、cocos2dx-js、layabox等),了解各引擎特点,相关工具和环境,至少使用某款h5引擎开发过一款游戏;

3、熟悉面对对象编程的概念,有javascript、actionscript或typescript开发经验;

4、熟悉 websocket 和 http 等网络协议,熟悉 json丶protobuf 等数据协议;

5、有优化包体大小、游戏运行效率、游戏体验的经验;

6、熟悉休闲竞技游戏的开发模式和优化原理,确保游戏在表现效果上和性能上有突出表现;

7、与策划、美术等合作团队进行沟通协调,满足开发需求

8、熟悉webgl和计算机图形的相关知识。

大数据开发工程师工作职责篇十五

职责:

1. 根据公司业务需求,进行数据开发及报表制作;

2. 参与bi、大数据平台体系建设;

3. 文档整理,包括er图、原型设计、数据字典整理等;

岗位要求:

1. 本科或以上学历,计算机相关专业,2年及以上工作经验;

2. 熟练使用主流数据库(如oracle/postgresql/mysql等),掌握sql查询优化方法;

3. 熟悉hadoop生态,能够熟练使用hive/hbase/spark进行数据开发;

4. 掌握java或python,会tableau/kylin/帆软等bi工具者优先;

大数据开发工程师工作职责篇十六

职责:

1、负责建行公有云定制化产品的管理平台和自动化集成平台开发

2、负责云基础产品建行定制特性功能开发

3、能够了解客户业务需求,提供解决方案及技术建议方案;

4、就公司产品能在技术层面向客户进行讲解和培训;

5、撰写技术支持文档或功能使用文档,配合新产品测试,提供测试反馈;

6、开发工具,对接平台接口,参与平台工具脚本的编写。

岗位要求:

1. 本科以上学历,计算机相关专业,3年以上后台开发经验

2. 熟悉linux系统管理维护,熟悉http协议、tcp/ip网络协议;

3. 熟练使用shell脚本语言,以及python开发语言及mysql

4. 具备良好的合作精神和快速学习能力;

5. 熟悉uwsgi + flask 服务框架,熟悉nginx,mysql等中间件

6. 有云平台运维经验者优先(阿里云、aws 等)、有持续集成及持续部署经验者优先、有日志管理经验者优先、熟悉 openstack技术者优先、有ansible开发经验者优先

7. 有互联网运维开发经验者优先

大数据开发工程师工作职责篇十七

职责:

1、负责平台系统的开发工作;

2、参与系统设计以及核心代码的编写;

3、处理日常发现的问题,配合各部门需求完成系统流程优化工作;

4、 参与重大项目的技术方案设计及技术评审,把握复杂系统的设计,确保系统的架构质量;

5、 为团队引入创新的技术、创新的解决方案,用创新的思路解决问题。

任职要求:

1、大专及以上学历,计算机相关专业,具有5年以上web/php开发经验;

2、熟练掌握 html/css 和 javascript 等 web 开发技术,熟练掌握 php语言,熟悉数据库mysql,拥有优秀的数据库设计能力, 熟悉php安全开发规范;

3、有在线教育类项目开发经验优先,能处理高并发;

4、熟悉设计模式和算法,深入了解php的性能最优化和安全最大化;

5、为人诚实正直,工作主动,有强烈的责任感和事业心。

大数据开发工程师工作职责篇十八

职责:

1、负责linux下高性能、高可用方案的集群化部署,如lvs+keepalived、缓存varnish、nginx,memcached,双机热备等;

2、负责公司大规模服务器部署的策略制定和系统优化工作等;

3、负责线上系统层面稳定性保障,系统监控,内核升级,安全事件处理等;

4、负责各类应用软件(nginx、apache、tomcat、squid等)的安装和维护;

任职要求:

1、2年以上运维或开发经验;

2、有lvs集群、nginx、redis等中间件安装和部署经验优先;

3、熟悉tcp/ip/http等通信协议,熟悉常用抓包工具且会分析报文的优先;

4、熟悉golang/python/java等任意一门编程语言;

5、熟悉自动化工具puppet、ansible、saltstack等的部署和使用优先考虑;

大数据开发工程师工作职责篇十九

职责:

1、 负责公司云计算业务相关系统的开发、升级、优化工作。

2、 参与相关业务逻辑后台架构设计、系统建模、数据库设计、核心代码的编写及后台服务程序的研发和编写。

3、 独立完成完整功能测试和发布,准备相关的技术文档,协助解决各种技术问题。

4、 进行详细设计、代码开发,配合测试,高质量完成项目。

5、 按照项目计划,按时提交高质量代码,完成开发任务。

任职资格:

1、 2年以上php开发经验;精通php + mysql,熟悉oop编程思想和mvc框架,有整体项目开发经验。

2、 熟练使用javascript,jquery熟悉ajax、json数据交互,对mysql数据库有丰富的经验及熟悉优化。

3、 熟悉php缓存技术、了解高并发、负载均衡处理技术。

4、 有移动开发经验,能完成主流应用工具接口的二次开发,能为业务提供接口支持者优先。

5、 有良好的编码习惯,具有高度的责任心、良好的沟通能力和团队协作精神。

大数据开发工程师工作职责篇二十

职责:

1. 从事数据中心、游戏运营后台等相关功能与系统的研发;

2. 根据公司产品发展方向,研发新系统;

3. 参与后端基础服务的开发、实现;

职位要求:

1. 两年以上相关工作经验,有游戏从业经验经验者则优先考虑

2. 熟悉php的面向对象编程,了解linux操作系统;

3. 熟悉关系型数据库mysql,拥有优秀的数据库设计与优化能力

4. 熟悉memcache、redis等缓存系统,对服务器端程序的部署、架构、调优有一定的了解;

5. 熟悉常用开发框架thinkphp、laravel;

6. 熟悉html/css/js,了解html5/css3/bootstrap;

7. 了解python,具备web自动化设计思维(加分项)

8. 拥有良好的代码习惯,结构清晰、命名规范、逻辑性强、代码冗余率低,有撰写详细的编码注释的习惯;

全文阅读已结束,如果需要下载本文请点击

下载此文档
a.付费复制
付费获得该文章复制权限
特价:5.99元 10元
微信扫码支付
已付款请点这里
b.包月复制
付费后30天内不限量复制
特价:9.99元 10元
微信扫码支付
已付款请点这里 联系客服