
数据工程师岗位职责(精选22篇)
在当今社会生活中,岗位职责对人们来说越来越重要,岗位职责主要强调的是在工作范围内所应尽的责任。那么制定岗位职责真的很难吗?下面是小编精心整理的数据工程师岗位职责,仅供参考,大家一起来看看吧。
数据工程师岗位职责 1
职责:
1、负责银行各类应用系统的运维标准制定和运维管理等工作;
2、负责银行各类应用系统的运行情况及相关技术的整理、分析和总结等工作;
3、负责银行各类应用系统的应用监控、应用运维体系工具的`建设和维护工作;
4、负责银行各类应用系统的自动化脚本编写和测试工作。
招聘要求:
1、全日制一本以及以上学历,理工类专业;
2、具备2年及以上应用系统运维或应用系统开发经验,有银行应用系统运维或开发经验者优先;
3、具备较强的文档编写、英语文档阅读能力;
4、具备良好的沟通表达能力和团队合作精神,具有较强的工作责任心和主动性;
5、至少具备以下二项技能:
(1)熟悉银行应用系统体系架构、应用运维标准化流程;
(2)熟悉AIX、LInux操作系统相关运维工作,具备熟练的SHELL脚本编程能力;
(3)熟悉应用软件持续集成和持续发布交付项目的整体流程,熟悉Jenkins、Nexus等相关Devops工具;
(4)熟练使用容器平台相关技术,有容器平台管理工作、应用容器打包的相关经验;
(5)熟练使用Golang或者Python编程。
数据工程师岗位职责 2
职责:
1、市场运营综合分析,能够独立分析市场业务中的问题和预测业务发展趋势,输出相关分析报告;
2、数据挖掘建模,能够根据业务管理需求进行建模输出;
3、负责数据资产标签运营管理,建设底层数据系统,推动数据运营体系建设;
4、管理后台数据库的'日常运维及故障处理,性能优化等相关工作。
应聘条件:
1、了解Oracle相关技术;对数据建模方法、数据分析理论有比较深入的理解;了解python数据分析方法,
2、责任心强,有抗压能力、较好的人际沟通能力和良好的团队合作精神。有互联网行业、通信运营、IT咨询、商业企业的数据分析运营岗位经验,底层数据系统建设经历者优先;
数据工程师岗位职责 3
职责:
1、负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定工程的数据挖掘模型的需求分析、建模、实验模拟;
2、负责数据挖掘系统的开发,包括需求分析、系统设计、系统测试和优化。
3、负责大数据集成、分析和洞察技术研究,业务建模。包括业务模型、数据模型的`生成和应用,关键算法的研究和开发。
任职要求:
1、具有深厚的统计学、数学和数据挖掘知识基础;
2、有较强的数据分析能力,逻辑思考、问题定位解决能力;
3、具有良好的沟通能力和团队协作精神。
4、较强的数据处理和分析能力。
数据工程师岗位职责 4
职责:
1、负责大数据平台数据仓库建设、数据分析挖掘工作;
2、负责大数据的处理、整合及数据建模,协同业务开发人员,将模型算法成果应用到实际业务系统中,并通过可视化工具进行分析成果展示;
3、基于用户数据,研究用户行为,构建用户画像。
任职要求:
1、应用数学、计算机、信息处理等相关专业本科及以上学历;
2、3年以上大数据开发经验;
3、熟悉hadoop的大数据生态,精通SQL语法【有较好的.SQL性能调优能力,掌握基于Hive或者Spark sql的HQL脚本编写;
4、具有从数据查询,聚合,分析到可视化的整套实践经验;
5、熟练使用java或者python、基础扎实、能编写Hive环境下或者Spark sql环境下的UDF;
6、具备良好的表达和沟通能力、学习能力,具备极强的团队合作精神,能够承受一定的工作压力。
数据工程师岗位职责 5
职责:
1、负责数据中心服务器架构的规划、建设、验收与运维,编制虚拟化和私有云建设方案、设备采购清单和具体实施计划;
2、负责参与相关业务系统的规划部署,分配与业务系统需求匹配的.计算、存储、网络资源,并提供相关技术支持;
3、负责制定服务器日常技术维护流程与制度,并推动执行,包括事务处理,系统升级、备份和恢复,日志报告等;
4、负责建立自动化、平台化管理运维平台,分析服务器架构日常运行情况,提供服务器性能分析报告和架构优化方案;
5、负责对服务器环境进行故障响应和问题跟踪,解决系统故障、性能瓶颈等相关问题;了解分布式服务框架、服务网关、消息中间件、数据中间件、公用组件服务等,参与中间件系统的安装、扩容、升级、迁移、拆分、合并等重要项目实施。
任职要求:
1、计算机相关专业统招本科及以上学历,3年以上服务器、存储及灾备系统建设管理经验、通过VMWAREVCP认证;
2、熟悉服务器、存储、备份、SAN网络管理;有存储运维经验者优先;
3、掌握linux运维管理;熟悉AIX、solaris者优先;
4、具有私有云建设、管理维护经验,有应用级别灾备系统项目运维经验优先。
数据工程师岗位职责 6
职责:
1.负责机票酒店大数据项目的评估、设计及关键模块研发;
2.参与公司大数据平台及联机分析系统的建设;
3.机器学习算法讨论、评估及算法的最终编码实现;
4.数据平台开发规范制定,数据建模及核心框架研发;
任职要求:
1.本科及以上学历,计算机或数学相关专业,三年以上相关工作经验;
2.掌握Java、Python、Scala等中的.一到两种语言;
3.熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发和调优;
4.熟悉数据相关开源框架和工具,如ZooKeeper、Spark、Flink、Impala、Kylin等;
5.对数据结构和机器学习算法有一定的了解;
6.具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先;
7.有机票酒店等旅游行业数据开发经验者优先。
数据工程师岗位职责 7
职责:
1.根据业务需求,设计数据库结构,改进数据库架构,实施数据库分布式、集群、负载均衡方案;
2.负责数据库服务可用性监控、容量规划、架构设计和扩容实施;
3.定期检查并优化数据库平台性能;
4.分析数据库系统性能瓶颈,提出优化建议和方案。
任职资格:
1.精通SQL Server、MySQL等数据库;
2.精通SQL脚本的.编写,有丰富的数据库管理、运维调优经验;
3.熟练使用数据库管理、分析、设计工具;
4.具备优秀的数据库架构设计能力,熟悉数据库性能优化;
5.快速处理系统突发事件的能力,较强的学习和创新能力。
数据工程师岗位职责 8
职责:
1、负责大数据平台的技术和产品的设计、开发、优化和维护;
2、负责大数据平台设计文档编写,线上产品的维护;
3、负责系统性能优化,解决各类潜在系统技术风险,保证系统的安全、稳定、快速运行;
4、负责整个产品平台的搭建、多维数据库建设及管控流程设计;
5、参与指标设计,数据建模,负责将数据模型在系统中实现;
6、负责数据抽取、数据交换、实时计算等框架研究及相关产品的研发;
7、负责追踪整体产品过程及质量把控。
任职要求:
1、专业技能:精通Hadoop生态圈中的一项或几项技术,深入了解Hadoop及相关组件的.部署及调优;设计或开发过大容量,高性能,高可用,易扩展的分布式系统;熟悉实时计算/流式计算系统,至少熟悉一项Nosql技术;具有扎实java功底及开发能力;对hadoop,hive,hbase,spark等相关源码有一定了解;
2、学历背景:计算机相关专业本科及以上学历;
3、工作经验:3年以上JAVA开发经验及1年以上大数据研发经验
4、能力素质:具有出色的抽象设计能力,思路清晰,善于思考,良好的团队合作能力、沟通能力、较好的自学能力,具有敬岗爱业的精神。
5、有团队管理经验者优先。
数据工程师岗位职责 9
1、负责数据库及操作系统的`日常维护,数据库性能监控及优化,故障诊断和排除;
2、制定并实施数据备份、恢复、复制计划,以及数据库的安全管理、用户管理;
3、负责数据库项目的安装、部署、维护等工作;
4、完成领导安排的其他工作。
数据工程师岗位职责 10
职责:
1.负责公司大数据业务集群的运维工作确保高可用;
2.负责基础运维、故障定位、容量规划、扩容及性能优化;
3.设计实现大规模分布式集群的运维、报警监控和管理平台;
4.参与业务架构设计,在设计阶段给出可运维性改进建议;
5.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向。
任职资格:
1.大专以上学历,2年及以上大数据运维工作经验,熟悉hadoop/hbase/hive/Yarn/Spark等分布式相关技术,熟悉源码尤佳,至少掌握python/shell中的一种语言,接受优秀应届毕业生;
2.了解大数据平台应用架构,具备常见问题的基本分析和解决能力;
3.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的.问题;
4.熟悉nginx/emq/tomca、mysql/mongodb/redis等web应用/中间件及主流开源数据库的使用和配置。
数据工程师岗位职责 11
1.参与产品和项目研发工作,基于spark完成产品大数据架构和功能开发;
2.搭建和调优大数据基础平台,包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建;
3.维护线上系统的稳定性、可靠性,通过分析现象快速定位问题,进而提出优化方案,改进要求;
数据工程师岗位职责 12
职责:
1、负责项目实施服务器所需操作系统、工具、数据库等软件安装并确保其安全运行;
2、负责项目的数据盘查,数据建模,数据清洗、数据整理以及对ETL整体流程的搭建;
3、负责oracle数据库的优化,负责oracle数据库性能调试,解决数据库出现的疑难问题;
4、负责linux系统中脚本的`编写及数据库中存储过程中的语句的编写以及数据库前沿技术的研究与探索;
5、辅助项目经理编写相关文档;
任职资格:
1、本科及以上学历,计算机及相关专业;
2、一年以上数据库开发、性能优化经验。
3、熟悉Oracle、MySQL数据库及Hadoop/Hbase等分布式数据存储的设计及开发,熟悉SQL语言;
4、熟悉linux操作系统的使用,熟悉应用系统架构、中间件优先。
5、具有团队合作精神,优良的沟通和协调能力,有较强的学习能力和钻研能力;
6、为人正直、诚信,对工作认真负责,能够承受一定工作压力,适应加班要求;
数据工程师岗位职责 13
职责:
1.依据应用系统需求创建数据库存储,完成数据库的更新、数据迁移、数据整理
2.管理数据库用户,维护数据库安全。
3.确保数据库状态正常,处理日常事务性数据库操作,提供业务和决策支持;
任职要求:
1、熟悉DB2或Oracle数据库,具备DB2或Oracle开发经验并能使用开发工具
2、熟悉数据库备份恢复,数据迁移,数据库调优和pl/sql编写,
3、具备一定的`优化SQL语句的能力;
4、会使用SQL语句进行基础增删改查操作。遇到问题能自行解决。有实际经验者优先。
数据工程师岗位职责 14
职责:
1、负责大数据平台Hawq数据库运维;
2、负责大数据平台Tbase数据库运维;
3、负责传统数据(Oracle、MySQL等数据库)数据迁移、数据同步;
4、负责日常数据库的监控及问题分析排查;
5、负责OGG、Kafafa等组件数据传输同步日常运维;
6、负责数据库的优化、SQL语句的.优化调优;
7、负责数据同步的检验与异常处理,确保数据的一致性、完整性、及时性;
8、负责制定数据同步方案及实施。
任职要求:
1、大专或以上学历,计算机或统计类相关专业
2、有3年以上技术类或数据类的开发经验;
3、熟练linux系统操作及linux运维监控、软件安装配置;
4、熟悉大数据技术,如Hadoop、Spark、storm、zookeeper等;
5、熟悉主流数据库mysql/sql serverl/oracle/postgreSQL等,精通SQL语句,对复杂SQL能进行优化,能熟练编写存储过程;
6、熟练Linux SHELL,可以进行运维SHELL开发;
7、学习能力强,责任心强,具有优秀的沟通表达、理解能力与团队合作能力;
8、有CentOS 7、Red Hat 7等Linux操作系统,有Shell脚本编写经验的优先。
9、有3年以上的基于MPP(greenplum ,HAWQ,Vertica,GBASE等MPP DB)数据仓库的实际运维经验或3年以上HIVE、SPARK实际项目运维经验
10、在实际项目中,有异构数据库迁移经验,从传统ORACLE,MYSQL迁移至MPP数据仓库的实战经验.
数据工程师岗位职责 15
1、学习并理解励步云学业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;
2、进行数据仓库设计、模型开发、数据质量校验,报表开发;
3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;
4、进行数据查询优化,解决跑数性能问题。
数据工程师岗位职责 16
职责描述:
1.负责导航地图数据编译开发工作;
2.负责地图显示、路径计算、检索的数据产品优化及新产品开发;
3.参与编译器重构优化、需求定制开发和增量数据编译发布开发;
4.负责地图数据编译服务平台设计开发;
任职要求:
1)摄影测量与遥感、地图制图学、地理信息、或其他相关专业硕士及以上学历,具有3年以上相关工作经验
2)对于nds标准和模型有深入理解,具有扎实的背景知识,有高精地图nds编译工具实际开发经验优先
3)熟悉现有的`导航地图格式,了解高精地图数据模型和格式更佳
4)精通c++语言,具有良好的编程习惯,熟悉常用设计模式
5)具有良好的英文读写能力,英语6级以上优先
6)具备良好的团队合作和沟通能力,很强的逻辑思维能力和学习能力
数据工程师岗位职责 17
职责:
1、利用数据挖掘、机器学习相关算法,解决业务需求,提高产品的用户体验;
2、对海量的'业务数据、用户数据进行挖掘分析,发现数据和业务背后的规律;
3、针对业务流程进行分析调研,探索提升转化率效果的思路和方案并推动转化、
岗位要求:
1、熟悉大规模数据挖掘、机器学习、分布式计算等相关技术,能熟练使用聚类、回归、分类等算法并调优;
2、熟悉Linux环境开发,至少熟悉java/PHP/Python/Scala/Go/C/C++等语言中一种或一种以上;
3、熟悉基于Spark、ElasticSearch、hbase等大数据平台的相关开发;
4、有深度学习实践经验者优先,有sparkmlib经验者优先。
数据工程师岗位职责 18
1.嵌入式bootloader,kernel开发;
2.工业通讯协议解析等;
3.windows/linux平台网关应用层程序开发;
4.网关产品的软件功能测试验证;
5.工业网关产品软件sdk及library开发。
数据工程师岗位职责 19
工作职责:
1.数据仓库和业务数据集市建设
2.业务模型抽象、数据模型设计开发
3.支持业务的数据需求,跟pm一起完善业务的数据分析体系和工具
4. etl、数据应用和服务的设计开发
5.积累数据生产、分析工具,不断提高数据生产效率
6.实时数据仓库设计、开发与服务
岗位要求:
1.快速的业务学习和理解能力,有良好的自驱能力,对工作充满热情
2.熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,熟悉多维数据模型设计
3.具备大型数据仓库架构设计、模型设计、etl设计的'相关经验
4.精通oracle数据库技术,深刻理解数据库/oracle特性,有过硬的sql能力,能编写高性能的数据处理程序。
5.具备hadoop、hive、hbase,spark等大数据技术背景,并具有开发经验者优先
6.具备海量数据处理经验者优先
数据工程师岗位职责 20
1、光学工程/应用光学等相关专业,本科以上学历,3年以上工作经验;
2、熟练使用Zemax等光学机械设计软件;做事认真细致;态度积极向上。
3、了解掌握光学设备的装调和技术问题的解决;
4、动手能力强,能够熟练设计光学系统的装调方案,熟悉光学设备定标的.实际操作;
5、有激光工作经验优先、最好做过激光设备调试及售后工作。
数据工程师岗位职责 21
1、与营销、研发部门沟通协助,确定项目的milestone与MP schedule;
2、制定各个工作的详细任务,跟踪任务的'执行情况并进行控制;
3、组织会议,对整个开发过程中的问题进行解决、检讨;
4、协调各项目参与人员之间的关系以及临时的工作任务等。
数据工程师岗位职责 22
职责:
1、负责内容的处理,包括关键词提取、主题分析、类目预测、质量打分等;
2、负责海量用户行为的分析研究,挖掘优化用户画像,包括人口属性和用户兴趣等;
3、负责推荐引擎算法的开发,包括各类推荐算法的实现、特征和参数调优、用户体验优化等;
4、负责数据营销平台策略的开发,包括用户洞察、行业指数趋势预测、各类精准定向算法的'实现和优化等;
5、负责人工智能技术的研究,包括机器学习、知识推理、文本语义理解、计算机视觉等技术;
6、通过海量数据对用户广告的行为进行深入分析与洞察,提炼和发现业务规律,指导推荐模型特征构建,定位产品相关的数据问题及分析优化;
7、结合广告投放场景和用户画像进行分析、归纳统计指标建设,协助模型快速定位问题。
招聘要求及条件:
1、具备数据挖掘、NLP、机器学习、最优化等算法原理知识背景;
2、具备推荐系统、精准营销、信息检索等方面的工作经验优先;
3、具备大规模分布式计算平台的使用和并行算法的开发经验,对大数据处理及应用有浓厚兴趣;
4、具有机器学习、数据挖掘、算法优化的基础并具有浓厚兴趣;
5、熟悉统计原理及检验方法、熟悉数据分析方法;
6、熟悉分类、回归、聚类、降维等机器学习算法及应用场景;
7、熟悉Java、Python等,能独立完成相关的数据分析及分析报告相关工作。
【数据工程师岗位职责】相关文章:
数据工程师岗位岗位职责12-19
数据挖掘工程师岗位职责01-26
数据库工程师岗位职责10-20
数据库工程师岗位职责01-04
大数据研发工程师岗位职责04-06
数据仓库工程师的岗位职责04-02
大数据开发工程师岗位职责01-09
数据库工程师的岗位职责04-06
数据挖掘工程师工作的岗位职责08-21
数据仓库工程师岗位职责03-13