etl工程师岗位职责

etl工程师岗位职责（通用20篇）

　　在当今社会生活中，接触到岗位职责的地方越来越多，岗位职责是一个具象化的工作描述，可将其归类于不同职位类型范畴。到底应如何制定岗位职责呢？以下是小编精心整理的etl工程师岗位职责，仅供参考，希望能够帮助到大家。

　　etl工程师岗位职责 篇1

　　职位描述：

　　工作职责:

　　1、根据公司数据分析需求进行基于hadoop平台的项目开发；

　　2、根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理，监控等；

　　3、负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

　　4、负责设计并优化基于hive的数据仓库的建设；

　　5、制定数据库备份和恢复策略及工作流程与规范。

　　6、能出具消费品品牌制造行业应用的'数据分析技术解决方案，并落地。

　　任职资格:

　　1、从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验，具备海量数据加工处理相关经验；

　　2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

　　3、有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

　　4、熟练掌握kettlesqoop、datax、airflow等;

　　5、有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

　　6、熟悉分布式计算presto/imapa优先;

　　7、有实时计算方面的经验的优先。

　　etl工程师岗位职责 篇2

　　职责描述：

　　1、负责数据仓库建模，业务数据集市建设开发

　　2、负责数据仓库etl流程的优化及解决etl相关技术问题、etl流程监控，保障数据平台架构稳定性

　　3、建立数据分析指标体系，不断完善指标体系和分析模型；

　　4、通过专项分析，输出专项分析报告

　　5、负责数据分析相关需求和数据测试的工作

　　任职要求：

　　学历要求：

　　全日制统考类本科及以上学历，计算机、通信、电子、软件工程、统计学、应用数学、数据分析等相关专业

　　专业技能：

　　1、熟悉数据仓库各类模型建模理论，熟悉数据仓库数据分层架构和多维数据模型设计；

　　2、丰富的数据分析经验，熟练掌握sql、hql、sparksql，擅长运用其分析并完成复杂业务数据查询

　　3、掌握至少一种数据库开发技术：mysql/oracle/db2等，灵活运用sql实现海量数据etl加工处理；

　　4、熟悉hadoop生态（如：hdfs/mapreduce/hive/hbase等），并有相关实践经验；

　　5、熟练掌握一门或多门编程语言（如：python/shell/java/c++等），并有大型项目建设经验者优先；

　　素质：

　　1、敏锐的数据观察和分析能力，及时发现和分析其中隐含的`变化和问题并给出建议；

　　2、良好的沟通能力和团队精神，较强的学习能力，能承担一定的工作压力。

　　经验：

　　至少2年以上数据仓库（离线&实时）模型设计开发、etl设计开发的相关经验，有通信运营商o域/b域大数据、智慧城市大数据的数据仓库、etl设计研发经验者优先

　　etl工程师岗位职责 篇3

　　职位描述:

　　1、负责数据仓库/数据集市etl设计开发;

　　2、负责与业务部门数据需求的沟通与确认;

　　任职资格:

　　1、三以上工作经验;

　　2、熟悉主流etl开发工具,如:ssis、kettle、datastage等;

　　3、熟练掌握主流数据库的使用,如:sqlserver、mysql、oracle,对sql查询优化有丰富的经验;

　　4、熟悉主流报表工具,如:tableau、powerbi、cognos;

　　5、良好的.沟通技能,清晰的逻辑思维能力;

　　6、工作认真仔细,积极主动,具备较强的自主学习、自我总结能力。

　　etl工程师岗位职责 篇4

　　岗位职能：

　　1、基于公司数据建设需要，完成数据平台构建、数据内容开发等工作。包括：数据平台基础设施建设、数据采集、etl、数仓及数据集市、数据应用产品等开发工作；

　　2、充分理解需求文档，基于此进行自测，交付高质量的'开发代码和数据内容；

　　3、工作中对数据平台基础设施、数据内容建设等工作主动深度思考，提升效能并积极建言、促进组织和系统发展；

　　4、其他根据部门需要安排事宜；

　　岗位要求：

　　1、信息技术类、数学、统计学、计量经济学类专业，研究生及以上学历。优秀候选人学历可以放宽至本科，工作年限5年以上；

　　2、熟悉数据仓库模型设计和精通etl开发经验，掌握3nf，kimball的维度建模设计方法，具备海量数据加工处理（etl）相关经验；

　　3、掌握至少一种数据库开发技术：oracle、teradata、db2、mysql等，精通并灵活运用sql实现海量数据etl加工处理；

　　4、熟悉linux系统常规shell处理命令，灵活运用shell做的文本处理和系统操作；

　　5、有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hdfs、hive（hql)、hbase；

　　6、熟练掌握一门或多门编程语言，并有大型项目建设经验者优先，重点考察python、perl、java；

　　7、熟悉数据仓库领域知识和技能者优先，包括但不局限于：数据开发测试工具与方法、数据质量等；

　　8、良好的语言沟通与表达能力和自我驱动动力。

　　etl工程师岗位职责 篇5

　　职责描述：

　　1、负责数据分析、加工、清理、处理程序的开发

　　2、负责数据相关平台的搭建、开发、维护、优化

　　3、分布式平台应用开发（hadoop/spark/hive/hbase）

　　4、开发数据统计系统，各类统计程序报表。

　　任职要求：

　　1、2年以上java或python开发工作经验，java基础扎实；

　　2、熟悉常见在线与离线大数据系统，如hive，hbase，es，kafka等的工作原理与开发调优;具有mapreduce开发经验，有实际大数据项目经验；

　　3、熟练掌握oracle、mysql等主流数据库上的.开发；

　　4、具有良好的沟通能力、组织能力及团队协作精神，有较强的分析和解决问题的能力。

　　etl工程师岗位职责 篇6

　　岗位职责:

　　1、负责大数据、bi系统相关模块的实施,项目管理工作,包括但不限于需求管理、项目规划、过程实施、上线验收、交付运营等;

　　2、依据业务场景、分析需求提供技术、业务解决方案并加以实现;

　　3、与技术部门对接,解决数据建模、报表和报告在系统开发遇到的.问题;

　　4、协助项目经理进行项目交付或协助商务开展售前支持或poc工作。

　　任职资格:

　　1、本科及以上学历,计算机、统计学、应用数学等相关专业;

　　2、熟悉hadoop平台,2年以上hive、sqoop开发经验;

　　3、了解bi系统,有数据管理经验,有维度建模相关经验;

　　4、3年以上相关工作经验,有银行或金融数据分析经验者优先;

　　5、熟悉db2、oracle等数据库及sql数据查询,熟悉hadoop者优先;

　　6、熟悉linux开发环境和shell脚本;

　　7、具备银行项目设计、开发、优化等经验者加分;

　　8、优秀的业务理解能力、逻辑性和沟通能力,能跨部门合作沟通。

　　etl工程师岗位职责 篇7

　　岗位职责

　　1、负责数据仓库模型设计和优化，基于hadoop／hive／odps(maxcouputer)、adb等进行数据仓库etl开发和维护工作；

　　2、负责日常作业的部署和调度研发及维护工作；

　　3、负责制定数据标准制定，数据质量标准，从而有效的进行数据治理工作。

　　4、负责各类业务数据的etl任务及数据仓库部署和管理，持续改进优化etl、分析处理、数据呈现等流程，协调海量数据压力问题。

　　任职资格

　　1、三年以上数据仓库／etl／数据处理相关开发经验；

　　2、具备mysql、oracle或hive等主流平台的数据开发及调优经验，熟悉python或java优先；

　　3、具备良好的学习能力，善于沟通，具备较强的业务推动能力和执行力；

　　4、熟悉数据仓库体系架构、建模理论和模型设计思路，能用于项目实践；

　　5、有良好的'快速学习能力和团队协作能力；

　　6、有java或python项目研发经验者先考虑；

　　7、有产品意识，善于沟通，积极主动，能够以目标为导向理解工作中相关任务的处理优先级关系。

　　etl工程师岗位职责 篇8

　　职责描述：

　　1、负责数据仓库建模和etl技术工作，参与数据项目各类数据源etl的接口设计和文档、流程规范；

　　2、负责项目中数据清洗、数据处理、数据校验相关开发工作；

　　3、配合使用主流数据挖掘工具、etl工具、bi展现的设计和开发；

　　4、能够按照公司全面质量管理的要求，高质量地完成各类技术支持工作。

　　任职要求：

　　1、计算机相关专业本科以上学历，3年以上工作经验；

　　2、熟悉etl开发、数据仓库设计流程，熟悉mysql、oracle，mssqlserver等主流数据库，表结构设计，存储过程编写；

　　3、有一定的.sql调优知识和经验，具有bi相关知识；

　　4、有hana、hive经验优先；

　　5、具备财务基础知识或者erp基础知识者优先；

　　etl工程师岗位职责 篇9

　　岗位职责：

　　1、数仓开发、etl开发；

　　2、银行业数据模型的设计辅助、mapping和落地等；

　　3、shell脚本开发维护；

　　4、银行业务系统的数据调研和分析。

　　任职要求：

　　1、本科及以上学历，计算机或相关专业；

　　2、2年以上oracle、db2等数据库开发经验，熟悉数据库体系结构；

　　3、精通pl/sql编程，精通存储过程开发；

　　4、熟悉linux操作系统；

　　5、熟悉etl调度工具和前端工具；

　　6、软件基础理论知识扎实，具备良好的数据结构、算法功底，有一定独立分析、技术研究能力；

　　7、良好的沟通能力、团队合作精神、乐于；

　　8、具备较强的自学能力，有一点抗压能力，能够接受出差性质的.工作。

　　如有以下技术背景优先考虑：

　　1、有银行业系统开发经验；

　　2、参与过数仓项目开发、实施；

　　3、有数据治理项目经验的。

　　etl工程师岗位职责 篇10

　　职责描述：

　　1、负责数据仓库开发需求收集和分析；

　　2、负责数据模型体系构建及数据主题设计和开发；

　　3、负责数据抽取、清洗、转化等数据处理程序开发；

　　4、负责对公司数据仓库平台整体架构改进与流程优化；

　　5、负责bi报表开发和优化。

　　任职资格：

　　1、2年以上数据仓库工作经验；

　　2、熟悉数据库、etl、bi建模等工具；

　　3、良好编程习惯，以及较强的学习能力和沟通能力。

　　etl工程师岗位职责 篇11

　　岗位职责：

　　1、根据概要设计，进行详细设计的'文档编写；

　　2、负责etl过程的设计/开发实施、单元测试；

　　3、负责项目中etl相关需求调研、源数据调研、整体设计；

　　4、负责项目中环境安装及配置；

　　5、维护和升级现有etl任务和存储过程，快速定位并修复现有系统缺陷。

　　职位要求：

　　1、大专及以上学历，计算机相关专业，3年以上etl工作经验。

　　2、熟悉etl开发流程，有hadoop和etl工作经验；有从传统数据库抽取数据到hive数据仓库经验，了解sqoop应用原理者优先。

　　3、熟悉主流数据库sqlserver、oracle、db2、mysql等；熟悉开源的etl工具。

　　4、有海量数据处理工作经验，数据分析和挖掘经验者优先；

　　5、做过数据仓库、ods项目，对数据治理、数据标准及元数据有很好理念及实施经验的优先；

　　6、熟练使用脚本语言：如perl、python、shell等任意一种以上；

　　7、熟悉linux系统指令和性能优化；

　　8、善于学习新技术，对新技术有较强的接受能力；工作认真细致，愿意于人交流沟通。

　　9、有大型数据仓库系统研发、设计经验者优先；

　　10、熟悉java语言或hadoop技术者优先；

　　岗位要求：

　　学历要求：大专

　　语言要求：不限

　　年龄要求：不限

　　工作年限：3-4年经验

　　etl工程师岗位职责 篇12

　　职位描述：

　　职责：

　　1、按业务分析需求进行建模；

　　2、进行数据仓库需求分析、方案设计、etl装载过程设计；

　　3、从业务数据库到数据仓库的etl开发；

　　4、结合业务流程和需求进行数据分析；

　　任职资格：

　　1、本科以上学历，计算机等信息技术相关专业；

　　2、有互联网金融相关工作经验，了解相关数据流和业务背景优先；

　　3、两年及以上数据仓库相关工作经验，对数据仓库系统架构具有良好的认识，熟悉数据仓库相关技术，如etl、报表开发，具备数据分析技术并具有相关项目经验；

　　4、具有hive、spark、mysql、oracle等至少一种大型数据库的应用开发经验，熟悉数据标准管理、元数据管理、数据质量管理；

　　5、具备python统计和数据挖掘相关基本开发能力；

　　6、沟通能力好，善于规划和总结，注重团队合作及知识共享，能承担一定的.工作压力；

　　etl工程师岗位职责 篇13

　　1、5年以上做bi、数据仓库etl开发方向,行业不限;

　　2、过去做北京汽车项目;

　　3、英语能基本读写;

　　4、开发经验丰富,能迅速完成交办相关工作;

　　5、沟通能力良好,具备团队合作精神,能适应一定压力开展工作。1年以上做bi、数据仓库etl开发方向,行业不限;

　　2、过去做北京汽车项目;

　　3、英语能基本读写;

　　4、开发经验丰富,能迅速完成交办相关工作;

　　5、沟通能力良好,具备团队合作精神,能适应一定压力开展工作。

　　etl工程师岗位职责 篇14

　　职责描述:

　　1、负责大数据平台的设计以及开发工作,维护升级等等;

　　2、负责离线/实时的数据存储和加工处理,保证数据质量,负责数据监体系的建立和维护;

　　2、负责海量数据的清洗、处理和挖掘工作,支持数据分析师和算法工程师的'数据需求;

　　3、对数据敏感,基于海量数据进行业务分析,灵活运用可视化工具,参与产品与应用的数据研发,分析数据成因,发掘数据商业价值;

　　4、研究前沿技术,解决实际场景中的业务问题,优化离线/实时大数据计算任务的性能。

　　任职要求:

　　1、计算机或相关专业本科及以上学历,3年以上大数据开发经验;

　　2、熟悉linux/unix开发环境,精通python/java/scala/shell两种以上;

　　3、熟悉常用开源分布式系统,对hadoop/hive/spark/storm/flink/hbase/kylin中的一项或多项有深入了解;,能够独立排查及解决分布式系统的问题;

　　4、良好的团队精神和合作意识,强烈的责任心,对工作有激情,良好的沟通能力,能吃苦耐劳;

　　5、有2年以上的电商领域的优先。

　　etl工程师岗位职责 篇15

　　工作职责：

　　1、独立完成产品的原型设计及最终视觉输出（APP、WEB、WAP），把握视觉设计整体方向；

　　2、具有APP、WEB端设计经验，持续优化界面，提出设计改善方案；

　　3、熟练使用Photoshop、Illustrator、CorelDRAW、Axure等必备专业软件；

　　4、熟练Android和IOS的平台特性及设计、开发适配工作；

　　5、能够积极配合研发人员对页面布局及样式进行调整；

　　6、善于沟通，具备良好的'团队合作精神，能够承受较大的工作压力；

　　7、了解Html、CSS+DIV、JavaScript等。

　　任职要求：

　　1、本科及以上学历，美术、设计或相关专业（条件优秀者可放宽学历及专业限制）

　　2、2年以上web或移动APP界面设计经验，可以独立完成整个设计过程

　　3、精通Photoshop、Illustrator、Dreamweaver等软件，了解Justinmind、Axure等原型设计工具

　　4、熟悉windows、Android等平台的界面设计规范，了解Html、CSS、Javascript等

　　5、具备良好的沟通交流、团队协作能力，工作主动、富有激情和责任感，能承受工作压力

　　6、有自己独立完成设计作品或优秀的应用于主流网站的设计案例者优先

　　etl工程师岗位职责 篇16

　　工作职责：

　　1、负责公司相关产品移动端和PC端视觉设计，根据产品需求原型进行界面UI设计；

　　2、参与产品团队设计讨论，设定产品的整体视觉风格和UI设计，提出设计改善方案，配合程序开发人员完成项目；

　　3、参与产品前期界面UI研究、设计流行趋势分析，并根据视觉设计的发展趋势及用户研究的结果优化产品的图形界面（GUI）；

　　4、对现有产品的.可用性测试和评估，提出改进方案，不断优化产品的图形界面（GUI），优化需结合用户体验及完善设计流程。

　　任职资格：

　　1、美术设计及相关专业专科及以上学历，有扎实的美术基本功，可独立完成设计过程；

　　2、至少2年以上的移动端和PC端视觉设计工作经验，熟悉Android、iOS设计规范；

　　3、精通用户体验设计流程和方法，熟悉产品界面的设计趋势，对视觉设计、色彩有敏锐的观察力及分析能力，具有较强的设计创新能力；

　　4、精通photoshop、illustrator等设计软件；

　　5、对产品流程、用户流程及用户需求有一定理解，需要有良好的沟通能力和团队合作协作精神；

　　6、投递简历时，请在简历中附带作品或作品链接。

　　etl工程师岗位职责 篇17

　　岗位职责：

　　1、在项目售前阶段，与客户沟通，了解客户需求。制定机器视觉检测方案。负责相机、光源、镜头等配件的选型。负责用户来样测试，出测试报告；

　　2、在项目设计阶段，与机器视觉工程师、软件工程师、电气工程师等相关人员协同完成设备的详细设计；

　　3、负责视觉算法的编写和调试；

　　4、参与视觉设备的`现场调试；

　　5、维护公司样本库；

　　技术要求：

　　1、计算机、自动化、软件、数学相关专业毕业；

　　2、3年以上机器视觉方案设计和算法开发经验；

　　3、精通Halcon软件，熟悉OpenCV；

　　4、有缺陷检测、字符识别、光学测量，机器人引导等相关机器视觉项目经验；

　　5、熟悉神经网络、SVM、决策树等机器学习算法；

　　6、具备初步的C#或C++编程能力；

　　7、能较熟练地使用AutoCAD或其他CAD软件。

　　etl工程师岗位职责 篇18

　　岗位职责：

　　1、负责机器视觉系统方案制定，系统方案的试验、选型、以及相关技术支持工作；

　　2、负责同行业产品的关键技术研发、系统实现和新的.技术路线调研；

　　3、与机械和电气工程师合作，负责视觉系统中相机、镜头、光源的选型及方案优化；

　　4、参与视觉系统的安装、调试，并协助整机联调，反馈现场情况。

　　任职要求：

　　1、全日制本科及以上学历，机电一体化/光学//自动化/精密测量及仪器/电子信息等相关专业；

　　2、熟悉光电仪器设计、光电检测技术、光学信息处理等基础知识，了解传感器、相机、镜头、光源选型等。

　　3、要求有机器视觉系统搭建经验，并且相关行业工作经验1—3年。

　　4、有表面检测系统研发经验者优先；

　　5、有独立设计开发过一套视觉系统者优先；

　　6、能够适应短期出差。

　　etl工程师岗位职责 篇19

　　岗位职责：

　　1、参加现场装饰工程的日常管理工作，协调工程的.现场配合；

　　2、参加装饰工程材料设备选型、封样及进场检查验收，对装饰工程质量负责，对现场安全文明施工负责；

　　3、根据合同的约定、规程规范和设计图纸的要求，严格监督装饰工程项目施工质量，参加装饰工程检查验收；

　　4、严格监督控制装饰工程项目施工成本，对装饰工程的隐蔽工程和其他形式的现场签证严格监督；

　　5、根据上级计划要求，负责管理施工现场计划部署；检查计划执行情况，严格控制精装工程施工进度并监督落实；实时上报现场实际进度，处理其他专业计划变动对精装计划实施的影响；

　　6、负责解决变更及有关工程专业技术方面的问题；参加装饰专业各阶段工程验收和竣工验收并办理相关手续；负责装饰工程竣工验收工作，做好工程交付工作。

　　任职要求：

　　1、本科及以上学历，室内装潢、艺术设计等相关专业；

　　2、8年以上工作经验，其中有3年以上大型房地产公司相同岗位工作经验；

　　3、熟练掌握专业相关软件；

　　4、具有较强的方案设计能力及工地现场专业协调沟通能力。

　　etl工程师岗位职责 篇20

　　岗位职责：

　　1.负责公司IT运维，电脑及网络故障解决。

　　2.对公司内部信息系统及设施进行日常检查、监控和维护。

　　3.协助进行公司的信息化系统推进，ERP、OA、HR等信息化系统日常维护。

　　4.机房日常巡检，服务器日常维护。

　　5.对公司员工各种信息系统及邮件账户密码管理、权限分配管理。

　　6.完成上级领导交办事宜。

　　任职要求：

　　1.计算机或网络等相关专业，本科以上学历，3年以上IT运维工作经验。

　　2.熟悉和掌握各种计算机硬软件，可独立进行安装、调试及故障排除。

　　3.了解ERP系统运行原理，有金蝶K3相关工作经验优先。

　　4.熟悉SQL server、Oracle数据库，有简单的数据处理能力。

　　5.熟悉信息化系统维护工作。

　　6.善于沟通，有较强的'学习能力，执行力强。

　　7.有良好的服务意识，团队合作观念，高度的责任感。

　　8.工作细心，有独立完成项目的能力。

　　9.每周需到母公司进行项目进度工作汇报。

【etl工程师岗位职责】相关文章：

etl岗位职责03-06

etl岗位职责15篇03-06

商场数据仓库ETL系统架构设计05-09

工艺工程师工程师岗位职责12-21

IT工程师岗位职责06-04

工程师岗位职责07-21

it工程师岗位职责05-03

工程师岗位职责07-07

工程师的岗位职责01-04