SUMMARY

• 8年以上专业IT经验，其中4年以上大数据生态系统相关技术经验.
• 对hadoop架构和各种组件(如HDFS)有很好的理解/知识, JobTracker, TaskTracker, NameNode, DataNode, Pig, Hive, Sqoop, Oozie, HBase, Yarn and MapReduce programming paradigm.
• Well versed with installation, configuration, 使用Apache Hadoop等各种发行版管理和支持Hadoop集群, Cloudera - CDHand Hortonworks HDP, AWS.
• 通过Kerberos为Hadoop集群提供安全保障, Active Directory/LDAP, 以及TLS/SSL的利用和动态调优，以使集群可用且高效.
• 熟悉用于hadoop集群监控的Ganglia、Nagios等监控工具.
• 编程Oracle, MySQL, Hadoop, Hive, Amazon Redshift和Amazon S3之间的ETL函数.
• 有Cassandra和NoSQL数据库(包括MongoDB和Hbase)的工作经验.
• 有使用CRUD, Sharding, Indexing和Replication开发NoSQL数据库的经验.
• 有开发Pig脚本和Hive查询语言的经验.
• 通过Oozie管理和调度Hadoop集群上的批处理作业.
• 使用Zookeeper为集群提供协调服务.
• 有使用Sqoop从RDBMS导入数据到HDFS的经验，反之亦然.
• 参与Talend的入库/出库活动.
• 对sparkstreaming, RDD,SparkSQL和Scala有较强的工作知识
• 在YARN环境中创建和部署sparkjob
• 通过spark和Map-reduce处理来自半结构化数据集的数据传输.
• 致力于Kafka的消息系统，并做数据流分析
• 负责像Flume和kafka这样的数据摄取.
• Kafka的经验，Kafka镜像，以确保数据的复制没有任何损失.设置Camus从kafka读取数据并将其存储在HDFS中.
• 在Apache Kafka上设计并实现了一个流过滤系统，以减少流的大小.
• Experience in OLAP and ETL/Data warehousing, 创建不同的数据模型和维护数据市场.
• 良好的商业智能和报告知识. Preparation of Dashboards using Tableau.
• 擅长在数据仓库系统中使用Informatica和teradata提供商业智能解决方案.
• 非常强的线程概念和动手编程技能, Multi-threading, Garbage Collections, exceptional handling, memory management, and OOPS Concepts in Core Java.
• 在J2EE技术(如JDBC)方面有丰富的经验, JSP, Servlets, JSF, EJB, RMI, JNDI, Struts, Spring, Hibernate,Javastandard tag library, custom taglibraries.
• 有使用HTML, CSS, JavaScript技术进行网页开发的经验.
• Designed, 使用XML开发和实现Java Web服务, SOAP, REST, WSDL, Algorithms and UDDI.
• Strong working knowledge of SQL, PL/SQL, Stored Procedures, joins and triggers with databases like Oracle, DB2, and MS SQL Server.
• 用于数据库开发和交互的开发人员，使用Eclipse和Net Beans等IDE.
• 具有良好的敏捷- scrum和瀑布方法的知识和经验
• 软件开发生命周期所有阶段的经验:概念, Design, Development, QA, Rollout and Enhancements.
• 较强的团队建设、冲突管理、时间管理和会议管理能力.

TECHNICAL SKILLS

Big data: Hadoop, Map Reduce, HDFS, Hive, HBase, Pig, Sqoop, Flume, Oozie, Zookeeper, Flume, Netezza, Mahout, YARN, Storm, Spark, Kafka(0.8.2x, 0.9.0), Mongo DB, Cassandra.

HadoopDistributions: Cloudera, Hortonworks, MapR

Core Skills: Core Java (OOPs and collections), J2EE Framework, JSP, Servlets, Oracle ADF, JSF, Linux Shell Script, JDBC, Scala

Databases: Oracle, SQLServer

Design Patterns: Singleton, Factory, MVC

Build Tools: ANT, Maven

Browser Scripting: Java脚本，HTML DOM, DHTML, AJAX, AngularJS

IDE: Eclipse/My Eclipse, JDeveloper

Operating Systems: Red-hat Linux, Windows, Linux, UNIX

PROFESSIONAL EXPERIENCE

Hadoop Developer/Admin

Confidential, Atlanta, GA

Responsibilities:

• 熟悉Hadoop的Cloudera发行版.
• 安装/配置/维护Apache Hadoop集群，用于应用开发和Hive等Hadoop工具, Pig, HBase, Zookeeper and Sqoop.
• 部署在以下节点的Hadoop集群，管理和调度Hadoop集群上的作业.
• 参与分析系统故障，找出根本原因并建议采取措施.
• 在Hive上工作，用于公开数据以供进一步分析，并生成从不同分析格式到文本文件的转换文件.
• 处理从各种数据源导入数据, performed transformations using Hive, Pig and Spark and loaded data into HDFS.
• Wrote queries to create, alter, insert and delete elements from lists, sets and maps in Datastax Cassandra.
• 参与NoSQL (Datastax Cassandra)数据库的设计、集成和实现.
• 用java开发了多个MapReduce作业，用于数据清理和访问.
• 使用Sqoop将数据导入和导出到HDFS和Hive.
• 在Datastax Cassandra中创建条件搜索索引.
• 广泛从事Spark的核心和Spark SQL模块的工作.
• Implemented Name Node backup using NFS. This was done for High availability.
• 使用Sqoop从Oracle和DB2导入和导出数据到HDFS.
• 开发PIG拉丁脚本，从web服务器输出文件中提取数据，加载到HDFS.
• 致力于定制Pig loader和Storage类，以处理各种数据格式，如JSON, Compressed CSV, etc.
• 使用Cloudera Manager监控工作负载、工作性能和容量规划.
• 创建Hive External表，通过HQL将数据加载到表中，并进行数据查询.
• 编写shell脚本，在生产环境中自动将文档索引到Solr Cloud.
• 创建了Talend Mappings，将数据填充到维度和事实表中
• 开发基于每月将入站文件移动到供应商服务器位置的作业, weekly and daily frequency in Talend.
• 创建Hbase表来存储来自不同投资组合的PII数据的各种数据格式.
• 通过Zookeeper提供集群协调服务.
• Used Flume to collect, aggregate, 并存储来自web服务器等不同来源的web日志数据, mobile and network devices and pushed to HDFS.
• 使用敏捷方法为亚马逊弹性云项目工作
• 使用HiveQL分析web日志数据，提取每天的独立访问者数量, page-views, visit duration, most purchased product on website.
• 在能力图中将Oracle表组件转换为Teradata表组件.
• 使用Ambary来管理、供应和监控hadoop集群.
• 在作业跟踪器上实现Fair调度器，为用户分配的Map Reduce作业共享集群资源.

Environment: Hadoop, MapReduce, HDFS, Hive, Java, SQL, Cloudera Manager, Spark, AWS, Cassandra, Pig, Sqoop, Oozie, Zookeeper,Ambari, Storm, Teradata, Oracle, NoSQL, Elastic Search,Oozie, Hbase,Talend.

Hadoop Developer

Confidential, Cincinnati, OH

Responsibilities:

• 用Java编写Map Reduce程序，Hive udf，其中功能太复杂.
• 负责从LINUX文件系统加载数据到HDFS
• 为分析开发HIVE查询，对不同的项目进行分类.
• 使用共享元存储而不是带分区的derby设计和创建Hive外部表, dynamic partitioning and buckets.
• 给出FLUME的POC来处理属性代表的实时日志处理
• 将结果情感分析数据导出到Tableau以创建仪表板.
• Used Map Reduce JUnit for unit testing.
• 监控系统运行状况和日志，并对任何警告或故障情况作出相应的响应.
• 安装并配置HadoopMapReduce和HDFS.
• 对HBase、Cassandra等No SQL数据库有较好的理解和经验.
• 安装配置Hive，并通过编写Hive udf实现各种业务需求.
• 负责管理来自不同来源的测试数据.
• 参与调度Oozie工作流引擎运行多个Hive和pig作业.
• 创建和维护启动hadoop集群和执行Hive查询和Pig脚本的技术文档.
• Involved unit testing, interface testing, 工作流工具的系统测试和用户验收测试.
• 参与各种线上和离岸团队，以理解从那里导入的数据.

Environment: ApacheHadoop, HDFS, Hive, Map Reduce, Java, Flume, Cloudera, Oozie, MySQL, UNIX, Core Java.

Sr. Java Developer

Confidential, Dallas, TX

Responsibilities:

• 使用敏捷方法设计和开发应用程序.
• 实施新模块开发，新变更需求，修复代码.
• 对预生产环境和生产环境中发现的缺陷进行缺陷修复.
• 在每个用例中编写包含类、序列和活动图的技术设计文档.
• 参与使用XQuery开发XML编译器.
• 通过实现控制器、服务类，使用Spring MVC框架开发应用程序.
• 参与编写包含声明和其他依赖对象声明的Spring Configuration XML文件.
• Used Hibernate for persistence framework, 参与创建DAO，并使用Hibernate进行ORM映射.
• 编写Java类，通过JUnit测试UI和Web服务.
• Performed functional and integration testing, 广泛参与与发布/部署相关的关键活动.
• 负责使用JSP设计富用户界面应用程序, JSP Tag libraries, Spring Tag libraries, JavaScript, CSS, HTML.
• Used SVN for version control. Log4J用于记录用户界面和域级消息.
• Used Soap UI for testing the Web services.
• 使用MAVEN进行依赖项管理和项目结构.
• 在各种环境(如Test、QC和UAT)上创建部署文档.
• 探讨了创建POC的SpringMVC、Spring IOC、Spring AOP和Hibernate.
• 在前端使用JavaScript和JSON完成数据操作.
• 参与离岸的细节关卡设计和编码活动.

Environment: Java, J2EE, JSP, Spring, Hibernate, CSS, JavaScript, Oracle, Jboss, Maven, Eclipse, JUnit, Log4J, AJAX, Web services, JNDI, JMS, HTML, XML, XSD, XML Schema

Java/J2EE Developer

Confidential

Responsibilities:

• 参与使用Spring框架和JDBC的多层J2EE设计.
• 系统采用模型-视图-控制器(MVC)架构构建.
• 前端使用HTML, CSS, Java Script, JSP, jQuery进行设计.
• 使用Spring MVC、JDBC、MYSQL设计并实现了应用程序.
• Used SVN version control tool.
• 通过编写Maven构建脚本自动化构建过程
• Wrote SQL queries, stored procedures, 根据需要修改现有的数据库结构，以增加使用MySQL数据库的新功能
• 参与安装和配置用于开发的Eclipse
• 使用Log4J配置和定制日志，使用Junit进行单元测试.
• 为QC团队开发JUnitTest用例并执行应用测试.
• Used JavaScript for client side validations.
• 参加每周的项目会议，更新并提供分配任务的评估.

Environment: Java, J2EE, JavaScript, JDBC, Spring,ASP.NET, VB.. NET, AGILE - SCRUM, JSP, Servlet, XML，设计模式，Log4J, JUnit, SVN, MySQL, Eclipse.

Java Developer

Confidential

Responsibilities:

• 广泛参与Core Java的产品开发.
• 分析和记录这一特性，采用迭代方法.
• IBM rational rose tool used in designing SFR.
• 有效地设计和实现了该功能，使bug最小化.
• 广泛研究设计模式、UML、OOAD、OOPS等概念.
• 实现的设计模式，如单例、工厂.
• Unit testing using JUnit and overall testing.
• 文档化的单元测试用例和wiki中的其他细节.
• 撰写的技术细节和特性的常见问题解答(wiki).
• 代码优化，创建性能更好的应用程序.
• Performed extensive peer code-review.

Environment: Java, J2EE, Design Patterns, OOPS/OOAD (UML), XML, Eclipse IDE, Idea IDE, perforce source control, IBM rational rose, Iterative development.