大数据开发工程师是指负责处理和分析大规模数据的专业人员。他们主要负责设计和实现大型数据处理系统,并使用各种编程语言和工具进行数据提取、转换、加载(ETL)操作,以满足项目需求。此外,大数据开发工程师还需要处理数据安全和隐私保护等问题,确保数据在传输和存储过程中的安全性。
微信、智能公交站牌……在大数据时代背景下,我们的行为每时每刻都在产生着数据,而这些数据改变着我们的生活。大数据产业已逐步从概念走向落地,90%企业都在使用大数据,而大数据高端软件类人才供应远不能满足时代的发展。有报告指出,数据分析师已成当下中国互联网行业需求旺盛的六类人才职位之一,并且未来中国基础性数据分析人才缺口将达到 1400 万。hadoop 解决大数据量高并发访问的瓶颈。谷歌、淘宝、百度、京东等底层都应用 hadoop。越来越多的企业急需引入 hadoop 技术人才。由于掌握 Hadoop 技术的开发人员并不多,直接导致了这几年 hadoop 技术的薪水远高于 JavaEE 及 Android 程序员。
有编程兴趣、有意向从事软件开发。
熟练掌握 JAVA 编程语言,如:java 面向对象思想、java 多线程、泛型、反射、java 设计模式等。
熟练掌握 JAVAWEB 开发
熟练掌握 Linux
熟练掌握 Hadoop 框架、大数据仓库 Hive、分布式数据库 HBase
熟练掌握 Storm 实时数据处理
熟练掌握 Scale 语言
熟练掌握 Spark 框架
JAVAEE 开发工程师
大数据开发工程师
Spark 大数据开发工程师
Hadoop 大数据开发工程师
Storm 大数据开发工程师
Hive 工程师
ETL 开发工程师
推荐系统开发工程师
本阶段主要针对 java 基础进行学习,全面讲解 Java 语言基础部分,重点 掌握类、对象、java 面向对象特性、接口、等主要内容。通过此阶段学习,学 员基本熟练掌握 java 语法,理解 java 特性,能够用 java 语言去编程相关应用 程序。
学习 java Web 都需要有比较扎实的 java 语言开发基础,因此需要对学员 的 java 语言进行强化。对于有 java 语言编程基础的学员来说此课程能够将学 员平时容易忽略和没有参透的重要内容加以强化。对于没有 java 语言编程基础 的学员来说可以迅速掌握 java 的核心技术。
因为数据要有展现载体,本阶段主要针对 Web 静态资源、JAVA WEB 后端实 现,主要围绕 html5、css、javascript、jsp、servlet 等 JAVA WEB 基础进行 学习,熟练掌握JAVA WEB原理、http协议、Tomcat容器使用、通过Servlet+jsp+javabean 的 mvc 模式开发 Java Web 应用
本阶段主要学习大数据应用离不开基础软件的支撑 ,且大部分大数据组件 部署在 Linux 操作系统上的用户空间 ,也有很多组件也借鉴了 Linux 操作系 统的一些设计精髓 ,所以 Linux 既是大数据的强力支撑 ,本部分通过对 Linux 操作系统、展示大数据赖以生存的基础环境。
大数据离线处理特点数据量巨大且保存时间长、在大量数据上进行复杂的批量运算、数据在计算之前已经完全到位,不会发生变化,能够方便的查询批量计算的结果,离线处理目前技术上已经成熟,使用 Hdfs 存储数据,使用MapReduce 做批量计算,计算完成的数据如需数据仓库的存储,直接存入Hive , 然后从 Hive 进行展现。当阶段主要讲解:Hadoop 核心组件、MapReduce、Hive 等等技术
当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时
获取价值则更加昂贵,这正是大数据实时计算越来越流行的原因, 实时处理大
在大数据里面文本数据的搜索是很重要的一块,特别是里面的分词技术,,
我们需要深入学习 java 领域里面的搜索核心技术 lucene,同时也可以了解到
百度 google 这样的搜索系统是怎么架构实现的。
本课程基于 SparkMLlib 和 Mahout 大数据系列的机器学习框架,通过对常 用机器学习算法的原理理解以及编程应用,帮助学生理解各种常用有监督、无 监督算法的原理以及应用场景。通过该形式的学习方式可以避免学员数学基础 差的问题,可以有效的帮助学员掌握必须掌握的机器学习基本算法。而且课程 中会使用到的案例基本上均是企业中实际遇到的问题,通过该课程的学习,可 以让学员提前了解机器学习和大数据结合的技术在企业中的应用方式。 通过对本课程的学习,学员可以对分类、回归等算法有较为深入的了解, 以大数据为核心基础,在不涉及大量数学模型与复杂编程知识的前提下,讲师 逐步带领学员熟悉并且掌握当下流行的机器学习算法,如回归、决策树、SVM 等,并通过代码实例来展示所讨论的算法的实际应用。
广州粤嵌通信科技股份有限公司始于2005年,2016年正式挂牌上市(股票代码:839909),是一家IT高新技术企业,以嵌入式、物联网、VR技术、智能制造、大数据、云计算、移动互联、人工智能等为主要研究方向。14年的耕耘,积累了丰硕成果,累计拥有专利产品20多项,获得专利技术及软著30多项,扶持创客团队获得专利及软著113项。总部设在广州科学城,在长沙、深圳、重庆、西安、武汉开设直营分中心,在贵阳、南宁、南昌、福州、郑州等地开设办事处。
粤嵌经营智能设备研发、产教融合联盟、粤嵌众创空间、粤嵌小创客四大业务,秉承“行业引领,企商共赢,服务诚信”的核心经营理念,为业界提供全面的IT技术服务,在发展过程中形成了在IT技术自主创新方面的优势和沉淀,先后通过高新技术企业、众创空间认定,同时,粤嵌是教育部产学合作协同育人项目合作单位、广东省教育厅校企合作协同育人项目合作单位、广东省重合同守信用企业、广州市企业新型研发机构、广州股权交易中心会员、广州市黄埔区青年创新创业基地、广州市黄埔区商业联合会理事单位,广州开发区科技创新企业、广东省计算机学会培训委员会主任单位、中共广州市黄埔区委结对单位、广州市社会组织党建工作示范单位、广州市黄埔区青年创客驿站。