大数据开发工程师需掌握哪些技能?

发布网友发布时间：2022-03-01 05:04

共1个回答

热心网友时间：2022-03-01 06:33

一、数仓开发

1，Java是必问的，不过问的不深，把Javase部分吃透，足以应付Java部分的面试。

2，Hadoop生态，Yarn、Zookeeper、HDFS这些底层原理要懂，面试经常被问。

3，Maprece的shuffle过程这个也是面试被常问的。

4，Hbase和HIve，搞大数据这些不懂真的说不过去。

5，Mysql、Oracle和Postgres数据库操作要回，Sql要会写。

6，linux操作系统，这个简单得命令必须要懂，会写shell脚本更好了。

7，Kettle或Sqoop这种数据处理工具至少要会一个。

8，数据仓库建模、数据模型的问题。

二、技术方面

1，SparkSql和SparkStreaming，底层原理、内核、提交任务的过程等等，尽量深入内幕，这个经常会跟MapRece作比较的。当然也要了解Storm和Flink，Flink这个建议要学会，以后用处会越来越广。

2，Redis、Kafka、ElasticSearch这些都得懂原理，深入了解，会使用，会操作，会调优。

3，impala和kylin这些尽量也要了解会用。

4，Python这个要是有能力，有精力，建议也要往深处学习，我目前正在自学中。

5，集群的问题，包括一些简单的运维知识。

6，大数据数据倾斜的问题，包括Spark JVM内存调优问题等等。

关于大数据开发工程师需掌握哪些技能，青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣，希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。