用户画像、推荐系统、Flink实时数仓、准实时数仓中，遇到的棘手的问题都有什么？

之后学习了解到可以加`一个排序模型`做这个事情，原理就是用户向量和物品向量作为基础特征，用户是否点击物品作为标签，训练一个排序模型(LR)，只有将各路召回策略输入排序模型重新排序即可。

2022-08-02 16:01

4223

想往大数据方向发展，改怎准备？需要具备那些技能？

下面我介绍一些大数据相关的,希望对你有用: 一 大数据相关工作介绍 大数据方向的工作目前主要分为三个主要方向: 1.SparkCore(主要数据清洗,分析) 12.SparkSQL(相关数据分析) 13.ElasticSearch(搜索引擎,进行数据存储分析) 17.

2022-08-02 15:51

4494

Spark Streaming 反压机制(Back Pressure)

enabled为true，Spark Streaming会自动根据处理能力来调整输入速率，从而在流量高峰时仍能保证最大的吞吐和性能 Spark Streaming的反压机制中，有以下几个重要的组件： RateController 组件是 JobScheduler 的监听器...

2022-07-29 10:07

982

Spark Streaming 窗口函数

如下图，窗口长度为3，滑动间隔为2，注意这两个值必须是源DStream批处理时间间隔的倍数 window 根据窗口长度和窗口移动速率合并原始DStream 生成新DStream。

2022-07-29 10:07

680

IntelliJ Idea 常用快捷键列表(建议收藏,好物分享)

Ctrl+J，查看更多 Ctrl+Shift+F，全局查找 Ctrl+F，查找/Shift+F3，向上查找/F3，向下查找 Ctrl+Shift+S，高级搜索 Ctrl+U，转到父类 Ctrl+Alt+S，打开设置对话框 Alt+Shift+Inert，开启/关闭列选择模...

2022-07-29 10:06

1674

怎么提高Flink的执行性能(代码方面)

如果使用了lambda或者泛型的话，显式的指定类型信息让flink类型提取系统识别到以提升性能。多组相同keyby可使用DataStreamUtils 在多组keyby的场景可以采用DataStreamUtils.

2022-07-29 10:06

962

用户画像、推荐系统、Flink实时数仓、准实时数仓中，遇到的棘手的问题都有什么？

之后学习了解到可以加`一个排序模型`做这个事情，原理就是用户向量和物品向量作为基础特征，用户是否点击物品作为标签，训练一个排序模型(LR)，只有将各路召回策略输入排序模型重新排序即可。

2022-07-29 10:05

2125

想往大数据方向发展，改怎准备？需要具备那些技能？

下面我介绍一些大数据相关的,希望对你有用: 一 大数据相关工作介绍 大数据方向的工作目前主要分为三个主要方向: 1.SparkCore(主要数据清洗,分析) 12.SparkSQL(相关数据分析) 13.ElasticSearch(搜索引擎,进行数据存储分析)

2022-07-29 10:04

2961

好程序员大数据培训分享：学大数据都可以做哪些岗位？

好程序员大数据培训分享：学大数据都做哪些岗位？

2021-11-23 14:43

20701

分享常见的Hadoop和Spark项目-大数据培训

　　分享常见的Hadoop和Spark项目-大数据培训，如果有正在做项目的小伙伴可以了解一下，下面我们一块来看一下具体的内容。

2020-11-05 18:17

9682

如何学习Hadoop-大数据培训

　　如何学习Hadoop-大数据培训，如何学习Hadoop，对大数据开发感兴趣的小伙伴就随着小编一起来了解一下吧。

2020-11-05 18:15

5909

Hadoop的shuffle过程-好程序员

　　Hadoop的shuffle过程-好程序员，对大数据感兴趣想要学习或者是想要加入到大数据行业的小伙伴们就随小编一起来看一下吧。

2020-11-05 18:13

2772

Hadoop分布式集群的详细介绍

　　好程序员大数据培训分享Hadoop分布式集群的详细介绍，首先Hadoop的搭建有三种方式，单机版适合开发调试;伪分布式版，适合模拟集群学习;完全分布式，生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群，一个主节点，三个数据节点为例来讲解。

2020-10-16 16:43

3603

大数据与Hadoop有什么关系

　　好程序员浅谈大数据与Hadoop有什么关系，随着信息化技术的日渐普及、宽带网络的快速兴起，以及云计算、移动互联和物联网等新一代信息技术的广泛应用，全球数据的增长速度进一步加快。与此同时，一批数据收集、存储、处理技术和应用快速发展并逐渐汇聚，那么下面由好程序员大数据培训老师给大家介绍一下吧。

2020-10-16 16:42

3462

好程序员大数据培训教程Hadoop怎样处理数据？

　　好程序员大数据教程分享Hadoop怎样处理数据？Hadoop在大数据平台的开发上，无疑是很多企业的第一选择，国内的华为、阿里、腾讯，国外的Facebook、亚马逊，都是基于Hadoop来开发自己的大数据平台，这也说明，Hadoop作为大数据平台是比较成熟可靠的。那么Hadoop怎样处理数据？下面和大家详细了解一下。

2020-10-15 17:02

2376

大数据教程之Spark需要什么基础？

　　大数据教程之Spark需要什么基础？作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。那么Spark需要什么基础？

2020-10-15 17:00

1787

Hadoop常见问题解答-大数据培训

　　Hadoop常见问题解答-大数据培训，Hadoop的常见问题有很多，以前也曾给读者们分享过一些，本篇文章小编继续给读者们分享一些Hadoop常见问题解答，感兴趣的小伙伴就来了解一下吧。

2020-09-28 15:53

1974

Hadoop常见问题整理-好程序员大数据培训

　　Hadoop常见问题整理-好程序员大数据培训，近期有不少刚刚接触或者是刚参加大数据培训的小伙伴询问Hadoop常见问题有哪些，下面是好程序员Hadoop培训小编简单整理的一些内容，现在分享给大家，希望对小伙伴们有所帮助。

2020-09-28 15:48

1589

大数据面试题整理

　　今天好程序员大数据培训老师给大家分享一篇关于大数据面试题整理的详细介绍，下面我们一起来看一下吧。

2020-09-28 15:42

1624

好程序员大数据培训分享Hadoop入门学习线路图

　　好程序员大数据培训分享Hadoop入门学习线路图，Hadoop是系统学习大数据的必会知识之一，Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的。YARN是一种新的Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

2020-06-22 10:32

1842