timebusker的博客

[置顶] 经典图形笔记

做票需要分析市场主线、环境、能量以及四面（基本面、技术面、消息面、政策面），选择好目标后在趋势内要保持好耐心，快不如慢交易的本质要走到大众情绪的对立面，识别市场情绪、大众情绪，跟随市场情绪，反向大众情绪做交易跟随。时分情绪回暖 K线趋势图时分量价背离容易发套黄白...

Posted by timebusker on 2024-12-05

[置顶] 经典美句收录集合

赞美美句我想不出任何你需要改变的地方，我爱你的全部。普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场。励志美句 ...

Posted by timebusker on 2022-08-10

KVM-笔记一

Linux安装Nginx服务配置虚拟化批量管理

Posted by timebusker on 2018-03-20

Linux利用IOS镜像文件搭建本地yum源服务器

Linux利用IOS镜像文件搭建本地yum源服务器切记：Linux文件不能拷贝到Windows系统上，否则导致文件后缀名缺失问题来源随着内网Linux服务器越来越多，在每台服务器上安装软件，都要先把安装盘上传上去，在配置本地yum服务，即麻烦又费时。可以在内网的...

Posted by timebusker on 2018-03-17

Linux（CentOS）集群之间实现免密登录

Linux（CentOS）集群之间实现免密登录配置SSH 修改集群中每一台机器的sshd_config配置文件修改指令：sudo vim /etc/ssh/sshd_config 修改内容如下： RSAAuthentication yes PubkeyAuthent...

Posted by timebusker on 2018-03-15

Hadoop学习笔记 — Hadoop完全分布式搭建

Hadoop学习笔记 — Hadoop完全分布式快速搭建虚拟机初始化常规配置（防火墙….）安装JDK,并配置环境变量配置主机名及IP地址映射配置ssh，集群间免密登录 Hadoop安装配置解压hadoop-2.8.1.tar.gz压缩包，后开始如下配置: 环境变量配...

Posted by timebusker on 2018-03-15

Hadoop学习笔记 — Hadoop伪分布式快速搭建

Hadoop学习笔记 — Hadoop伪分布式快速搭建 hadoop fs -put 1902.gz hdfs://timebusker:9000/ Hadoop伪分布式模式——Pseudo-Distributed 配置免密登录 Linux下生成密钥通...

Posted by timebusker on 2018-03-15

数据采集（flume）-Flume高可用、监控及自定义拦截器

官网文档地址 Flume HDFS Sink常用配置深度解读 Flume高可用在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：主要能实现高可用部分是:Flume聚合各个agent采集的数据，统一写入到HDFS/Ka...

Posted by timebusker on 2018-03-07

数据采集（flume）-Flume频繁产生小文件原因分析及解决办法

官网文档地址 Flume HDFS Sink常用配置深度解读 flume滚动配置为何不起作用？在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下： # 核心配置 agentSpool.sinks.slinkSpool.hdfs.rollSi...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume安装使用

官网文档地址 flume安装 Flume官网下载软件，解压关注bin和conf两个目录。配置环境变量FLUME_HOME 修改配置文件：重命名flume-env.ps1.template为flume-env.ps1 重命名fl...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume简介

概述 Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、...

Posted by timebusker on 2018-03-01

Hadoop学习笔记 — Hadoop的三种运行模式

Hadoop学习笔记（一）—Hadoop的三种运行模式 Hadoop的三种运行模式单机模式——独立模式（本地模式）Stand-Alone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模...

Posted by timebusker on 2018-02-28

Hive 数据抽样的几种方法

块抽样（Block Sampling）分桶表抽样（Smapling Bucketized Table）随机抽样随机结果里面添加分区 https://www.iteblog.com/archives/1996.html

Posted by timebusker on 2018-02-23

Hive实战—影评案例

数据准备原始数据是以::进行切分的，所以需要使用能解析多字节分隔符的Serde即可，使用RegexSerde需要两个参数： `input.regex = "(.*)::(.*)::(.*)"` `output.format.string = "%1$s %2$s %3$s"` ...

Posted by timebusker on 2018-02-23

Hive实战—五个面试题

网站访问统计分析 # 用户名，月份，访问次数，url A,2015-01,5,url2 A,2015-01,15,url123 B,2015-01,5,url13 A,2015-01,8,url22 B,2015-01,25,url23 A,2015-01,5,url11 A,2015-02...

Posted by timebusker on 2018-02-22

Hive—高级操作

数据类型 array # 测试数据 1 huangbo guangzhou,xianggang,shenzhen a1:30,a2:20,a3:100 beijing,112233,13522334455,500 2 xuzheng xianggang b2:50,b3:40 tia...

Posted by timebusker on 2018-02-21

Hive之列转行,行转列

数据准备 104399 1715131 104399 2105395 104399 1758844 104399 981085 104399 2444143 104399 1458638 104399 968412 104400 1609001...

Posted by timebusker on 2018-02-20