2018年3月笔记

持续了几个月的考研时光,终于以可接受的方式结束了。

回顾整个考研过程,从2017年9月开始决定要考研,到匆忙的复习准备,每天晚上回来复习2个多小时,放弃了周末,放弃国庆等假期。起初给自己安排了复习目标和节奏,到最后变成了没有章法,严格的时间安排变成了大概的安排,有时因为白天上班太累放弃复习了一周。起初报考了961,但有自知之明的改成了991,从全日制调成了非全日制。考前一周,我去了考点租了个旅馆,在那我冲刺了4天。前两门还是很轻松,但是考完数学后,我萌生了放弃继续考的想法,最多的复习时间给了数学,收获的最低的回报和思想的打击。但我还是坚持考完了专业课。考完之后整个人都得到了解脱,脑子里都是今年考不上明年就再考一次吧,不能放弃。

阅读全文

2017年10月笔记

金秋十月,国庆7天假,每天在家看全国堵车,哦不、在复习高数;初入股市,小赚两张电影票钱。充当面试官,身心俱累。本月依然只看了一本书————《穷爸爸,富爸爸》,虽然没钱,但依然开启了个人理财之路。

阅读全文

Hadoop的磁盘写入策略引发的问题

DataNode挂载的磁盘或者DataNode节点挂载多个磁盘,如果存在一些磁盘大小不一样,数据在落盘时就可能会出现磁盘使用率不均匀的情况,容量较小的盘容易被写满,而容量大的盘还剩很多空间。磁盘写满后,影响Hadoop集群的正常工作。国庆第一天,线上集群就报出了JournalNode挂掉的异常情况,经查是由于2T的磁盘被写满,JournalNode无法再写入数据。当时采取了临时的措施,删掉HBase和Hive中不用,占大量空间的表。磁盘使用率下降一部分后,重新启动JournalNode。

阅读全文

2017年9月笔记


转眼之间大一的新生已经入学,我已经毕业了快三个多月了。9月只读了一本书—《深度工作》,涉及工作方面的能力和专注力提升。同时和室友爬了一次泰山,心中有诸多感悟。在9月里同时也读了两本基金从业资格考试的书,并参加了从业考试。最重要的是还剩3个月左右,我决定参加今年12月的非全日制研究生考试。

阅读全文

2017年8月笔记


8月匆匆走过,凉爽的秋风逐渐撵走了夏日的炎热。每月读书,在炎热而又浮躁的8月,用书来慰藉自己。这个月读了2本书,有触动心灵的《摆渡人》,有伟人的成长历程《成为乔布斯》。

阅读全文

(一)Spark本地开发环境搭建与远程debug设置


快速看完《Spark大数据处理 技术、应用与性能优化》前四章后,对Spark有了一个初步的了解,终于踏出了第一步,现在需要在Spark集群中做些测试例子,熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。由于采用的Spark是今年5月24号才发布的Spark2.1.1,网上大多数例子都是Spark1.X,因此走了不少弯路,才搭建好开发环境。

阅读全文

极客邦公众号文章采集和统计

最近极客邦发布了一款新产品—极客搜索,整合了极客邦下面的技术文章资源。抱着尝鲜的态度,我也去试用了一下,发现搜索的速度特别快。分析了一下为什么这么快,主要有两点吧:1、资源太少了!!!,12个公众号加起来才5161篇文章;2、用了Vue框架,异步加载数据。这款产品还是很好用的,推荐一下,也希望快点增加可搜索的技术资源。

阅读全文

(四)HBase的KeyValue分析

在HBase写入过程中,会检查Put中每个单元格Cell的KeyValue大小是否大于设置的maxKeyValueSize。要计算KeyValue的大小就需要了解KeyValue的的格式以及占用空间的计算方式。本文结合官方文档和源码对KeyValue的格式和空间计算进行分析和总结,便于后续继续分析HBase写入过程。

阅读全文

项目管理网站介绍

这个项目是大学里做的最后一个关于PHP的项目了,现在除了偶尔维护下在公司开发的PHP网站,基本上都不使用PHP了。最近清理电脑空间,又挖出了这个项目。为了表示我做过,现在又拿出了整理一下,总结一下把。

阅读全文

(二)HBase集群启动流程分析

在安装HBase的时候需要配置一些参数,这些参数在HBase启动的时候发挥着怎样的作用,如何影响的HBase的运行,出现启动错误时如何快速定位错误的位置。在解决这些问题之前,先从源码的角度分析一下HBase的启动流程,了解HBase是怎么启动的。

阅读全文