ganglia导致的centos异常记录

问题发现

查看ganglia的监控界面,出现所有的的图片都缺失,无法监控到每个机器的性能。

在使用tab键自动补全的时候出现了 -bash: 无法为立即文档创建临时文件: 设备上没有空间的问题

阅读全文

python写入Hbase超时问题分析

Hbase是一个高可靠、高性能、面向列、可伸缩的分布式数据库。其底层的LSM数据结构和RowKey有序排列等架构上的独特设计,使得hbase具有非常高的写入性能。但是在实际使用中,由于对hbase的写入方面的机制没有深入的了解,无法有效发挥出hbase的写入性能。本文主要记录了在刚开始使用hbase时,对hbase没有太多的了解的基础上,在写入方面遇到的一个问题和解决方法。

阅读全文

Hive基本使用

基本使用

1、将trans数据导入hdfs

1
2
hadoop fs -mkdir trans-201702
hadoop fs -put trans-201702.txt trans-201702

阅读全文

Hadoop集群检查

安装完hadoop集群后,需要对整个集群进行检测来评价安装是否成功,主要从以下几个方面来检测。

1、所有的进程是否都已经启动

使用jps命令查看相关的进程是否启动,主要的检测的是namenode,和resourcemanager上的进程是否启动

阅读全文

Hive介绍和安装

采用了hadoop的分布式存储系统来储存数据,解决了海量数据的存储,接下来就需要解决数据的查询问题。数据暂不涉及到修改,只是根据需求将数据查询出来做尽一步的处理,对查询也不需要实时性很高,可以在离线下进行数据的查询。传统的hadoop查询需要编写mapreduce程序,效率也慢,对熟悉sql语句但非开发人员极不友好。因此需要一款数据仓库工具来对数据进行管理。

阅读全文

tornado 实时服务架构设计

背景介绍

这是在公司训练的一个小项目。
每分钟需要从tushare的接口中获取到实时的股价数据,存储到文件中和mongodb中,然后对数据进行处理,包括数据检查,分钟线的补齐等。经过以上的处理后,程序需要对外提供API,共web,app等终端使用。

阅读全文

Hadoop集群安装

为了后续在生产环境中搭建hadoop集群,现在虚拟机中搭建一个测试用的环境。
先从单台namenode环境搭建入手,后续将搭建Hadoop高可用集群

安装环境

Centos版本:CentOS Linux release 7.3.1611 (Core)
jdk:java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64
hadoop版本:hadoop2.7.3
测试环境在Virtual box中进行

阅读全文

一个小外包项目的总结

这是一个外包项目,帮别人做一个网站,包括前端和后端。
主要工作如下:

  1. 系统为客户提供活动申请、抢单、反馈、评论、组织创建,成员管理,微信分享等功能
  2. 支持后台对活动、组织、用户等资源的统一管理,包括审核,修改,发布,图片上传等功能
  3. 系统的测试,bug的修复、上线以及维护。已稳定运行2个月

阅读全文

nmp的权限问题分析和selinux

nginx,php-fpm,mysql安装好之后是第一步。
将项目部署上去之后,然后访问,发现仍然无法访问。
按照以下步骤进行错误的排查:

  • 分析nginx的运行日志access.log和error.log
  • 分析php-fpm的运行日志www-error.log

阅读全文

js对象的拷贝问题

问题如下
点击+之后,新建一行,并赋予初始,从原始的数组中直接复制第一个,然后在push到数组中,结果改变输入框后,其它的值也改变,实际情况,只是想要拷贝该对象的一个值。
图片

阅读全文