马洪飞博客

2018-01-26mhf阅读(431)评论(0)赞(0)

废话不多说，记录下，大神勿喷； 利用Shell脚本循环读取文件中每一行的方法详解_linux shell 一、使用for循环 for line in `cat aaa.txt` do  echo $line done 或者 for line...

2018-01-26mhf阅读(774)评论(3)赞(0)

在修改之前某人写的hiveql时候执行一段代码时报这个错； FAILED: ParseException line 13:4 missing KW_END at ‘,’ near ‘<EOF>...

2018-01-25mhf阅读(101)评论(0)赞(0)

crond简介: crond 是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程，与windows下的计划任务类似，当安装完成操作系统后，默认会安装此服务 工具，并且会自动启动crond进程，crond进程每分钟会定期检...

2018-01-24mhf阅读(103)评论(0)赞(1)

awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息； awk处理过程: 依次对每一行进行处理，然后输出； awk命令形式: awk [-F|-f|-v] ‘BEGIN{} /...

2018-01-23mhf阅读(91)评论(0)赞(0)

安装hadoop总体思路很简单其实，无非就是那几个步骤： 准备服务器 配置主服务器可以无密码SSH登录从服务器 解压安装JDK 解压安装Hadoop 配置hdfs、mapreduce等主从关系 大体上可以分为这5个步骤； 此文章说的是第2个...

2018-01-23mhf阅读(255)评论(0)赞(0)

在VMware虚拟机里安装Centos，装好后需要配置网络。如果后续还要搭建hadoop环境啊之类的。最好还是配置一个静态ip地址。 方法四步走： 第一步； 我们进入/etc/sysconfig/network-scripts目录，查看该目...

2018-01-19mhf阅读(100)评论(0)赞(0)

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HD...

2018-01-15mhf阅读(108)评论(0)赞(0)

在python2环境下，用这个MySQLdb模块，在python3环境下这个不能用，要用pymysql模块，用法基本一致。 python连接mysql的方案有oursql、PyMySQL、 myconnpy、MySQL Connector ...

2018-01-12mhf阅读(79)评论(0)赞(0)

需要sys模块 import sys sys.argv[0] 是python脚本的名字； Python文件内部接收参数用：sys.argv sys.argv[0]：是python脚本名 sys.arg[1]及以后各项：是接收的参数以及次序 ...

2018-01-10mhf阅读(109)评论(0)赞(0)

一般数据库不大的网站使用phpMyadmin导出数据库和采用mysqldump的方法基本没有多大区别，可能会在一些数据结构复杂或者是数据库较大的时候，采用mysqldump的方法更为准确和完整一些。 一，备份同时压缩sql文件 /iddbs...