Articles in the category of Java

  1. Home
  2. Java

hadoop MapReduct小案例

JobSubmit.classpackage cn.reduce; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.had...

  • TinyMeng
  • September 18, 2019
  • No comments
    •

    hadoop 集群的搭建

    hadoop 集群 高可用服务器namenode zkfc 2台服务器 resourcemanager 2台服务器 datanode nodemanager 3台服务器 zookeeper 3台服务器 journalnode 3台服务器修改配置hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA注意：a...

  • TinyMeng
  • September 17, 2019
  • No comments
    •

    hadoop的常见报错日志以及解决方案

    问题1WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable解决方案去除警告，vim hadoop/etc/hadoop/log4j.properties添加 log4j.logger.o...

  • TinyMeng
  • September 16, 2019
  • No comments
    •

    hadoop常用操作命令

    命令 查看./hadoop fs -ls / 查看根目录网页 查看//192.168.1.122:50070/explorer.html#/添加文件hadoop fs -put /root/java.txt (文件的位置) / (hadoop的根目录)获取文件hadoop fs -get /java.txt创建文件夹hadoop fs -mkdir /test移动文件或文件夹hado...

  • TinyMeng
  • September 16, 2019
  • No comments
    •

    java Spring注解总结

    逐渐的，在Spring的开发过程中，注解的使用越来越频繁，之前一直不喜欢注解，因为个人觉得可读性不好，但是正是这个原因使得自己不愿意花时间在这个上面花费时间研究，大势所趋，要学的是逃不掉的，于是就整理了一番，见到的都整理到这里，和其他文章一样，这篇文章不会一蹴而就，而是会逐渐更新，有新的就会更新到这里一、注解总览1.Spring注解@Configuration @Bean @Scope @L...

  • TinyMeng
  • September 9, 2019
  • No comments
    •

    freemarker中map的创建以及map的遍历循环

    freemarker中map的创建以及map的遍历循环<#--创建一个map,注意在freemarker中,map的key只能是字符串来作为key--> <#assign userMap={"1","刘德华","2":"张学友"}/> 1.获取map中的值 ${us...

  • TinyMeng
  • September 6, 2019
  • No comments
    •

    JsonUtils工具类,json转为object和list,将对象转换成json字符串

    记录一个操作Object和Json互转的类package cn.w959.exhibit.base.utils; import com.fasterxml.jackson.core.JsonProcessingException; import com.fasterxml.jackson.databind.DeserializationFeature; import com.fasterx...

  • TinyMeng
  • September 5, 2019
  • No comments
    •

    MyBatis-generator 自动生成MyBatis代码

    在pom.xml里面引入mybatis.generator<!--逆向工程 --> <dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-generator-core</artifactId> <v...

  • TinyMeng
  • September 2, 2019
  • No comments
    •

    hadoop 搭建

    1.什么是hadoophadoop中有3个核心组件：分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源2、hdfs整体运行机制hdfs：分布式文件系统hdfs有着文件系统共同的特征：1、有目录结构，顶层目录...

  • TinyMeng
  • August 22, 2019
  • No comments
    •

    Hadoop ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes

    1、使用root配置的hadoop并启动会出现报错[root@iZbp153yczpm4pp9pjs0u3Z sbin]# start-all.sh Starting namenodes on [hdp-01] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE...

  • TinyMeng
  • August 22, 2019
  • No comments