两栖狼
huashuizhuhui · 共 124 篇文章
[置顶] 小朱笔记之hadoop应用实战、源码分析-目录
小朱笔记之hadoop应用实战、源码分析 1.1 背景目的 该笔记从宏观架构、安装配置、源码分析、使用案例四个方面剖析了Hadoop1.0.3,希望能对同学们提供帮助,赠人玫瑰,手留余香。能够把hadoop理论、源码和实践结合起来的资料少之又少,作者历时近一年搜集各种相关资料,取其精华,并经过实践检验。鉴于个人对于云计算的理解非常的浅薄,缺少足够的实践经验,深入的问题就不班门弄斧了,仅做梳理和解析。特别感谢李大嘴、奔跑的羚羊、觉先、阿笨猫、逸情公子、heyutao007、caibin、彭帅、千与、zhangyu8374、庄周梦蝶等同学,从你们探索的资料中,我学习了很多东西,受益匪浅。再次感谢…
2013-05-19 14:38 · Hadoop深入浅出 · 评论(3)
[置顶] 结合领域驱动设计、查询命令分离的SOA分布式无共享架构
结合领域驱动设计、查询命令分离的SOA分布式无共享架构 一、SOA、DDD、CQRS、DCI的定义 SOA(面向服务架构)是一种分布式的软件架构,它可以根据需求通过网络对松散耦合的粗粒度应用组件进行部署、组合和使用。简单来说,SOA就是一种大型 系统开发的体系架构,在基于SOA架构的系统中,具体应用程序的功能是由一些松耦合并且具有统一接口的组件(也就是service)组合构建起来的,它是 针对多核心多平台之间的数据交换。 DDD(领域驱动设计)它的核心内容是“如何将业务领域概念映射到软件工程当中”。它推翻了“软件从数据层开发设计”的旧习惯,强调领域模型在软件中发挥的强大力量,注重如何把企业内…
[置顶] Spring事务详解【强烈推荐、深入讲解spring事物】
Spring事务详解【强烈推荐、深入讲解spring事物】 入木三分的讲解会使你拨云见日、豁然开朗.....
2011-08-04 22:58 · Spring揭秘 · 评论(0)
[置顶] 《代码整洁之道》——写的不但是代码,还是责任,它事关企业的前途和命运
做一个有责任心的程序员,写的不但是代码,还是责任,它事关企业的前途和命运! 拒绝混乱,持续重构,从我做起,从一点一滴做起.....
2011-07-30 13:11 · 评论(0)
[置顶] 纪念modp平台架构组:插拔式模块开发平台
信息化高速发展的现在,各个行业都在快速发展自己的企业应用软件。但项目周期长、软件成本高、需求变化大等问题一直伴随着信息化的发展,MODP(面向模块的开发平台)的诞生提供一个有效的解决方案。 (Module Oriented Development platform),面向模块的开发平台是一种全新的编程思想,是基于 OOP、AOP 之上的编程思想,即在 AOP 之上进行了封装,和模块进行相关联,主要让编程人员专注分析模块的数据关系与业务流程,至于模块本身的事务、日志、权限等都将由平台来实现,平台基于AOP 思想封装了模块的常规编程方法。 MODP是基于即插即用、安全高效、灵活易用的目标进行的设…
2011-04-05 16:50 · 系统架构 · 评论(9)
[置顶] 献给xinyuan公司以及我的团队 代码整洁之道
花时间保持代码整洁不但有关效率,还有关生死存亡。 20 世纪80 年代末,有家公司写了个很流行的杀手应用,许多专业人士都买来用。然后,发布周期开始拉长。缺陷总是不能修复。装载时间越来越久,崩溃的几率也越来越大。至今我还记得自己在某天沮丧地关掉那个程序,从此再不用它。在那之后不久,该公司就关门大吉了。 20 年后,我见到那家公司的一位早期雇员,问他当年发生了什么事。他的回答叫我愈发恐惧起来。原来,当时他们赶着推出产品,代码写得乱七八糟。特性越加越多,代码也越来越烂,最后再也没法管理这些代码了。是糟糕的代码毁了这家公司 。 只要你干过两三年编程,就有可能曾被某人的糟糕的代码绊倒过。如果你编程不止…
2011-04-05 12:23 · J2SE · 评论(19)
[置顶] Hibernate缓存深入详解[贵在深入]
Hibernate缓存深入详解 ,有兴趣可以看看 孙卫琴的hibernate一书,缓存知识讲的很详细
2011-04-05 11:46 · Hibernate实战 · 评论(49)
线上JVM 优化调试(1)
线上JVM 优化调试(1)-基础知识 没有最好的JVM部署模型,做出最合适的选择依赖于系统的需求,系统的需求才是最重要的。 1 数据类型 Java虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。 基本类型包括:byte、short、int、long、char、float、double、Boolean、returnAddress 引用类型包括:类类型、接口类型、数组 2 堆和栈 堆和栈是程序运行的关键,很有必要把他们的…
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataNode 数据读写分析
第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析 5.5 DataNode 数据读写分析 DataNode上数据块的接受、发送并没有采用RPC机制,因为RPC是一个命令式的接口,而DataNode的数据处理是一种流式机制。 DataXceiverServer和DataXceiver 就是这个机制的实现。其中,DataXceiver依赖于两个辅助:BlockSender和 BlockReceiver。 DataXceviverServer: 用于监听来自客户或其他DataNodes的请求。监听块传输连接请求,同时控制进行的块传输请求数(同一时刻的传输数不能超…
2013-06-16 22:17 · Hadoop深入浅出 · 评论(0)
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataBlockScanner 文件校验
第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析 5.4 DataBlockScanner 文件校验 由于每一个磁盘或者是网络上的I/O操作可能会对正在读写的数据处理不慎而出现错误,所以HDFS提供了下面两种数据检验方式,以此来保证数据的完整性,而且这两种检验方式在DataNode节点上是同时工作的: (1)校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和,在通道传输过程中,如果新生成的校验和不完全匹配原始的校验和,那么数据就会被认为是被损坏的。 (2)数据块检测程序(DataBlockScanner) 在DataNode节点上开启一个后…
2013-06-16 21:47 · Hadoop深入浅出 · 评论(0)
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 注册分析
第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析 5.3 Datanode 注册分析 DataNode节点向NameNode节点注册,一是告诉NameNode节点自己提 供服务的网络地址端口,二是获取NameNode节点对自己的管理与控制。Datanode 注册只会被两个地方调用, Datanode启动和心跳收到注册命令。DatanodeRegistration这个类主要用于,当Datanode向Namenode发送注册信息 时,它要向Namenode提供一些自己的注册信息。同时这个类中还可以设置它的父类就是DatanodeID的Name、infoPort…
2013-06-16 21:43 · Hadoop深入浅出 · 评论(0)
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 心跳分析
第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析 5.2 Datanode 心跳分析 (1)offerService分析 写道 (a)检查心跳间隔是否超时,如是向namenode发送心跳报告,内容是dfs的容量、剩余的空间和DataXceiverServer的数量等,调用processCommand方法处理namenode返回的命令 (b)通知namenode已经接收的块 (c)检查块报告间隔是否超时,如是向namenode发送块报告,调用processCommand方法处理namenode返回的命令 (d)如果没到下个发送心跳的时候,休眠 /** * M…
2013-06-16 21:40 · Hadoop深入浅出 · 评论(0)
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 启动过程分析
第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析 5.1 Datanode 启动过程分析 (1)shell脚本启动DataNode start-dfs.sh "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt (2)main()函数启动分析 主线程阻塞,让DataNode的任务循环执行,调用createDataNode方法创建datanode,等datanode线程结束 。 //主线程阻塞,让DataNode的任务循环执行 public static…
2013-06-16 21:34 · Hadoop深入浅出 · 评论(0)
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析 3.4 datanode数据结构 与Storage相关的类:从宏观上刻画了每个存储目录的组织结构,管理由HDFS属性dfs.data.dir指定的目录,如current、previous、detach、tmp、storage等目录和文件,并定义了对整个存储的相关操作; 与Dataset相关的类:描述了块文件及其元数据文件的组织方式. 与块相关的操作由FSDataset相关的类处理,存储结构由大到小是卷(FSVolume)、目录(FSDir)和文件(Block和元数据等) (1) FSDatasetInterfac…
2013-06-04 00:10 · Hadoop深入浅出 · 评论(0)