Author：文初

Email: wenchu.cenwc@alibaba-inc.com

Blog: http://blog.csdn.net/cenwenchu79/

         MemCached Cache在大型网站被应用得越来越广泛，不同语言的客户端也都在官方网站上有提供，但是Java的选择并不多。由于现在的MemCached Cache服务端是用C写的，因此我这个C不太熟悉的人也就没有办法去优化它，当然对于它的内存分配机制等细节还是有所了解，因此在使用的时候也会十分注意，这些文章Google一把应该也有很多了。这里就说说对于MemCache Java客户端的优化的两个阶段。

First Stage

       我也和其他使用Memcached Cache的同学一样，看了官方网站的内容，然后去下载了whalin memcached Client，后来Stat的时候遇到问题，就给作者发了邮件说明了情况，作者让我下载 2.0.1 版本，这个版本也是比较不错的一个版本，后续的封装也是基于这个版本之上。

         第一阶段主要是在whalin的客户端作了再次封装。

1.       Cache服务接口化。

定义了IMemCache接口，在应用部分仅仅只是使用接口，为将来替换Cache服务实现提供基础。

2.       使用配置代替代码初始化客户端。

通过配置客户端和SocketIO Pool属性，直接交管由CacheManager来维护Cache Client Pool的生命周期，方便实用以及单元测试。

3.       KeySet的实现。

对于MemCached来说本身是不提供KeySet的方法的，在接口封装初期，同事向我提出这个需求的时候，我个人觉得也是没有必要提供，因为Cache轮询是比较低效的，同时这类场景，往往可以去数据源获取KeySet，而不是从MemCached去获取。但是SIP的一个场景的出现，让我不得不去实现了KeySet。

SIP在作服务访问频率控制的时候需要记录在控制间隔期内的访问次数和流量，此时由于是集群，因此数据必须放在集中式的存储或者缓存中，数据库肯定是撑不住这样大数据量的更新频率的，因此考虑使用Memcached的很出彩的操作，全局计数器（storeCounter,getCounter,inc,dec），但是在检查计数器的时候如何去获取当前所有的计数器，曾考虑使用DB或者文件，但是效率还是问题，同时如果放在一个字段中并发还是有问题。因此不得不实现了KeySet，在使用KeySet的时候有一个参数，类型是Boolean，这个字段的存在是因为，在Memcached中数据的删除并不是直接删除，而是标注一下，这样会导致实现keySet的时候取出可能已经删除的数据，如果对于数据严谨性要求低，速度要求高，那么不需要再去验证key是否真的有效，如果要求key必须正确存在，就需要再多一次的轮询查找。

4.       Cluster的实现。

Memcached作为集中式Cache，就存在着集中式的致命问题：单点问题，Memcached支持多Instance分布在多台机器上，仅仅只是解决了数据全部丢失的问题，但是当其中一台机器出错以后，还是会导致部分数据的丢失，一个篮子掉在地上还是会把部分的鸡蛋打破。

因此就需要实现一个备份机制，能够保证Memcached在部分失效以后，数据还能够依然使用，当然大家很多时候都用Cache不命中就去数据源获取的策略，但是在SIP的场景中，如果部分信息找不到就去数据库查找，那么要把SIP弄垮真的是很容易，因此SIP对于Memcached中的数据认为是可信的，因此做Cluster也是必要的。

（1）              应用传入需要操作的key，通过CacheManager获取配置在Cluster中的客户端。

（2）              当获得Cache Client以后，执行Cache操作。

（3）              A.如果是读取操作，当不能命中时去集群其他Cache客户端获取数据，如果获取到数据，尝试写入到本次获得的Cache客户端，并返回结果。（达到数据恢复的作用）

B.如果是更新操作，在本次获取得Cache客户端执行更新操作以后，立即返回，将更新集群其他机器命令提交给客户端的异步更新线程对列去异步执行。（由于如果是根据key来获取Cache，那么异步执行不会影响到此主键的查询操作）

存在的问题：如果是设置了Timeout的数据，那么在丢失以后被复制的过程中就会变成永久有效的内容。

5.       LocalCache结合Memcached使用，提高数据获取效率。

在第一次压力测试过程中，发现和原先预料的一样，Memcached并不是完全无损失的，Memcached是通过Socket数据交互来进行通信的，因此机器的带宽，网络IO，Socket连接数都是制约Memcached发挥其作用的障碍。Memcache的一个突出优点就是Timeout的设置，也就是放入进去的数据可以设置有效期，自动会失效，这样对于一些不敏感的数据就可以在一定的容忍时间内不去更新，提高效率。根据这个思想，其实在集群中的每一个Memcached客户端也可以使用本地的Cache，来缓存获取过的数据，设置一定的失效时间，来减少对于Memcached的访问次数，提高整体性能。

         因此，在每一个客户端中内置了一个有超时机制的本地缓存（采用lazy timeout机制），在获取数据的时候，首先在本地查询数据是否存在，如果不存在则再向Memcache发起请求，获得数据以后，将其缓存在本地，并设置有效时间。方法定义如下：

/**

            * 降低memcache的交互频繁造成的性能损失，因此采用本地cache结合memcache的方式

            * @param key

            * @param 本地缓存失效时间单位秒

            * @return

     */

    public Object get(String key,int localTTL);

Second Stage

         第一阶段的封装基本上已经可以满足现有的需求，也被自己的项目和其他产品线使用，但是不经意的一句话，让我开始了第二阶段的优化。单位里面有个同学说Memcache客户端里面在SocketIO代码里面有太多的synchronized，多多少少会影响性能。虽然过去看过这部分代码，但是当时只是关注里面的Hash算法，那天回去后一看，果然有不少的synchronized，可能是与客户端当时写的时候Jdk版本较早的缘故造成的，现在Concurrent包被广泛应用，因此优化并不是一件很难的事情。但是由于原有whalin没有提供扩展的接口，因此不得不将whalin除了SockIO部分全部纳入到封装过的客户端中，然后改造SockIO部分。

因此也有了这个放在Google上的

open source: http://code.google.com/p/memcache-client-forjava/

一．              优化synchronized部分。在原有代码中SockIO的资源池分成三个池（普通Map实现），Free，Busy，Dead，然后根据SockIO使用情况来维护这三个资源池。

优化方式，首先简化资源池，只有一个资源池，设置一个状态池，在变更资源状态的过程时仅仅变更资源池中的内容。再次，用ConcurrentMap来替代Map，同时使用putIfAbsent方法来简化Synchronized，具体的代码可以看open source的代码部分。

二．              原以为这优化后，效率应该会有很大的提高，但是在初次压力测试后发现，并没有明显的提高，看来有其他地方的耗时远远大于连接池资源维护，因此用JProfiler作了性能分析，发现了最大的一个瓶颈：read数据部分，原有设计中读取数据是按照单字节读取，然后逐步分析，为的仅仅就是遇到协议中的分割符可以识别，但是循环read单字节和批量分页read性能相差很大，因此内置了读入缓存页（可设置大小），然后再按照协议的需求去读取和分析数据，效率得到了很大的提高。具体的看最后部分的压力测试结果。

上面两部分的工作不论是否提升了性能，但是对于客户端本身来说都是有意义的，当然提升性能给应用带来的吸引力更大。这部分细节内容可以参看代码实现部分，对于调用者来说完全没有任何功能影响，仅仅只是性能。

压力测试

         在这个压力测试之前，其实已经做过很多次压力测试了，测试中的数据本身并没有衡量Memcached的意义，因为测试是使用我自己的机器，性能，带宽，内存，网络IO都不是服务器级别的，这里仅仅是将使用原有的第三方客户端和改造后的客户端作一个比较。场景就是模拟多用户多线程在同一时间发起Cache操作，然后记录下操作的结果。

Client版本在测试中有两个：2.0和2.2。2.0是封装调用whalin memcached Client 2.0.1版本的客户端实现。2.2是使用了新SockIO的无第三方依赖的客户端实现。

         checkAlive指的是在使用连接资源以前是否需要验证连接资源有效（发送一次请求并接受响应），因此打开对于性能来说会有不少的影响，不过建议还是使用这个检查。

One Cache Server instance各种配置和操作下比较：

Cache配置

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师

Cucumber （黄瓜）

原文：Cucumber

在即将推出的RSpec1.1.5发布版中，将用Aslak Hellesøy的Cucumber 库来取代RSpec的故事运行器。

Cucumber是完全重写的故事运行器。她使用了Treetop语法解析器。当我刚开始使用纯文本故事来工作的时候，由于很多原因我没有写一个语法解析器而是使用自己的解析。后来证明这给我们带来了许多好处。

Cucumber支持多种口语

现在你可以这样来描述：

Funcionalidade: Adição
  Para evitar erros bobos
  Como um péssimo matemático
  Eu quero saber como somar dois números

  Cenário: Adicionar dois números
    Dado que eu digitei 50 na calculadora
    E que eu digitei 70 na calculadora
    Quando eu aperto o botão de soma
    Então o resultado na calculadora deve ser 120

 用葡萄牙语写的，完全合法！（酷吧！虽然我一点也不明白写了些什么）

现在已经支持了几种语言，增加新的语言需要一些工作，所以过一段时间我们也许会为增加你们自己的语言提供支持。

改善了代码回查

Cucumber在纯文本功能（Feature）文件上增加了行号，这使得定位错误变得非常非常方便。（注意：现在我们用功能取代了故事-在这个主题的另一个帖子里可以找到）

更简单的配置

Cucumber去掉了steps_for和using_steps_for。而是通过Given, When和Then函数简单地定义步骤：

#features/steps/accounts.rb
Given /I have \$(\d+) in my (.*) account/ do |dollars, account_type|
  ...
end

 接下来，你需要引用包含这个步骤定义的文件：

cucumber -r features/steps/accounts.rb features/transfer_money

 这样就搞定了。而且，大多数情况下，你都不需要这样明确地指定，你可以只是：

cucumber features

 Cucumber在运行功能文件之前会自动引用features目录下的所有.rb文件。

更少的手足无措

当RSpec的故事运行器在一个步骤的处理里找到了一个以上的步骤定义的话，找到的第一定义胜出。这可能会导致很多痛苦的调试工作。

当Cucumber发现一个步骤的处理里能找到了一个以上的步骤定义的话，你将得到一个错误结果，告诉你步骤定义存在冲突，同时提供它们的位置（文件和行号），这样你就可以容易地找到和解决这个冲突了。

如果你已经使用了故事运行器，Cucumber对你意味着什么

Cucumber只有几个月大，几乎和RSpec的故事运行器的功能没有冲突，并且增加了很多功能强大的新功能。Aslak也把许多故事转换成了Cucumber的功能，并且把他的经验贴出来了 ，在帖子里他精炼出了他所完成的过程。在我们发布Cucumber的官方版本时，这个转移方法将会有很多文档支持并且不难得到。

至于时限，这很难说。我们一直希望发布1.1.5版，但是由于一些原因一直被推后。我们很可能等到Rails2.2发布之后，在确认它们是否兼容后推出。虽然有传言1.1.5版马上就要发布，但是已经“马上”了好几个星期，我们只有耐心等待了。

同时，我们正在结束故事运行器的开发，这样我们才能专注于Cucumber的开发。在Cucumber作为RSpec的官方部件发布之前，我们会在github上另建一个故事运行器的工程（可能叫rspec-stories）这样如果有人想继续使用或者维护故事运行器的话也可以找得到。

我将在这里和rspec-users邮件列表 （rspec google组 的镜像）继续发布事情的进展。

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师

        
        <!-- Struts Filter -->
    <filter>
        <filter-name>struts</filter-name>
        <filter-class>com.demo2do.lighturl.LightURLFilter</filter-class>
    </filter>

    <!-- Struts URL Definition -->
    <filter-mapping>
        <filter-name>struts</filter-name>
        <url-pattern>/*</url-pattern>
    </filter-mapping>    

## action package config
lighturl.action.packages=com.demo2do.lighturl.action

## action mapping implementation class
struts.mapper.class=com.demo2do.lighturl.LightURLActionMapper

## default parent package
lighturl.action.default.parent.package=struts-config

## define your entity package (optional)
# lighturl.entity.package=com.demo2do.lighturl.entity

lighturl.action.packages=com.demo2do.lighturl.action

• com.demo2do.lighturl.action.Index  ----> /
• com.demo2do.lighturl.action.user.Search ----> /user
• com.demo2do.lighturl.action.blog.category.Index ----> /blog/category
• com.demo2do.lighturl.action.accoutDetail.View ----> /account-detail

• com.demo2do.lighturl.action.Index ----> index
• com.demo2do.lighturl.action.user.SearchAction ----> search
• com.demo2do.lighturl.action.blog.CategoryBlog ----> category-blog

• http://host:port/app/user/index ---> com.demo2do.lighturl.action.user.Index
• http://host:port/app/blog/category-blog ---> com.demo2do.lighturl.action.blog.CategoryBlog

• com.demo2do.lighturl.action.Index ---> http://host:port/app/
• com.demo2do.lighturl.action.user.Index ---> http://host:port/app/user
• com.demo2do.lighturl.action.blog.category.Index ---> http://host:port/app/blog/category

• com.demo2do.lighturl.action.user.View ---> http://host:port/app/user/3456
• com.demo2do.lighturl.action.blog.View ---> http://host:port/app/user/1113

package com.demo2do.lighturl.action.user;

import com.demo2do.lighturl.annotation.Action;
import com.opensymphony.xwork2.ActionSupport;

/**
 * @author Downpour
 *
 */
public class Search extends ActionSupport {
	
	private static final long serialVersionUID = -1728616675239859226L;

	/* (non-Javadoc)
	 * @see com.opensymphony.xwork2.ActionSupport#execute()
	 */
	@Override
	@Action("/all/search-user")
	public String execute() throws Exception {
		return super.execute();
	}

}

package com.demo2do.lighturl.action.blog;

import com.demo2do.lighturl.annotation.Action;
import com.opensymphony.xwork2.ActionSupport;

/**
 * @author Downpour
 *
 */
public class Category extends ActionSupport {

	private static final long serialVersionUID = -1535992103374733252L;

        private Long id;
	
	private int year;
	
	private int month;
	
	private int day;

	/* (non-Javadoc)
	 * @see com.opensymphony.xwork2.ActionSupport#execute()
	 */
	@Override
	@Action("/blogs/${year}/${month}/${day}")
	public String execute() throws Exception {
		return super.execute();
	}
        
        @Action("/blog/${id}/edit")
	public String edit() throws Exception {
		return super.execute();
	}
        // setters and getters
	
}

package com.demo2do.lighturl.action.user;

import com.demo2do.lighturl.entity.User;
import com.opensymphony.xwork2.ActionSupport;

/**
 * @author Downpour
 *
 */
public class Index extends ActionSupport {

	private static final long serialVersionUID = -5017825114664788765L;

	private User user;
	
	/* (non-Javadoc)
	 * @see com.opensymphony.xwork2.ActionSupport#execute()
	 */
	@Override
	public String execute() throws Exception {
		return "j:user";
	}

        // setters and getters
}

package com.demo2do.lighturl.action.user;

import com.demo2do.lighturl.entity.User;
import com.opensymphony.xwork2.ActionSupport;

/**
 * @author Downpour
 *
 */
public class Index extends ActionSupport {

	private static final long serialVersionUID = -5017825114664788765L;

	private User user;
	
	/* (non-Javadoc)
	 * @see com.opensymphony.xwork2.ActionSupport#execute()
	 */
	@Override
	public String execute() throws Exception {
		return "r:/user/add-user";
	}

        // setters and getters
}

lighturl.result.code.config=yourpackage.ResultCodeConfigImpl1,yourpackage.ResultCodeConfigImpl2

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师

• 搜狐网站诚聘Java、PHP和C++工程师
• Windows7在微软WinHEC 2008上揭开神秘面纱

class Category(models.Model):
    id = models.AutoField('id', primary_key=True)
    name = models.CharField(maxlength=50)
    code = models.CharField(maxlength=50)
    parentCategory = models.ForeignKey('self', 'id', null=True)
    enable = models.BooleanField()
    
    def __str__(self):
        return self.name
    
    class Admin:
        list_display = ('id', 'name', 'code', 'parentCategory')

categoryList = Category.objects.filter(code__contains = “a”,enable = True).order_by(“-id”)[0:5]

category.save()

category.delete()

categorys.delete()

Category.objects.extra(where=['id IN (3, 4, 5, 20)'])

Category.objects.extra(where=['code=%s'], params=['a'])

{% if msg %}
	Xx
{% else %}
Xx
{% endif%}

def preparePublish(request):
    t = loader.get_template(publishInfo)
return HttpResponse(t.render(Context({'categoryList' : None})))

c = Context({"categoryList":categoryList})
return render_to_response(indexPage, c)

def index(request):
    
    categoryList = Category.objects.filter(enable = True)
    for cate in categoryList:
        informationList = Information.objects.filter(category = cate)[0:5]
        cate.informationList = informationList
        
    c = Context({"categoryList":categoryList})
return render_to_response(indexPage, c)

public ActionForward getSechandIndex(ActionMapping mapping, ActionForm form,
                                         HttpServletRequest request,
                                         HttpServletResponse response)
            throws Exception {
        setBargainIndex(request);
        return mapping.findForward("bargainHome");
    }

def execute(request):
    methodName = request.GET['methodName']
    return getattr(mark.views, methodName)(request)

(r'^$', 'inforplatform.bargin.views.execute')）

• Windows7在微软WinHEC 2008上揭开神秘面纱
• 搜狐网站诚聘Java、PHP和C++工程师

 以下仅针对EOS 5.3框架。

先说下EOS的优点

• 能对足够简单，且稳定的需求进行快速开发。
• 单表维护向导，视图查询。
• 对小数据量进行报表统计。

下面是不足

soa主要是针对跨服务器，分布式服务的，鉴于eos的特点，只能这么比较了。