动态分类计数器
luyued 发布于 2011-04-12 15:03 浏览 N 次昨天的工作遇到一个需求:要求根据用户 ID(Long 型)记录他的访问某个页面的次数。并且在所有用户的累积计数达到某个值后输出、清空并重新计数。这个记数有个特点,某些用户的访问次数会异乎寻常地多。
因为这个记录只是在高访问量的时候做,所以对程序的并发度要求比较高。我们知道,高访问量下数字型对象的装箱拆箱会极大影响效率;在高并发下,锁竞争也会极大影响效率。
对于装箱拆箱的问题,我们可以在一开始的时候用 new Long(0) 之类的来初始化计数器,但是之后的自增计数器的操作还是会先进行拆箱,在栈里运算后再进行装箱。并发的问题我们看起来可以用 ConcurrentHashMap 来解决。但是对于这个需求来说,我们需要在自增计数器之前先把之前的值取出来,所以就需要把 ConcurrentHashMap 给锁住,这样就失去了使用 ConcurrentHashMap 的意义,使得它褪化成了 SynchronizedMap。当然也可以在 CHM 中放入一个自己封装的对象,其中包含计数器,使用的时候给这个封装过的对象上锁。
我个人的想法是使用自定义的 HashMap(不实现 Map 接口),支持并发地自增计数器,同时避免装箱拆箱的问题。最好还能进行分段加锁。因为分段加锁比较复杂,所以我目前没有实现。下面的程序实现了在避免装箱拆箱的前提下并发自增计数器。但不支持动态扩容,不支持序列化。使用的 hash 算法和数据结构抄袭了 JDK 6 的 HashMap。所以如果你感兴趣自己调试的话,你会发现 java.util.HashMap 的 table 数组的内容与此类的 table 数组的内容分布完全一致(前提是两者的数据一样,容量一样)。
import java.util.HashMap; import java.util.Map; import java.util.concurrent.atomic.AtomicInteger; import java.util.concurrent.atomic.AtomicLong; import java.util.concurrent.locks.Lock; import java.util.concurrent.locks.ReadWriteLock; import java.util.concurrent.locks.ReentrantReadWriteLock; import com.sun.istack.internal.Nullable; /** * 并发计数器哈希 Map(没有实现 {@link Map} 接口)。此类适合于进行动态分类统计。因为不支持动态扩容,所以要求计数达到某个值后 * 手动清空此 Map 并重新计数(通常客户代码此时应将 Map 清空前的内容写入日志)。如果强行在小容量的时候塞入大量 * 数据,此 Map 不会被撑爆,但是性能会急剧下降。 *
* 性能提示:对于某一部分键的计数器自增操作特别多时此类的表现最佳。如果每个键的计数都很少而键却很多时此类的性能最差。 * 重置操作会锁住整个实例,使得任何计数器的读取和写入操作都被阻塞。 *
* 此类的所有公共接口都是线程安全的。 *
* 此类不支持序列化和反序列化。 *
* 类的关键实现拷贝了 JDK 6 的 HashMap。 * * @author ydong */ public final class ConcurrentCounterHashMap { /** * 构造一个新实例。capacity 参数指定了容量。此容量一但指定就不会更改。此实例也不会动态扩容。 * 强行塞入过多数据会导致性能下降。 * * @param capacity 容量 */ public ConcurrentCounterHashMap(final int capacity) { if (capacity <= 0) throw new IllegalArgumentException(); if (capacity > 2 << 30) capacity = 2 << 30; int _capacity = 1; while (_capacity < capacity) _capacity <<= 1; table = new Entry[_capacity]; } /** * 对于指定的 key,其相应的计数器自增一。此方法的副作用是会导致调用 {@link #getCount()} 的值加一。 * * @param key 需要自增一的计数器的键 * @return 计数器自增一前的值 */ public long incrementAndGet(final long key) { try { tableRLock.lock(); final int i = indexFor(hash(hash(key)), table.length); try { for (Entry ent = table[i]; ent != null; ent = ent.next) { if (ent.key == key) { return ent.incrementAndGet(); } } } finally { tableRLock.unlock(); } tableWLock.lock(); try { table[i] = new Entry(key, 1, table[i]); return 0; } finally { tableWLock.unlock(); } } finally { count.incrementAndGet(); } } /** * 获取与指定的 key 关联的计数器的当前值。 * * @param key 要获取的计数器的键 * @return 与指定的 key 关联的计数器的当前值 */ public long get(final long key) { tableRLock.lock(); try { final int i = indexFor(hash(hash(key)), table.length); for (Entry ent = table[i]; ent != null; ent = ent.next) { if (ent.key == key) return ent.getCount(); } return 0; } finally { tableRLock.unlock(); } } /** * 获取所有计数器自增次数,即 {@link #incrementAndGet(long)} 的调用次数。 * 此值会在 {@link #reset()} 方法调用后重置为 0。 * * @return 所有计数器自增次数 */ public int getCount() { return count.get(); } /** * 将当前计数器哈希 Map 重置。所有的计数器及与其关联的键都被销毁。实例恢复到构造函数刚被调用后的状态。 * 方法返回此实例被重置前的数据,以 {@link Map} 的形式给出。返回的 {@code Map} 不会受到本实例 * 后续操作的影响,在不加锁的情况下可以安全使用。 *
* 注意此方法会将整个实例锁住,任何计数器自增操作和读取操作都会阻塞。 * * @return 此实例被重置前的数据,以 {@link Map} 的形式给出 */ public Map
- 06-04· 93包青天演员表!
- 06-04· 93版《包青天》演员表(二
- 06-04· 俞小凡、王中皇为宣传
- 06-01· 老板请尊重你们的业务员
- 06-01· 这些年来做销售见过的那
- 06-01· 职业经理人与老板
- 06-01· 老板新开张的指甲店!
- 06-01· [转载]聪明老板不败的赌局
- 06-01· 机智的老板
- 06-01· 开发商老板找钱找情人的
- 05-24· 台湾版《包青天》演员表
- 05-21· 93《包青天》演员表
- 05-21· 台湾华视93版包青天演员表
- 05-21· 2010.1.3 鬼王之王王中皇
- 05-21· 敬请躲避老板创业100个误
- 05-07· 电器公司名字大全
- 05-07· 森乐肩颈康疗仪
- 05-07· 仙缘纪略
- 05-04· 原创摄影】江南行(八)
- 05-04· 上海S32高架道路下违法建