treenary v0.0.0

Treenary

英语单词词频统计程序,从各网站抓取网页,统计词频,获取最优单词表.

组件:

analyst

文字分析组件.输入一段文字,解析出各单词.

dictionary

词典表.

master

工作的起始点与控制点

方法

开始工作 创建worker 摧毁worker

列表维护者

工作列表,分析链接的可能性,动态调整可能性阈值

值

阈值 工作列表

方法

推送至 选取并发送 调整阈值 计算可能性

dependencies

bloom filters

worker

快干活!负责将工作完成,然后通知大臣. 工作包括: 1. 获得干活的通知和内容 2. 干活 3. 告诉大臣干完了