（第二周）新英文词频统计

public class Article {

    /**
     * @param args
     */
    String content;// 保存文章的内容
    String[] rawWords;// 保存分隔后的单词集合
    String[] words;// 保存统计后的单词集合
    int[] wordFreqs;// 保存单词对应的词频

    // 统计总数
    int total = 0;

    // 构造函数：输入文章的内容
    public Article() {
        Scanner sc = new Scanner(System.in);
        System.out.println("请输入小文件内容：");
        String nr = sc.nextLine();
        content = nr;
    }

public class Article2 {

    /**
     * @param args
     */
    String content;//保存文章的内容
    String[] rawWords;//保存分隔后的单词集合
    String[] words;//保存统计后的单词集合
    int[] wordFreqs;//保存单词对应的词频
    String fileName;//文件名
    // 统计总数
    int total = 0;
    //构造函数：输入文章的内容     
    public Article2() throws IOException{
        
        Scanner sc = new Scanner(System.in);
        System.out.println("请输入文件名：");
        fileName = sc.nextLine();
            
        File file = new File(fileName);
        if(!file.exists()){
            System.out.println("文件不存在！");
            return;
        }
        BufferedReader bf = new BufferedReader(new FileReader(file));
        StringBuffer content = new StringBuffer();     //动态字符串数组
        String temp = bf.readLine();
        while(temp != null){
            content.append(temp+" ");                  //往动态字符串数组里添加数据
            temp = bf.readLine();
            if(temp == null){
              break;
            }
        }
        this.content = content.toString();
            
    }

    // 对文章根据分隔符进行分词，将结果保存到rawWords数组中
    public void splitWord() {
        // 分词的时候，因为标点符号不参与，所以所有的符号全部替换为空格
        final char SPACE = ‘ ‘;
        content = content.replace(‘\"‘, SPACE).replace(‘,‘, SPACE).replace(‘.‘, SPACE).replace(‘\‘‘, SPACE);
        content = content.replace(‘(‘, SPACE).replace(‘)‘, SPACE).replace(‘-‘, SPACE);
        rawWords = content.split("\\s+");// 凡是空格隔开的都算单词，上面替换了‘,所以I‘ve被分成两个单词
    }

    // 统计词，便利数组
    public List<String> sort() {
        // 将所有出现的字符串放入唯一的list中，不用map，是因为map寻找效率太低了
        List<String> list = new ArrayList<String>();
        for (String word : rawWords) {
            list.add(word);
        }
        Collections.sort(list);
        return list;
    }

    // 根据词频，将词数组和词频数组进行降序排序
    public List countWordFreq() {
        
        // 统计词频信息
        Map<String, Integer> wordsInfo = new TreeMap<String, Integer>();
        String word = ""; // 词频名字
        int count = 0; // 词频数量
        //统计单词总数
        int total = 0; 
        List<String> wordList = sort();
        word = wordList.get(0);
        for (int i = 0; i <= wordList.size(); i++) {
            if (i == wordList.size()) {
                wordsInfo.put(word, count);
                total++;
                break;
            }
            if (wordList.get(i).equals(word)) {
                count++;
            } else {
                wordsInfo.put(word, count);
                total++;
                word = wordList.get(i);
                count = 1;
            }
        }
        
        //词频信息排序
        List<Map.Entry<String,Integer>> list = new ArrayList<Map.Entry<String,Integer>>(wordsInfo.entrySet());
        Collections.sort(list,new Comparator<Map.Entry<String,Integer>>(){
        @Override
            public int compare(Entry<String, Integer> o1, Entry<String, Integer> o2) {
                // TODO Auto-generated method stub
                return o2.getValue().compareTo(o1.getValue());
            }    
        });
        this.total = total;
        return list;
    }

    public void run() {
        // 拆分文本
        splitWord();

        // 统计词频
        List<Map.Entry<String,Integer>>  list = countWordFreq();
        // 打印词频总数
        System.out.println("词频总数：" + this.total);
        System.out.println("词频统计信息：");
        // 打印统计词频
        for (Map.Entry<String,Integer> mapping: list) {
            System.out.println(mapping.getKey()+" : "+mapping.getValue());
        }
    }

    // 测试类的功能
    public static void main(String[] args) {
        // TODO Auto-generated method stub
        Article a = new Article();
        a.run();
        }

    public void run() {
        // 拆分文本
        splitWord();

        // 统计词频
        List<Map.Entry<String,Integer>>  list = countWordFreq();
        // 打印词频总数
        System.out.println("词频总数：");
        System.out.println("total:" + this.total);
        System.out.println("词频统计信息：");
        // 打印统计词频
        int m = 0;
        for (Map.Entry<String,Integer> mapping: list) {
                
            if(m<10){
                System.out.println(mapping.getKey()+" : "+mapping.getValue());
                m++;
            }
            else
                break;
        }
            
    }
    // 测试类的功能
    public static void main(String[] args) throws IOException{
        Article2 article2 = new Article2();
        article2.run();    
    }