基于DBLP的作者协作关系的挖掘

　　DBLP是计算机领域内对研究的成果以作者为核心的一个计算机类英文文献的集成数据库系统。按年代列出了作者的科研成果。包括国际期刊和会议等公开发表的论文。和一般流行的情况不同，DBLP并没有使用数据库而是使用XML储存元数据。

　　采用将xml文件转化为weka可以识别的CSV文件的形式进行处理。

　　在关系挖掘中我们组选用了Apriori算法。Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。该算法已经被广泛的应用到商业、网络安全等各个领域。也可采用FP-Growth算法，可能效果会更好，此处暂不涉及。

　　步骤一：数据预处理

　　DBLP的xml文件现在已经有1.2G之大。经过测试只有用VI和写字板才可以打开（电脑6G内存为例）。根本不能照常规方式处理，csv和arff格式都是weka支持的格式，但是经实验发现weka处理csv的速度好像更快，具体不知道什么原因，所以采用转化成csv的形式。

　　自己编写Parser，用于读取dblp.xml信息。由于我们只关注作者的协作关系信息，所以xml数据做以下处理：

　　1：文章名字不予考虑　　

　　2：只有单个作者的条目直接删除

　　3：作者发表文章篇数在80篇以下的删除

　　　　可以自己考虑，但为了挖掘出强支持支持度和置信度的数据，取80。删除时需要建立一个map映射统计作者数目，增加处理速度。

　　　　此步骤实际和apriori算法的第一步类似。每一篇文章只提取前8个作者，处理后得到大约20多万条数据。

　　4：每本书至多保留8个作者

　　5：由于weka中将" '  "等符号认为是特殊符号，所以在作者名字中遇到此类名字，将特殊符号删除，并不会造成大的影响。　　

　　保存为data80.csv，该程序处理了全部的370多万条数据，从中截取了有价值的部分信息交由weka进行进一步的分析处理。

package preprocess;public class Author_num {private String name;private int count;Author_num(){}Author_num(String aname,int acount){name = aname;count = acount;}public void setname(String aname){name = aname;}public void setcount(int acount){count = acount;}public void addcount(){count++;}String getname(){return name;}int getcount(){return count;}
}

package preprocess;
import com.csvreader.CsvWriter;import java.util.List;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileReader;
import java.nio.charset.Charset;
import java.util.ArrayList;
import java.util.*;
import static java.lang.Math.*;public class Readxml{private int Maxattribute = 8;         //考虑的最大作者数private int Maxnum = 100000000;       //读取文件长度，xml行private int booknum = 0;              //记录当前已读的书本数目private Map map=new HashMap();   //记录作者出现的次数public void run(){System.out.println("reading...");String line = "";String Temp = "";File filer = new File("D:\\dblp.xml");//CsvWriter wr =new CsvWriter("D:\\writetestall90.csv",',',Charset.forName("SJIS")); int numofauthor=0;//管理作者数量int thisnum=0;    //记录实际作者数量try{BufferedReader br = new BufferedReader(new FileReader(filer));         String[] contents = new String [Maxattribute];   //生成map映射记录所有作者和作者出版的书本数目while(((line = br.readLine()) != null)){if( (line.length()>8) && line.substring(0,8).equals("")){Temp = line.substring(8, (line.length()-9));//清理数据中 出现的'和"while(Temp.indexOf("'") >= 0){Temp = Temp.substring(0,Temp.indexOf("'"))+Temp.substring(Temp.indexOf("'")+1);           }while(Temp.indexOf("\"")>=0){       Temp = Temp.substring(0,Temp.indexOf("\""))+Temp.substring(Temp.indexOf("\"")+1); }if(map.get(Temp)==null){map.put(Temp, 1);}else{map.put(Temp,map.get(Temp)+1);}}else if((line.length()>7) && line.substring(0, 7).equals("