我有一个程序可以从文本文件中输入内容,删除标点符号,然后按单个空格分割,然后将结果记入地图。我可以使用它,但是在地图中也得到空结果,我不知道会产生什么:
扫描仪接受输入:
try
{
Scanner input = new Scanner(file);
String nextLine;
while (input.hasNextLine())
{
nextLine = input.nextLine().trim();
processLine(nextLine, occurrenceMap);
}
input.close();
}
catch(Exception e) { System.out.println("Something has gone wrong!");}
它来自pullinng的文本文件是圣经的国王詹姆斯版本,然后一个单独的函数处理每一行:
//String[] words = line.replaceAll("[^a-zA-Z0-9 ]", " ").toLowerCase().split("\\s+"); // runtime for bible.txt is ~1600ms
// changed to simple iteration and the program ran MUCH faster:
char[] letters = line.trim().toCharArray();
for (int i=0; i<letters.length; i++)
{
if (Character.isLetterOrDigit(letters[i])) {continue;}
else {letters[i] = ' ';}
}
String punctuationFree = new String(letters);
String[] words = punctuationFree.toLowerCase().split("\\W+");
// add each word to the frequency map:
for (int i=0; i<words.length; i++)
{
if (! map.containsKey(words[i]))
{
map.put(words[i], 1);
}
else
{
int value = (int)map.get(words[i]);
map.put(words[i], ++value);
}
}
如您所见,我首先使用全部替换完成此操作,然后我提出了自己的时髦的迭代方法(该方法似乎运行得更快)。在这两种情况下,当我使用PrintWriter打印结果时,开头都会出现一个奇怪的条目:
num occurences/ (number /word)
25307 : // what is up with this empty value ?
1 : 000 // the results continue in sorted order
2830 : 1
2122 : 10
6 : 100
9 : 101
29 : 102
23 : 103
36 : 104
46 : 105
49 : 106
我曾尝试更改String[] words = punctuationFree.toLowerCase().split("\W+");为.split(“ \ s +”)和.split(“”),但结果中仍然有此空值。
我只想计算单词和数字的出现次数,为什么我得到这个空值?
更新:在建议Character.isLetterOrDigit()可能返回不需要的字符的情况下,我重写了检查,以便仅获取所需的字符。尽管如此,我仍然得到一个神秘的空值:
for (int i=0; i<letters.length; i++)
{
if ((letters[i] >= 'a' && letters[i] <= 'z') ||
(letters[i] >= 'A' && letters[i] <= 'Z'))
{continue;}
else if (letters[i] >= '0' && letters[i] <= '9')
{continue;}
else if ((letters[i] == ' ')||(letters[i] =='\n')||(letters[i] == '\t'))
{continue;}
else
letters[i] = ' ';
}
回答来源:Stack Overflow
只是猜测而已,但Character方法IsLetterOrDigit已定义为可在整个unicode范围内使用。在文档页面上,它包括所有“有效字母和十进制数字是UnicodeCategory中以下类别的成员:UppercaseLetter,LowercaseLetter,TitlecaseLetter,ModifierLetter,OtherLetter或DecimalDigitNumber。”
我认为此方法将保留您不需要的字符(特别是ModifierLetter和/或OtherLetter),并且这些字符不包含在字体中,因此您看不到它们。
编辑1:我测试了您的算法。事实证明,空行绕过了测试,因为它跳过了for循环。从文件行读取以下行后,您需要添加行长:
if (nextLine.length() == 0) {continue;} 编辑2:此外,由于您正在扫描每个字符以清除“非单词和非数字”,因此您还可以合并逻辑来创建单词并将其添加到集合中。像这样:
private static void WordSplitTest(String line) {
char[] letters = line.trim().toCharArray();
boolean gotWord = false;
String word = "";
for (int i = 0; i < letters.length; i++) {
if (!Character.isLetterOrDigit(letters[i])) {
if(!gotWord) {continue;}
gotWord = false;
AddWord(word);
}
if (gotWord) {
word += Character.toString(letters[i]);
}
}
}
private static void AddWord(String word) {
if (!map.containsKey(word)) {
map.put(word, 1);
} else {
int value = (int) map.get(word);
map.put(word, ++value);
}
}
回答来源:Stack Overflow
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。