第三章 语义识别的难点(2/4)
“智能小语,也可以叫语音输入法吧?”
如果不用打字了,是不是意味着键盘也没用了?那笔记本岂不是可以做的更薄?不对🙎🉐🆢,没了键盘不就成了平板么?朱成想到了这一点,感觉自家的电脑城可以多进一些平板电脑了。
在外界因为语音识别而震惊的时候,罗辑所在的机房却只能听到敲键盘的声音。尽管语音识别已经做了出来,但对于写代码而言意义不大。真正能将罗辑从这些繁重的任务中解救出🁃来的只有语义识别!
开发语义识别,就如同🞪🖾罗辑预料的🎣那样,并不是一块好啃的骨头。
更何况是中文体系上的语义识别,这比其它语言要难上几个级别。光是分🁚🆙🐀词这一项,就能让人死掉不少脑细胞。中文不同于单词组成的拉丁文,拉丁文单词间的空格可以大幅度减少电脑的识别难度,而中文却不行🏢🛲。
在中文里面,一句话就有很多意思。别说电🄤脑了,有时候就连人也不好分辨。比如那句著名的“下雨天留客天天留我不留”,在没有标点符号的情况下,它至少有七种意思。对于电脑而言,别说这种地狱级的分词,哪怕是一些人们看来再简单不过的句子也很难分辨。
比如“华科大学生前来应🃜😧聘”,电脑可能会理🖥🔱🄖解为“华科大学,生前,来应聘”。
中文语义识别的第一个难点,也可以说🖨是最大的难点便在这里。怎样的分词算法才🔨是最完🔲美的?
罗辑在科技树中找到了方案,一种基于统计学模型的算法,构建一个三维矩阵,选取概率最高的一🖍个🐌⚀🎖。xy轴是任意两个词语的组合,而z轴则是场景状态,根据语气和语态选取的最佳方案。
“不过这需要联网。”罗辑琢磨了一下,这似乎是目前🚁最好的方案,虽然他的本意是打造一个可用于线下服务的智能,但是以现在的设备存储能力想要存下大量的语料库,根本就是天方夜谭🏖🚉。电脑肯定是不行的,光脑还差不多。
“联🐫🂴📃网就联网吧,在程序里预留一些常🖨用算法,断网勉强也能用。”
解决了第一个问题⚟💨之后,罗辑又陷入了瓶颈🄤。他蓦然想🚁起中文还有一点很蛋疼,那就是没有和英文一样可用于区分人名地名的大小写。
要是仅仅这样也就罢了,关键是有些人的♉🆧名字起🛃🙬🛃🙬就是一个词语,如果分词程序有智能的话,它一定会把这些人拖出去砍死。比如高峰、汪洋、罗辑……
“这……还是不要砍死了,半残就好。”
罗辑马上停止了抱怨🖠📾☶了,再困难也🎣要解决不是?🛃🙬
“到底要怎么做?”
罗辑觉得自己有些天真了,一开始以为🖨有了科技树绝对可以快速的解决问题,可事实上并非如此。之前做无线📖🚹😓充电器时,都要用到机械方面的知识,而难度比无线充电更大的语义识别,其交叉的学科只会更多。
“语义识🃉🕺别要什么?电脑编程、统计分析、数据建模……还有语言学?”罗辑看到科技树上显示的内容完全傻眼了,前面的只要的理科内容,不管多难他都不怕,可偏偏最后一项他却没有办法。
让罗辑去看文科知⚟💨识,那比杀了他还难受。可不🛃🙬学语言🚁学,怎么可能做的出语气识别?
罗辑抓破脑袋也没有想出代替方案,这似乎是唯一的解决方法。想想也是,对语言不熟悉的人又🕓🆂怎🖍么做的出语义识别?作为社交白痴的罗辑,自己都听不太🇾明白别人的话,又怎么让电脑也“听”的懂?
学习语言学?
罗辑硬着头皮只看了一会🃜😧,就🝰🎯🔧感觉头大如斗,就像熬了好几个通宵,困意如潮水般一波波涌来,怎么也挡不住📖🚹😓。
这道是个催眠📺的好方法,罗辑有些哭🆍🎏笑不得🄤。
如果不用打字了,是不是意味着键盘也没用了?那笔记本岂不是可以做的更薄?不对🙎🉐🆢,没了键盘不就成了平板么?朱成想到了这一点,感觉自家的电脑城可以多进一些平板电脑了。
在外界因为语音识别而震惊的时候,罗辑所在的机房却只能听到敲键盘的声音。尽管语音识别已经做了出来,但对于写代码而言意义不大。真正能将罗辑从这些繁重的任务中解救出🁃来的只有语义识别!
开发语义识别,就如同🞪🖾罗辑预料的🎣那样,并不是一块好啃的骨头。
更何况是中文体系上的语义识别,这比其它语言要难上几个级别。光是分🁚🆙🐀词这一项,就能让人死掉不少脑细胞。中文不同于单词组成的拉丁文,拉丁文单词间的空格可以大幅度减少电脑的识别难度,而中文却不行🏢🛲。
在中文里面,一句话就有很多意思。别说电🄤脑了,有时候就连人也不好分辨。比如那句著名的“下雨天留客天天留我不留”,在没有标点符号的情况下,它至少有七种意思。对于电脑而言,别说这种地狱级的分词,哪怕是一些人们看来再简单不过的句子也很难分辨。
比如“华科大学生前来应🃜😧聘”,电脑可能会理🖥🔱🄖解为“华科大学,生前,来应聘”。
中文语义识别的第一个难点,也可以说🖨是最大的难点便在这里。怎样的分词算法才🔨是最完🔲美的?
罗辑在科技树中找到了方案,一种基于统计学模型的算法,构建一个三维矩阵,选取概率最高的一🖍个🐌⚀🎖。xy轴是任意两个词语的组合,而z轴则是场景状态,根据语气和语态选取的最佳方案。
“不过这需要联网。”罗辑琢磨了一下,这似乎是目前🚁最好的方案,虽然他的本意是打造一个可用于线下服务的智能,但是以现在的设备存储能力想要存下大量的语料库,根本就是天方夜谭🏖🚉。电脑肯定是不行的,光脑还差不多。
“联🐫🂴📃网就联网吧,在程序里预留一些常🖨用算法,断网勉强也能用。”
解决了第一个问题⚟💨之后,罗辑又陷入了瓶颈🄤。他蓦然想🚁起中文还有一点很蛋疼,那就是没有和英文一样可用于区分人名地名的大小写。
要是仅仅这样也就罢了,关键是有些人的♉🆧名字起🛃🙬🛃🙬就是一个词语,如果分词程序有智能的话,它一定会把这些人拖出去砍死。比如高峰、汪洋、罗辑……
“这……还是不要砍死了,半残就好。”
罗辑马上停止了抱怨🖠📾☶了,再困难也🎣要解决不是?🛃🙬
“到底要怎么做?”
罗辑觉得自己有些天真了,一开始以为🖨有了科技树绝对可以快速的解决问题,可事实上并非如此。之前做无线📖🚹😓充电器时,都要用到机械方面的知识,而难度比无线充电更大的语义识别,其交叉的学科只会更多。
“语义识🃉🕺别要什么?电脑编程、统计分析、数据建模……还有语言学?”罗辑看到科技树上显示的内容完全傻眼了,前面的只要的理科内容,不管多难他都不怕,可偏偏最后一项他却没有办法。
让罗辑去看文科知⚟💨识,那比杀了他还难受。可不🛃🙬学语言🚁学,怎么可能做的出语气识别?
罗辑抓破脑袋也没有想出代替方案,这似乎是唯一的解决方法。想想也是,对语言不熟悉的人又🕓🆂怎🖍么做的出语义识别?作为社交白痴的罗辑,自己都听不太🇾明白别人的话,又怎么让电脑也“听”的懂?
学习语言学?
罗辑硬着头皮只看了一会🃜😧,就🝰🎯🔧感觉头大如斗,就像熬了好几个通宵,困意如潮水般一波波涌来,怎么也挡不住📖🚹😓。
这道是个催眠📺的好方法,罗辑有些哭🆍🎏笑不得🄤。