hadoopСѧ��
������
������
  • ע������2018-09-13
  • ������160
  • QQ3234520070
  • ���360ö
  • ��˿0
  • ��ע0
�Ķ���1867�ظ���0

Hanlp-����ʶ����Է������

¥��#
���� �����ڣ�2019-07-29 10:54
hanlp�մ��ر���ʵ��Ƚ϶࣬����ر����������ʶ���±߾ټ���������ʶ������ӣ���Ҫָ�����ǣ���ߵĻ�����ʶ��Ҳ�Ե���ʶ��Ϊ��������ˣ��������ʶ��׼ȷ��Ҳ�ᵼ�»�����ʶ��׼ȷ��

ͼƬ������.jpg


����1 ����+����
[1] ���ù�������Լ������10����7�����ڳ��� 1������
[2] ������ÿ�ճɽ�5��12�պ�����Ʒ�����۱���43��
[3] ������������ר��-������Ժ��9��9�հ�ɫ�����
����2 ǰ��+�����״ʳɴʻ����β��+��ʳɴ�
[1] ��������4000Ԫ�����൱��˽�����Ǯ��
[2] ���·ݴӰ�ͷ��ɽ����ʮ�������ң����Լ���·���Ƽ���
[3] ���ܿ����˻�ӭ�ij��У����㱨����У���ڵij�����
����3 ��������ɴ�
[1] �ε�˾���ӿ�ʡ��۶��� �˿Ͱ�·�ĵ�����δ����
[2] ������ɽˮ���������ϣ���ζ�������
[3] ���������Ž�ױ�е�ˮ����ζ�������
Badcase����������
�±߽���һ���Ų�����ԭ���Լ������ķ���
������Ҫ��ȷ���¼���ע��������
1.ʵ��ʶ�����ִ�����Ӱ�졣
2.ʵ��ʶ��ͬ���漰��������⡣
3.HanLP��¼��һЩ��������ʵ��ʣ�����ɴ��������ߡ�
4.HanLP�������������ʵ��ʶ�ٻ���û���ر�Ҫ��Ļ�������Ҫ��ȥѵ����
�����������±����badcase�ķ�������Ϊ����˵��
[5] ������ɽˮ���������ϣ���ζ�������
����ʾģʽ HanLP.Config.enableDebug()
��������ʶ������
# HanLP����ʵ��ʶ��
def hanlp_ner(text, ner_type):
   global segment
   ner_li = []
   for term in segment.seg(text):
       if str(term.nature) == ner_type:
           ner_li.append(str(term.word))
return ner_li
����ner_typeΪ��Ҫʶ���ʵ�����ͣ������������ner_type='nr'������ner_type='ns'��������ner_type='nt'��textΪҪ��ȡʵ����ı���
ʶ����������Ϊ��������ֻ��ȡ�˲��������
�ַֽ��[����/n, ��/w, ɽˮ/n, ��/d, ����/ns, ��/rr, ��/a, ��/w, ���/ryv, ��/p, ����/n, ��/w]
������ɫ�۲죺[  S 1163565 ][���� Z 20211628 ][�� A 2701 B 439 X 11 ][ɽˮ B 6 A 1 ][�� B 214 A 3 C 3 ][���� G 1 H 1 ]
[�� A 47 B 26 ][�� C 274 A 75 B 66 D 2 X 2 ][�� A 40525 B 10497 X 418 ][��� B 44 ][�� A 2896 B 454 X 215 ][���� Z 20211628 ][�� B 82 ][  B 1322 ]
������ɫ��ע��[ /S ,����/Z ,��/B ,ɽˮ/A ,��/C ,����/H ,��/B ,��/B ,��/A ,���/B ,��/A ,����/Z ,��/B , /S]
ʶ��������������� CH
hanlp_ns ['������']
��Ȼ�����汻��Ϊ�ǵ����ˣ����Ҵַֽ����ʾ����δ������ʶ��ģ��ִʺʹ��Ա�ע�Ľ������Ȼ�������ڴʱ���µġ�����û�о�������ʶ��ģ�飬���Բ���Ҫȥ�����ķ���ʱ�ns.txt��ȥ�Ҵ��ֻ��Ҫ�����Ĵʱ�CoreNatureDictionary.txt��ȥ��

ͼƬ��ͼ1.jpg


��Ȼ���ں��Ĵʱ��������桰�����Ϊһ���������ѡ����桰�Ӵʱ���ɾ�������ɾ���ʱ��ļ�CoreNatureDictionary.txt.bin��֮���ٴ����г���õ��±ߵ�������
hanlp_ns []
�����ʵ��������Ҳ���Կ���һЩ����������������ɵ����ʱ�����е��´���ʶ��ʵ�塣��ˣ�����Ӧ�ñ���һ���������ϣ�ÿ���޸���ʵ��ʱ����Ҫ��һ�²������ϲ鿴׼ȷ�ʣ�������͵�̫�࣬���ʾ�����ӽ����Dz����еġ�ͬʱ��ӵ�ʵ����Ҳ�п��ܻ���ɷִʴ���
�±�˵��һ��HanLP���й�ʵ��Ĵʱ��ļ�����
1.CoreNatureDictionary.mini.txt
2.CoreNatureDictionary.txt
3.CustomDictionary.txt
4.�������ʵ�.txt
5.ȫ��������ȫ.txt
6.�����ʵ�.txt
7.�Ϻ�����.txt
8.�ִ����ﲹ��ʿ�.txt
9.ns.txt
10.nr.txt
11.nt.txt
��Ȼ�����г�����ͨ�����п��ܵ�����ʶ��Ĵʱ�������Щ�ʱ��û���ҵ�������Ҫ��HanLP�����ʵ��ļ���Ѱ�ҡ�
ϣ����������ݶ�ʹ��HanLP�����������ж��ӵ�С����а������������һ��С����ǣ�ʵ��ʶ����ʵ���ִ����ܲ��ɷֵģ����߶��й�ͬ�Ĵ����ѵ㣬����������磨�߽��ȷ�������ʷ�������ʵ����������NLP������֮һ�����ʷ�����������ѧϰ��ʵû��̫���ϵ���ϱߵ�badcase����������Ǹ���������ֱ��ȥ����ijЩ�ʣ��ᵼ��һЩ��Ƨʵ��ʶ�𲻳����������Ƿ���Կ���������Ϣ��֮��IJ�Ⱥ�����������ִ��Ƿ���Ҫ������ǰ�󹹳ɴʡ���Դʷ������Ƽ����ʹ�����ѧϰ�ķ������Ͼ��˽���Щ����Ҳ�DZ���ģ���Ȼ�������ʵ���ֲ��ã����Dz����������͵������ȥѧϰ��

ϲ��0 ����0
DKHadoop���Ż������
�ο�

���ض���