Nobutake Kamiya (Universität Zürich, Universitätsbibliothek)
Der Link führt zu meinem lokalen Server. Deshalb funktioniert er nur von meinem PC...
Die gesamten Codes sind hier zu finden.
Datum und Uhrzeit Japanischer Zeit auf UTC (koordinierte Weltzeit)
jst_st = datetime.datetime(2021, 3, 1, 0, 0, 0, 0, datetime.timezone(timedelta(hours=+9))) jst_et = datetime.datetime(2021, 4, 1, 0, 0, 0, 0, datetime.timezone(timedelta(hours=+9))) utc_st = jst_st.astimezone(timezone.utc) utc_st = utc_st.isoformat() utc_et = jst_et.astimezone(timezone.utc) utc_et = utc_et.isoformat()
Suchbedingungen
query_params = {'query': '(オリンピック lang:ja -is:retweet) OR (五輪 lang:ja -is:retweet)', 'tweet.fields': 'created_at,id,text,public_metrics', 'start_time': utc_st, 'end_time': utc_et, 'max_results': 500}
Weitere Regeln siehe hier
Beispiel: Ein Tweet des IOCs (japanisch)
# User-Name (Erwähungen), URL, Hash-tags und Zeilenumbrüche aus dem Tweets entfernen tw_text = re.sub(r'@\w+','', ['text']) tw_text = re.sub(r'(http|https)://[0-9a-zA-Z\./]+','', tw_text) tw_text = re.sub(r'#.+?(\s|$)', '', tw_text) tw_text = re.sub(r'\n','', tw_text) # Kana soll immer in Fullwidth-Zeichen dargestellt werden tw_text = mojimoji.han_to_zen(tw_text, kana=True, digit=False, ascii=False) # Digit und Ascii sollen immer in Halfwidth-Zeichen dargestellt werden tw_text = mojimoji.zen_to_han(tw_text, kana=False, digit=True, ascii=True)
In diesem Beispiel werden Kuromoji und ICU für Analyzer verwendet
"そのオリンピック選手は身長１９６㌢という長身だった。人々はおどろいた。二〇〇〇人がオリンピックを観戦しながらコンピューターをつかっていた"
{ "settings": { "analysis": { "analyzer": { "my_kuromoji_analyzer": { "type": "custom", "char_filter" : ["icu_normalizer", "kuromoji_iteration_mark"], "tokenizer": "keyword" } } } } }
Der "Keyword"-Tokenizer gibt den Satz so zurück (s. hier)
そのオリンピック選手は身長196センチという長身だった。人人はおどろいた。二〇〇〇人がオリンピックを観戦しながらコンピューターをつかっていた
{ "settings": { "analysis": { "analyzer": { "my_kuromoji_analyzer": { "type": "custom", "char_filter" : ["icu_normalizer", "kuromoji_iteration_mark"], "tokenizer": "kuromoji_tokenizer" } } } } }
Ergebnis in JSON-Format
[...] "filter": ["kuromoji_baseform", "kuromoji_part_of_speech", "kuromoji_stemmer", "ja_stop", "kuromoji_number", "synonym_filter"] } }, "filter": { "synonym_filter": { "type": "synonym", "synonyms": ["オリンピック,五輪"] } } } } }
Einige Token_filter von Kuromoji werden verwendet
Zusätzlich wird der "synonym_filter" eingesetzt.
Hier
...Falls man sich dafür interessiert... Hier