Paper Notes: Large Language Models Struggle to Learn Long-Tail Knowledge

-

Paper Notes: Large Language Models Struggle to Learn Long-Tail Knowledge

test

留言

張貼留言

這個網誌中的熱門文章

怎麼建立一個 Https server?

-
圖片
如何架設一個 https server 如何架設一個 https server 最近 chatbot 聊天機器人很火紅，在 Facebook, Line, Slack, Telegram 上都能夠架設聊天機器人。我們只需要設定 callback url 就可以了。但是， 我們服務的 callback url 通常必須是 https，所以我想分享一下自己是怎麼架設 https server。 會使用到的伺服器軟體及要準備的東西： nginx domain name 一台擁有 public ip 的機器 流程 將 domain name 綁定到你機器的 ip 上 申請 ssl 憑證 設定 nginx, run service 將 domain name 綁定到 ip 上 首先，你得要先取得一個 domain name, 通常這個 domain name 是跟供應商買來的，常見的供應商有： Godaddy Namecheap p.s domain name 購買的期限是以年為單位。 購買了一個 domain name 之後，藉由購買 domain name 的平台網站去管理 DNS，將 A record 的部分設定為你的機器 IP。大概過 3 - 5 分鐘後，就可以利用 domain name 去存取你的網頁服務。 如果你對 DNS 的設定有興趣可以看 這裡 以 Godaddy 為例： 申請 ssl 憑證 ssl 你可以跟供應商購買，GoDaddy, Namecheap 都有在賣。但是如果你 跟我一樣窮的話 只是單純想要嚐鮮的話，可以試試 Let’s Encrypt 的服務。他可以提供免費的 ssl 憑證，這個憑證有三個月的使用期限，等使用期限快到了再 renewal 就好了。 網路上關於 Let’s Encrypt 的教學都是比較舊版的，現在你只要使用他們提供的 Certbot 服務，按照他們的步驟執行就可以輕鬆取得 ssl 憑證。 首先選擇一下，你的 webserver 和 os 種類 依序執行 $ wget https://dl.eff.org/certbot-auto $ chmod a+x certbot-auto $ ./certbot-auto certonly 這時候會出現藍色的互動式介面...
閱讀完整內容

Vim 自動 補完 插件 YouCompleteMe 教學 心得 新手入門 C++ C

-
圖片
在講正題之前，先奉上developer的github : https://github.com/Valloric/YouCompleteMe 由於自己也是新手，如果內容有什麼不正確的地方請不吝指教 謝謝！  [ 正題開始 ] 這個暑假嘗試了很多vim的plugin 其中一個覺得還不錯的plugin : YouCompleteMe  他和以往的complete補完插件不太一樣的是 他不是去讀ctags裡面的資料 而是parse子串的內容 所以即使再打字串和comment也可以進行補完的功能 （ 有些要利用 vim 的配置檔案 .vimrc 進一步配置 ） 接下來就以ubuntu 14.04進行安裝，這裡介紹的是" 簡易安裝模式 " 再按裝這個plugin之前 我們需要利用的東西：vim  7.3.584 以上, git, Vundle, cmake, python, Vundle linux - like 系統 安裝插件的方式是利用 ：            sudo apt-get install [plugin_name] [ 安裝 git ] 首先，在我們擁有一台 linux 作業系統的電腦時，一開始是沒有安裝 " git "  並且在安裝 "Vundle" 之前 要先裝 git  ( 用git裝Vundle , Vundle 是 vim plugin 的託管插件 ) 在＄後面打上 sudo apt-get install git 就會開始安裝囉～ 以＄開頭代表終端機指令 ( command line ) [ 安裝 Vundle ] 接下來，我們安裝 Vundle :  https://github.com/gmarik/Vundle.vim $ git clone https://github.com/gmarik/Vundle.vim.git ~/.vim/bundle/Vundle.vim 然後我們輸入vim .vimrc 進行bundle的基本配置 在Vundle作者的github有.vimrc的基本配置，其中有一些Plugin可以不用使用 隨個人決...
閱讀完整內容

[Paper note] Multiagent Bidirectionally-Coordinated Nets for Learning to Play StarCraft Combat Games

-
Paper:  https://arxiv.org/abs/1703.10069 這篇論文是由 Alibaba & UCL共同發表的，並投稿到 NIPS 2017。他們發表了一個 Multi-agent framework 讓 agents 利用共同的 framework 一起學習，他們將這個架構簡稱為 BiCNet。 Attribute of BiCNet Vectorised Actor-Critic: vectorised 指的是一個 input 可以輸入多個 agents的資訊。 Deterministic Policy Use bidirectional RNN as their actor network and critic network Dynamic Grouping 機制 Shared Parameter among all agents 他們使用 BRNN 利用 hidden layer 來 Model agents 之間彼此溝通的行為，這是這篇論文的創新點之一。不過他們團隊並不知道為什麼這樣可行，而僅僅解決了 how 的問題，還不知道 why? 另外精彩的地方我覺得是數學的 Model，他們分為兩個視角來看 Starcraft Combat 問題: 將 Combat 看作 zero-sum stochastic games (recycle) 定義出整體 Combat 的 reward (隨 step 變化) Model agents 之間彼此合作緊密度，是否完成共同目標。利用 Top-K list 記錄和當下 agent 合作的其他 agents。在這裡我稱為一個小 group，後續對應的是 dynamic grouping。在這樣的情況下，他們會共享 reward，好像一個小隊生死與共一樣。 最後，他們利用這樣的 framework 學習到了各種互動的策略 Coordinated moves without collision Hit and Run tactics Coordinated cover attack Focus fire without overkill Collaborations between heterogeneous agents 雖...
閱讀完整內容