Compare commits
2 Commits
1a934430cc
...
9264c9a97d
Author | SHA1 | Date |
---|---|---|
Shadowfacts | 9264c9a97d | |
Shadowfacts | 5d38d9567e |
|
@ -0,0 +1,23 @@
|
||||||
|
defmodule Frenzy.Pipeline.Extractor.OmMalik do
|
||||||
|
@moduledoc """
|
||||||
|
Extractor for https://om.co
|
||||||
|
"""
|
||||||
|
|
||||||
|
alias Frenzy.Pipeline.Extractor
|
||||||
|
@behaviour Extractor
|
||||||
|
|
||||||
|
@impl Extractor
|
||||||
|
def extract(html_tree) do
|
||||||
|
case Floki.find(html_tree, ".entry-content") do
|
||||||
|
[content_elem | _] ->
|
||||||
|
{
|
||||||
|
:ok,
|
||||||
|
# remove related posts list
|
||||||
|
Floki.filter_out(content_elem, ".rpbt_shortcode")
|
||||||
|
}
|
||||||
|
|
||||||
|
_ ->
|
||||||
|
{:error, "no matching elements"}
|
||||||
|
end
|
||||||
|
end
|
||||||
|
end
|
|
@ -39,15 +39,21 @@ defmodule Frenzy.Pipeline.ScrapeStage do
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
|
|
||||||
case opts["convert_to_data_uris"] do
|
case opts do
|
||||||
nil ->
|
{:ok, opts} ->
|
||||||
{:ok, %{opts | convert_to_data_uris: true}}
|
case opts["convert_to_data_uris"] do
|
||||||
|
nil ->
|
||||||
|
{:ok, %{opts | convert_to_data_uris: true}}
|
||||||
|
|
||||||
value when is_boolean(value) ->
|
value when is_boolean(value) ->
|
||||||
{:ok, opts}
|
{:ok, opts}
|
||||||
|
|
||||||
|
_ ->
|
||||||
|
{:error, "convert_to_data_uris must be a boolean"}
|
||||||
|
end
|
||||||
|
|
||||||
_ ->
|
_ ->
|
||||||
{:error, "convert_to_data_uris must be a boolean"}
|
opts
|
||||||
end
|
end
|
||||||
end
|
end
|
||||||
|
|
||||||
|
|
Loading…
Reference in New Issue